1975年，15岁的安·艾弗森入选了教会高中女篮，但在例行体检时被意外告知她怀孕了。6月7日，安·艾弗森生下了阿伦·伊宰尔·艾弗森。在艾弗森出生后不久，安就带着他回到了哈特福德见他的父亲，但她发现，布鲁顿暴力、毒品随处可见的环境不利于小艾弗森的成长，3岁的小艾弗森和母亲离开了布鲁顿。
不久，安就结识了新男友麦克尔·弗里曼，和他一起住进了廉价的斯特沃德花园公寓。公寓位于弗吉尼亚州一座叫纽斯特的小城最东边，但这里的环境比哈特福德更糟糕，光天化日之下就能见到毒品交易和枪战。虽然安四处打工维持生机，但艾佛森家里环境还是很差，没电、没水、没吃的，下水管还经常破裂，弄得满屋脏水，两个妹妹整天都穿着套鞋。
1978年，安得到了医院赔偿给她母亲的3818美元，随后，安和弗里曼又有了两个女儿———1979年出生的布兰蒂和1991年出生的莉莎（由于莉莎的病情，艾弗森在1996年下定决心加盟NBA）。
1984年，阿伦·艾弗森的母亲安拉着9岁艾弗森去篮球场练球，其实艾弗森并不喜欢篮球，但他看到橄榄球队员都在篮球场打篮球，艾弗森也就开始喜爱篮球这个运动了。
1988年，阿伦·艾弗森的养父弗里曼在一起交通意外后被解雇了。他的确很想负担起这个家庭，只不过他出入监狱的次数实在是太频繁了。
1991年，弗里曼因为携带过量毒品被捕，被判入狱22个月，其后又因为违反假释条例加刑23个月。
1990年，艾弗森进入贝瑟尔高中，成为学校的橄榄球和篮球队的绝对核心， 但那年时常鼓励并关心艾弗森的好朋友克拉克被他的女友谋杀。1991年的夏天，艾弗森带领校橄榄球队打进美国17岁以下联赛半决赛。
1992年，艾弗森带领校橄榄球队夺得了州冠军，还当选当年的弗吉尼亚州AAA级橄榄球赛“最有价值球员“，并入选最佳阵容。随后3天，艾弗森又站到了篮球场上，在首场高中联赛中，他就独得37分战胜对手。1992-93赛季:他场均得31.6分、抢8.7个篮板还有9.2次助攻。1993年，艾弗森作为贝瑟尔高中的四分卫带领校美式足球队夺得了弗吉尼亚高中冠军，同时他还带领校篮球队获得同样的荣誉。同年2月14日艾弗森和三个朋友在“环线“保龄球馆与一群白人少年发生争执，并迅速升级为50多人参与的斗殴，有超过20人在这场激战中身负重伤。地方法院迅速对此案作出了判决：4名黑人都被判入狱15年，艾弗森带头滋事被判入狱5年。1993年12月，在最高法院在全国有色人种协进会（NAACP）的帮助下，艾弗森经过不懈的努力打赢了官司，艾弗森仅入狱了4个月便获得假释。
1994年，艾佛森从贝瑟尔高中毕业，并参加Nike训练营当选MVP。由于艾弗森的入狱的名声使得他在高中毕业选择大学时并没有太多空间，很多名校并没有考虑他。艾佛森的母亲安·艾弗森主动找到了乔治敦大学的主帅约翰·汤普森希望他能给艾佛森一个机会，约翰·汤普森答应了她让艾佛森加入乔治敦大学篮球队。
1994年-1996年，艾弗森就读于乔治敦大学。
