Когда Айверсон родился, его матери Энн было 15 лет. Биологический отец Аллена, Аллен Бротон он же подросток не воспитывал сына.
В школьные времена Аллен увлекался Американским футболом и мечтал стать профессиональным игроком. В то время Аллен играл на позиций квотербека. Когда Айверсону было девять лет, мать купила ему кроссовки марки Air Jordan и записала в баскетбольный лагерь. Поначалу Аллену баскетбол не нравился, но проведя время с друзями на баскетбольном лагере он начал играть баскетбол.
в 1990 году отчим Аллена попал в тюрму и мать Аллена имела некоторые проблемы со здоровьем. У них деньги даже на одежду не хватало. В то время Аллен учился в старшей школе ему было 15 лет, и он был лучшим спортсменом. Аллен даже чтобы заработать на хлеб играл баскетбол на деньги. Он начал стремиться к высотам чтобы обеспечивать семью. И стремился поступить и получать спортивную степендию.
В феврале 1993 года Айверсон в День святого Валентина с друзьями столкнулись с компанией белых молодых людей в боулинг-клубе. Между ними произошла драка, после которой полиция арестовала трёх человек из компании Айверсона, а также его самого. Они обвинялись в групповом нападении и нанесении увечий. Айверсон свою вину отрицал и утверждал, что покинул место происшествия до начала драки, однако несколько свидетелей указали на него как на зачинщика. В июле 1993 года суд признал Айверсона виновным и приговорил его к пяти годам тюремного заключения в тюрьме Ньюпорт-Ньюс. В декабре того же года губернатор Виргинии, Дуглас Уайлдер, помиловал Айверсона, а в 1995 году апелляционный суд Виргинии закрыл дело и снял с него судимость за недостаточностью улик.
Выйдя из тюрьмы в середине своего последнего года в старшей школе, Айверсон не стал возвращаться в школу Бетел, а стал заниматься в специальной школе для отстающих, чтобы подготовиться к выпускным экзаменам. Весной 1994 года Айверсону по просьбе его матери предложил спортивную стипендию Джон Томпсон, главный тренер баскетбольной команды Джорджтаунского университета.
Джорджтаунский университет
Когда Аллен играл в университете баскетбол он удивил всех тренеров, хотя он не тренировался много времени. Джон Томпсон поначалу решил сделать Айверсона «шестым номером» своей команды, но он в первой же игре доказал тренеру, что достоин места в стартовой пятёрке. Однако игра Айверсона была далека от идеала — в атаке он слишком увлекался индивидуальной игрой, забывая о партнёрах, единолично пытался завершать атаки команды, не всегда успешно, а если всё-таки отдавал передачи, то они оказывались неудобными для партнёров. В итоге команда, страдая от недостатка взаимопонимания между игроками, показывала нестабильную игру.
В сезоне 1995-1996 Айверсон вновь великолепно играл в защите, успешно действовал на перехватах и подборах, также улучшил свою статистику по очкам и передачам. Команда Джорджтаунского университета во многом благодаря вкладу Айверсона уверенно выиграла регулярный чемпионат конференции и вышла в финальный турнир NCAA, в котором дошла до 1/8 финала, где уступили команде Университета Массачусетса. По итогам сезона он вновь был признан лучшим оборонительным игроком конференции.
После сезонов, проведённых в Джорджтаунском университете, Айверсон выставил свою кандидатуру на драфт НБА. В студенческой лиге он за два года сыграл 67 игр, в которых в среднем набирал 23 очка, делал 4,6 передачи и 3,2 перехвата.