Когда Айверсон родился, его матери Энн было 15 лет. Его биологический отец, Аллен Бротон, также тинейджер, в воспитании сына участия не принимал. Вскоре после рождения Айверсона его мать сошлась с работником норфолкской судоверфи Майклом Фрименом, у них родились две дочери Брэнди и Айиша.
В школе Аллен Айверсон увлекся американским футболом и мечтал о карьере профессионального игрока. Айверсон играл на позиции квотербека, его кумиром был Уолтер Пэйтон — звезда команды «Чикаго Бэарз» конца 1970-х — начала 1980-х годов. Среди сверстников он выделялся скоростью, хорошим пониманием игры и отличным пасом. Когда Айверсону было девять лет, мать купила ему кроссовки марки Air Jordan и записала в баскетбольный лагерь. Поначалу баскетбол Айверсону не понравился, он предпочитал более контактный американский футбол, но, проведя время в лагере вместе с друзьями по футбольной команде, он увлёкся новой игрой.
В 1990 году отчим Айверсона был арестован за торговлю наркотиками и сел в тюрьму, его мать после рождения второй дочери имела проблемы со здоровьем, а поскольку она не имела медицинской страховки, на её лечение уходили почти все деньги семьи. Айверсон в то время только пошёл в старшую школу, в 15 лет был лучшим спортсменом школы Бетел в Хамптоне. Иногда он играл в баскетбол на деньги, чтобы заработать хотя бы на еду. Через год семья была выселена из квартиры за долги, мать переехала с дочерьми на другой конец города, а Айверсон, чтобы остаться в школе, стал жить у друга семьи, Гэри Мура, который ранее учил его играть в футбол. Трудные жизненные условия сделали Айверсона более целеустремлённым — он поставил перед собой задачу добиться спортивной стипендии, поступить в колледж, чтобы через год уйти в НФЛ и обеспечивать семью.
В 1991 и 1992 годах Айверсон был признан лучшим квотербеком Виргинии среди школьников, в 1992 году он привёл старшую школу Бетел к титулу чемпиона штата. В финальной игре чемпионата он набрал 200 ярдов на передачах и перехватил две передачи противника. Хотя баскетбол всё ещё был для Айверсона на втором месте, его успехи в игре открыли для него новые перспективы. Селекционеры из разных университетов стали обращать внимание на невысокого (183 см) игрока, который уже на второй год обучения в старшей школе, играя на позиции разыгрывающего, побил рекорд штата, набрав 948 очков за сезон. 13 февраля 2003 года его третий номер был навсегда закреплён за ним в школьной баскетбольной команде во время церемонии чествования победителей чемпионата штата 1993 года.
В феврале 1993 года Айверсон в День святого Валентина с друзьями (все афроамериканцы) столкнулись с компанией белых молодых людей в боулинг-клубе. Между ними произошла драка, после которой полиция арестовала трёх человек из компании Айверсона, а также его самого. Они обвинялись в групповом нападении и нанесении увечий. Айверсон свою вину отрицал и утверждал, что покинул место происшествия до начала драки, однако несколько свидетелей указали на него как на зачинщика. В июле 1993 года суд признал Айверсона виновным и приговорил его к пяти годам тюремного заключения в тюрьме Ньюпорт-Ньюс. В декабре того же года губернатор Виргинии, Дуглас Уайлдер, помиловал Айверсона, а в 1995 году апелляционный суд Виргинии закрыл дело и снял с него судимость за недостаточностью улик.
Выйдя из тюрьмы в середине своего последнего года в старшей школе, Айверсон не стал возвращаться в школу Бетел, а стал заниматься в специальной школе для отстающих, чтобы подготовиться к выпускным экзаменам. Весной 1994 года Айверсону по просьбе его матери предложил спортивную стипендию Джон Томпсон, главный тренер баскетбольной команды Джорджтаунского университета.