Родился в селе Осинов-Гай ныне Гавриловского района Тамбовской области в семье учителей. В 1930 году семья переехала в Москву, где Александр окончил 10 классов школы № 201.
Александру было 16 лет, когда в деревне Петрищево Московской области фашисты казнили его сестру. В детстве он был очень дружен с ней, поэтому гибель Зои оказалась для него тяжёлым ударом. Он просил послать его на фронт, но в военкомате отказывали из-за возраста. Только в апреле 1942 года его просьба была удовлетворена: он был призван в Красную Армию Октябрьским районным военкоматом города Москвы. В 1943 году он окончил Ульяновское военное танковое училище.
На фронтах Великой Отечественной войны с октября 1943 года. Воевал на Западном фронте. Участник Смоленской, Белорусской и Восточно-Прусской наступательных операций. Боевое крещение получил 21 октября 1943 года под Оршей. Экипаж танка КВ гвардии лейтенанта Космодемьянского А.А. с надписью на борту «За Зою» первым достиг вражеской траншеи, огнём и гусеницами проложил путь сопровождавшей его пехоте. В том бою экипаж уничтожил 10 блиндажей, несколько орудий, самоходную установку, до роты солдат противника. Кандидат в члены ВКП(б) с 1945 года.
Командир самоходной установки 350-го гвардейского тяжёлого самоходного артиллерийского полка (43-я армия, 3-й Белорусский фронт) гвардии старший лейтенант Космодемьянский А.А. отличился в ходе Восточно-Прусской стратегической наступательной операции. При штурме городе-крепости Кёнигсберга 6 апреля 1945 года под артиллерийским и миномётным огнём противника преодолел канал Ландграбен и уничтожил артиллерийскую батарею, склад боеприпасов и много гитлеровцев. Затем, прикрывая огнём действия войск, обеспечил наведение моста через канал и переправу советских танков и самоходных установок. За смелость и находчивость в бою назначен командиром батареи СУ-152.
8 апреля в бою северо-западнее Кёнигсберга его батарея, преодолев минное поле и плотный заградительный огонь, первой прорвалась в форт «Королева Луиза» и, нанеся значительный урон противнику мощным огнём, принудила гарнизон форта к капитуляции. В плен сдались 550 солдат, также советским воинам достались 9 исправных танков и склады.
После капитуляции Кёнигсберга участвовал в боях по уничтожению другой прижатой к морю группировки врага на Земландском полуострове. В бою 12 апреля 1945 года у населённого пкнута Миагетен его батарея подбила 2 самоходных орудия врага, уничтожила 18 дзотов и укрепленных зданий с гарнизонами врага, истребила до 50 солдат противника.
13 апреля 1945 года в бою у населённого пункта Фирбруденкруг (северо-западнее Кёнигсберга, Земландский полуостров) батарея Космодемьянского А.А. уничтожила 4 вражеские противотанковые пушки, до роты солдат. Но противнику удалось поджечь его самоходку. Выбравшись из пылающей машины, Александр вместе с пехотинцами ворвался в населённый пункт и выбил из него противника. В это время вражеская артиллерия открыла огонь. Осколок вражеского снаряда сразил молодого офицера.
Указом Президиума Верховного Совета СССР от 29 июня 1945 года за мужество, отвагу и героизм, проявленные на фронте борьбы с немецко-фашистскими захватчиками гвардии старшему лейтенанту Космодемьянскому Александру Анатольевичу присвоено звание Героя Советского Союза (посмертно).
Похоронен в Москве на Новодевичьем кладбище напротив могилы сестры. Награждён орденом Ленина (посмертно), орденами Отечественной войны 1-й и 2-й степеней.
В Калининграде установлен бюст Героя. На 14-м километре шоссе Калининград-Балтийск сооружён мемориал, на котором высечены слова: «Здесь 13 апреля 1945 года в бою с фашистскими захватчиками погиб Герой Советского Союза гвардии старший лейтенант Александр Космодемьянский». Его именем названы посёлок на окраине Калининграда, астероид. В Москве на улице Зои и Александра Космодемьянских установлена стела.