Родился на территории Турьинских рудников, в семье горного инженера Петра Михайловича Карпинского и Марии Фердинандовны Карпинской (урожденной Грасгоф). После смерти отца в 1857—1866 годах учился в Петербурге в Корпусе горных инженеров. Корпус был закончен с золотой медалью и чином поручика.
По окончании Корпуса два года проработал на Урале. А. П. Карпинского вызвали в Петербург для преподавательской работы в Петербургском Горном институте. В 1869 году он защитил диссертацию на звание адъюнкта по кафедре геологии, а в 1877 году был избран профессором кафедры геологии, геогнозии и рудных месторождений Горного института, где читал лекции по исторической геологии, петрографии и рудным месторождениям до 1896 года.
В 1886 году избран действительным членом Императорской Академии наук (адъюнкт по геологии с 7 февраля 1886 года, экстраординарный академик с 4 марта 1889 года, ординарный академик с 17 апреля 1896 года, исполняющий обязанности вице-президента Академии наук (1916)).
В 1894 году присвоено почётное звание заслуженного профессора Горного института.
В период 1899—1936 годы он — президент Минералогического общества России. С 1916 года - почетный член Русского палеонтологического общества. Опубликовал работы по палеонтологии, стратиграфии и тектонике, петрографии, геологии и полезным ископаемым Урала. В 1899 году впервые описал геликоприона.
Александр Петрович Карпинский умер 15 июля 1936 года в Московской области. В похоронах участвовали руководители СССР и лично И. В. Сталин. Урна с прахом А. П. Карпинского покоится в центре Москвы в Кремлёвской стене. Академик Карпинский — старейший (по дате рождения) из погребённых на Красной площади.
Факт делимости земной коры континентов на геосинклинали и платформы установил в 1875 г. Зюсс. А первым, кто всерьез стал изучать строение и развитие конкретной платформы, стал А. П. Карпинский. Ряд своих работ он посвятил Восточно-Европейской (Русской) платформе. Эти труды стали фундаментом «учения о платформах».
В 1880 г. Карпинский установил ярусное строение платформ: кристаллический фундамент и маломощный слабо дислоцированный осадочный чехол. В 1882 г. он выявляет еще одну важнейшую эмпирическую закономерность. В пределах тела платформы Карпинский обнаружил полосу интенсивно дислоцированных пород.
27 ноября 1882 г. на заседании Петербургского общества естествоиспытателей Карпинский делает доклад «Об образовании горных кряжей». В нем он впервые поделился с коллегами своими наблюдениями в южной части Европейской России: там «местности, в которых породы имеют нарушенное пластование, располагаются с известной правильностью». Такую правильность он объясняет общей причиной — «кряжеобразовательной силой». На торжественном публичном заседании Академии наук 29 декабря 1886 г. вновь избранный молодой академик (адъюнкт по геологии) Карпинский выступил с речью «О физико-географических условиях Европейской России в минувшие геологические периоды». Здесь Карпинский впервые применил эволюционную теорию для воссоздания изменения геологических условий, построив целую серию палеогеографических карт. Карпинский полагал, что геология уже подошла к тому рубежу, когда от накопления (порой бессистемного) фактического материала надо приступать к его обобщению, к построению на его основе схем эволюции земной коры.