Архип Куинджи родился в Мариуполе в семье сапожника. Точный год рождения до сих пор не удалось установить, поскольку в разных документах художника указаны разные даты: от 1840 до 1843 года. В наши дни исследователи чаще склоняются к 1842-му. Именно он указан в самом раннем документе, который выдала Мариупольская городская управа. Мальчик рано лишился родителей, его воспитывали дядя и тетя по отцовской линии. Куинджи обучался греческой грамматике у учителя-грека, позже посещал занятия в городском училище. Его товарищи вспоминали, что учился Куинджи плохо, но с юных лет любил рисовать. Он рисовал везде: на обрывках бумаги, заборах и стенах.
Семья была бедна, поэтому мальчику с детства приходилось много работать. Он то пас гусей, то служил у подрядчика, то подрабатывал у торговца хлебом. Именно хлеботорговец посоветовал Архипу Куинджи поехать в Крым и поступить в ученики к Ивану Айвазовскому. Юноша дошел в Феодосию пешком и пробыл там все лето. Однако Айвазовский так и не оценил талант ученика — поручал ему лишь красить забор и толочь краски.
Первые уроки живописи Архип Куинджи получил от молодого родственника Айвазовского — Адольфа Фесслера, который в то время гостил у живописца. Вернувшись из Феодосии, начинающий художник стал работать в фотостудиях ретушером — сначала в Мариуполе, затем в Одессе, а в 1860-е годы — в Таганроге.
В 1865 году Архип Куинджи приехал в Санкт-Петербург поступать в Академию художеств. Однако стать вольнослушателем ему удалось только с третьей попытки, когда он написал полотно «Татарская сакля в Крыму».
В Академии художеств Куинджи познакомился с Ильей Репиным, Иваном Крамским и другими передвижниками. Увлеченный их идеями, в 1870-е годы Куинджи создал мрачноватые полотна «Осенняя распутица», «Забытая деревня», «Чумацкий тракт в Мариуполе». Они стали отражением основных художественных принципов передвижников — без прикрас показывали неприглядную действительность. На выставках картины имели большой успех, после «Осенней распутицы» Куинджи получил звание классного художника.
В 1875 году Куинджи приняли в Товарищество передвижников. На ежегодной выставке он представил картину «Степи», а через год — полотно «Украинская ночь». Темный пейзаж со светящимися под луной украинскими хатками приводил публику в восторг. Эта работа стала началом «романтического периода» творчества Куинджи.
В 1878 году живописец участвовал во Всемирной выставке в Париже. Самобытный стиль его полотен отметили многие французские критики.
К концу 1879 года Куинджи окончательно разорвал отношения с передвижниками — поводом стала анонимная статья, в которой художника обвиняли в однообразии. Позже стало известно, что автором публикации был Михаил Клодт, Куинджи потребовал исключения Клодта из Товарищества, а затем объявил о своем выходе из сообщества. Исследователи полагают, что конфликт стал для Куинджи только поводом: он давно мечтал идти собственным творческим путем, а принципы Товарищества очень ограничивали его.
В 1890-е годы Куинджи руководил пейзажной мастерской Высшего художественного училища при Академии художеств. В летние месяцы художник возил учеников в Крым в свое небольшое имение Сара Кикенеиз, где они проходили летнюю практику на пленэре. В 1901 году Куинджи впервые за много лет показал своим воспитанникам, а затем и некоторым друзьям новые картины — «Вечер на Украине», «Христос в Гефсиманском саду» и авторский список картины «Березовая роща». В ноябре Куинджи устроил свою последнюю публичную выставку, после которой никто не видел новых работ живописца до самой его смерти.
Архип Куинджи ушел из жизни в июле 1910 года. Весь свой капитал он завещал Обществу имени Куинджи, которое основал в 1908 году вместе с пейзажистом Константином Крыжицким для поддержки художников. На его могиле на Смоленском православном кладбище установили бронзовый бюст и надгробие по проекту архитектора Алексея Щусева. В 1952 году прах художника и надгробие перенесли на Тихвинское кладбище Александро-Невской лавры.