Родители - византийский император Михаил VIII Палеолог и Феодора Дукина Ватаца, внучатая племянница Иоанна III Дуки Ватаца, императора Никеи.
В 1272 году стал соправителем Михаила VIII Палеолога. В 1280 году в области реки Меандр восстановил город Траллы (современный турецкий Айдын). К этому времени у Андроника уже был трехлетний сын Михаил IX Палеолог, который стал басилевсом-соправителем.
11 декабря 1282 года во время военного похода во Фракию скончался отец. Андроник II стал византийским императором. Проявил себя как приверженец чистого православия - отменил церковную унию с западной (римо-католической) церковью. Провёл в 1285 году Константинопольский собор, где были отвергнуты ранее введенные в православие католические догматы.
Взялся за присоединение Фессалии, Эпирского деспотата, отделившихся после четвёртого крестового похода 1202-1204 годов.
В 1290 году Андроник добился от свергнутого и ослеплённого его отцом императора Никеи Иоанна IV Ласкариса отказа от прав на престол. Видимо была оппозиция против него, которая могла выдвинуть в императоры ослепленного юного императора.
Андроник II активно укреплял византийско-монгольский альянс. Монголы поддерживали Андроника в борьбе против турок-сельджуков. Для этого император выдал дочерей за золотоордынских ханов Тохту и Узбека.
21 мая 1294 года в храме св. Софии в Константинополе патриарх Иоанн XII венчал Михаила IX на царство. Андроник II лавировал между Венецией и Генуей, которые были врагами между собой и основными торговыми партнерами Византии. В борьбе против Османа Гази, захватившему северо - западную часть Анатолии Андроник использовал войско каталонцев во главе с наёмником Роже де Флором.
В 1320 году внук Андроника II Андроник III убил всех своих родственников мужского пола, претендовавших на власть. Остался только он сам как внук Андроника II. Это стало причиной Гражданской войны 1321-1328 годов в империи между дедом и внуком.
Для укрепления власти Андроник II поставил на Патриарший престол своего приближённого монаха Исайю.
В 1326 году Андроник возобновил контакты Константинопольской и Римско-католической Церквей. Отправил письма папе римскому Иоанну XXII и королю Франции Карлу IV Капетингу с предложением об унии. Пытался найти союзников в борьбе против своего внука. Не получилось, тот победил и Андроник ушел в монастырь.