Построен Матвеем Казаковым в 1780-м году. Предназначался для размещения царской семьи во время путешествий из Санкт-Петербурга в Москву. Его строительство начала Екатерина Великая и приурочила к победе в русско-турецкой войне. Начинал проектирование дворца Василий Баженов - любимец императрицы, но потом он впал в немилость, поэтому заканчивал его работу ученик - Матвей Казаков.
Сама Екатерина II останавливалась в уже готовом дворце всего дважды. В основном русские правители останавливались здесь, когда ехали из Петербурга в Московский Кремль на коронацию.
Когда в 1812 году в Москву вошел Наполеон, он счел символичным остановиться в Петровском императорском дворце в покоях государя. По разным данным он пробыл там от 2-х до 4-х дней - ждал ключи от города.
Ключи от города, как мы знаем, французу никто не принес. А местные жители, узнав, что во дворце Наполеон, подожгли его. Французская армия бежала. Путевой дворец сильно пострадал. Фактически остался только остов. В 1830 году здесь сначала открыли холерный госпиталь, а к концу 1840-х годов проведена масштабная реконструкция по чертежам Казакова.
После нее дворец вновь стал использоваться для царской семьи в качестве загородной резиденции. Во время празднования коронации Николая II вокруг дворца были разбиты шатры - угощали и одаривали простой люд.
Во время празднования в давке на Ходынском поле погибло много людей - так хотелось получить подарки от императора и полакомиться угощениями. После национализации во дворце устроили артиллеристский пункт, чем нанесли урон перекрытиям и внутренней отделке. В 1923 году сюда въехала Академия Воздушного флота им. Жуковского.
Название сменили на Дворец красной авиации и начали глобальную перестройку здания. В следствие такого набережного отношения к памятнику культуры, мало что удалось сохранить из внутреннего убранства.
В 2005 году были закончены очередные реставрационные работы. Сейчас дворец официально является домом приемов Правительства Москвы. Верхние этаже отданы под гостиничный комплекс - императорские комнаты. А первый этаж - музей. Любой желающий может посетить дворец с экскурсией или пожить в гостинице.