Генерал-губернатор Новороссии граф Воронцов умел жить на широкую ногу. Чтобы выстроить себе резиденцию в Крыме, он скупил у местных жителей огромные территории, причем умудрился сделать это почти за бесценок. В 1823 году его назначили генерал-губернатором, а уже в 1834 он был владельцем большинства плодородных земель полуострова. Маленький городок Алупка у подножия годы Ай-Петри он облюбовал для будущего дворца.
Создание роскошной резиденции Воронцов поручил английскому архитектору. Эдвард Блор начал работу над проектом в 1828. Фундамент был заложен еще до него — первоначально над созданием проекта трудились его коллеги Франческо Боффо и Томас Харрисон. А непосредственно строительными работами руководил уже Вильям Гунт.
В облике дворца сочетаются элементы английского и неомавританского стилей. Так архитектору Блору удалось объединить любовь Воронцова к Англии и исторические традиции Крыма. Интересно, что детали, созданные в духе английского зодчества, будто относятся к разным эпохам вплоть до XVI века. Чем дальше мы отходим от западных ворот, тем более поздний стиль постройки можем наблюдать.
Южный фасад здания оформлен с подлинной восточной пышностью. Арка ворот в виде подковы, двухъярусный свод и арабская надпись: «И нет победителя кроме Аллаха» на вершине. Кроме того, дымовые трубы напоминают настоящие минареты мечетей. Апогей объединения английского и неомавританского стилей кроется в орнаменте у южных ворот — в нем переплетается тюдоровская роза и цветок лотоса.
Основным материалом для строительства дворца послужил диорит, зеленоватый камень с серым отливом вулканического происхождения. За ним далеко ездить не пришлось — камень добывали прямо на территории Алупки. Из огромных каменных глыб вырезали прямые блоки для стен — в те времена такая задача требовала неимоверных физических усилий. Многих крепостных из других вотчин Воронцова насильственно сгоняли на стройку в Крым.
Формально Воронцовский дворец был окончен к приезду императорской семьи в 1837. Но на деле многое позже пришлось перестраивать и оформлять заново. Лишь к 1838 была готова часовая башня и восточные флигели, к 1841 — львиная терраса и зимний сад. Внутреннюю отделку дворца также создавали еще на протяжении нескольких лет. Интересно, что интерьеры резиденции Воронцова сохранились почти в первозданном виде.
После смерти графа Воронцова дворец перешел во владение к его сыну, а затем — к их дальним родственникам Воронцовым-Дашковым. После Октябрьской революции бывшую резиденцию генерал-губернатора национализировали вместе с огромным собранием произведений искусства, хранившимся в нем. Четыре года спустя во дворце открыли историко-бытовой музей.
Во время Великой Отечественной фашистские войска собирались взорвать дворец, но по счастливой случайности сделать это солдаты не успели. Уже в 1945 в уцелевшем Воронцовском дворце расположилась английская делегация во главе с Уинстоном Черчиллем, прибывшая на Ялтинскую конференцию. Еще несколько лет его использовали в качестве государственной дачи. В 1956 на базе бывшей резиденции Воронцова открыли музей.