Строительство дворца началось в 1881 году по заказу князя Семёна Михайловича Воронцова. Проект в стиле Людовика XIII был разработан Этьеном Бушаром. В 1882 году в связи с кончиной князя Воронцова строительство дворца остановилось. В 1889 году имение было приобретено Удельным ведомством для императора Александра III. Архитектор П. К. Теребенев так описал состояние дворца при покупке имения: «Каменное здание в два этажа, частью с подвалом, сложенное из местного известковой породы камня, правильной кладки, хорошо сложенной, крыша цинковая с мансардными окнами; здание состоит из стен, крыши цинковой и по всем помещениям положены железные балки, остальных частей здания не имеется. Стоимость здания по солидности и прочности постройки может быть оценена в 85 тыс. рублей». С 1892 по 1902 год сооружение дворцового ансамбля продолжилось по проекту Максимилиана Месмахера. Максимилиан Егорович сохранил размеры и стиль строения, но, используя новые декоративные материалы и приемы, до неузнаваемости