Дворец спроектирован французским архитектором Жаном-Батистом Валлен-Деламотом в 1770-х гг. для графа Андрея Шувалова и его семьи. Позже владелицей усадьбы становится Екатерина II, которая выкупила дворец и передала его в государственную казну. В 1795 г. с легкой руки императрицы дом в качестве подарка переходит в собственность Александры Браницкой – племянницы графа Потемкина.
В 1830 году владельцем дома стал князь Николай Борисович Юсупов. По распоряжению князя началась перестройка дворца, над которой работал еще один талантливый архитектор — Андрей Михайлов II. Он предложил разбить здесь сад, обустроить парковый павильон, по его инициативе в замке появляется домашний барокковый театр. Произошли изменения и в самой конструкции дворца: его боковые двухуровневые ризалиты стали трехэтажными, как и вся основа дома, внутри появляются Белоколонный зал для банкетов, Танцевальный (бальный) зал, Императорская, Зеленая и Синяя гостиные.
Все флигели присоединили к основному костяку особняка, что открыло пространство для картинных галерей в образованных длинных коридорах. Красивые оранжереи и парадная мраморная лестница также стали новым украшением интерьера княжеской резиденции. В период грандиозного “перекроя” дворца, с 1830 по 1834 гг., свою лепту в архитектуру внесли итальянские зодчие Б.Медичи и А.Виги.
В 90-х годах ХІХ века в ходе большой внутренней реставрации во дворец провели электричество, центральное паровое отопление, водопровод. Украшением дома стала еще одна гостиная — Мавританская. Обустройством особняка Юсуповых достижениями цивилизации и очередным его преобразованием занимался Александр Степанов – мастер, достойный своих предшественников. В 1881 году на территории усадьбы была возведена домашняя церковь, а также маленькая часовня.
Начиная с середины ХІХ века дворцом владеет пять поколений князей Юсуповых, вплоть до 1917 года, когда события революции иначе предопределили судьбу знатного дворянского особняка. И несмотря на то, что это был всего лишь один из 57 фамильных дворцов Юсуповых по всей России, именно этот дом оставил за собой право носить имя династии.