Дворец перекупил у княгини Голицыной Ф.Н. Сумароков-Эльстон для своего сына, Феликса. Ведь тот женился на самой богатой невесте страны, Зинаиде Николаевне Юсуповой. В роду Юсуповых не осталось наследников мужского пола, поэтому фамилия и княжеский титул перешли мужу. Феликс Феликсович перестроил дом, доставшийся от княгини и достроил к нему восточный корпус. А потом снова встал вопрос о перестройке, сын Феликс Феликсович-младший, первый красавец Москвы, женился на родной племяннице последнего царя Ирине Александровне Романовой. Род Юсуповых был намного богаче царского, поэтому возражений на предложение не было. Несмотря на это, Феликс оказался хорошим мужем и их брак сложился удачно. После революции во дворце создали дом отдыха для сотрудников НКВД. И вот тогда здесь появился четвертый Феликс – Дзержинский. У него были больные легкие и воздух Крыма оказался для него целительным. Сейчас Дворец действующая правительственная резиденция, здесь до сих пор принимаются важные гости,