Одна из старейших построек, сохранившихся в центре Москвы. Построенный при Иване Грозном. Пережил пожар и реконструкции, но сохранил древнерусский архитектурный стиль. Во времена Ивана Грозного от Сокольников до нынешних Красных ворот простирался лес, где охотился царь. По приданию, Иван Грозный сам выбрал место строительства охотничьего двора. Строили дворец новгородские мастера Постник и Барма, те самые, что позднее создали храм Василия Блаженного на Красной Площади и лишились зрения по приказу царя.
Перед охотой и после, тут устраивались пышнее пиры. От дворца шли подземные ходы доходившие до Кремля.
Много хозяев сменилось с тех пор, среди них Алексей Волков, владел он лишь год, но прочно вошло в историю название «Волковы палаты», пока летом 1727 года Пётр II не пожаловал палаты князю Григорию Дмитриевичу Юсупову. С тех пор дворец зовётся «Дворец Волковых-Юсуповых». Юсуповы владели дворцом до 1917 года.
При Юсуповых расширились граница усадьбы. На территории располагались каретные сараи и конюшни, коровник и склады и даже фабрика шерстяных изделий и знаменитый Юсуповский театр.
Часть помещений сдавалась, в том числе Сергею Львовичу Пушкину. Юсуповы за 190 лет владения проводили несколько реконструкций и восстанавливали дворец после пожара 1812 года.
В 1892 году княгиня Зинаида Николаевна пригласила на реконструкцию известного архитектора Николая Владимировича Султанова, который сделал из дворца дом-сказку. Но это уже другая история)