Одна из старейших построек, сохранившихся в центре Москвы. Построенный при Иване Грозном. Пережил пожар и реконструкции, но сохранил древнерусский архитектурный стиль. Во времена Ивана Грозного от Сокольников до нынешних Красных ворот простирался лес, где охотился царь. По приданию, Иван Грозный сам выбрал место строительства охотничьего двора. Строили дворец новгородские мастера Постник и Барма, те самые, что позднее создали храм Василия Блаженного на Красной Площади и лишились зрения по приказу царя...

В статье под названием «Московский дом князя Юсупова» из собрания «Русская старина в памятниках церковного и гражданского зодчества» за 1850-й год, издававшегося в Москве архитектором и археологом Алексеем Александровичем Мартыновым (1818–1893) и историком Иваном Михайловичем Снегирёвым (1793–1868), есть описание юсуповского дворца в Огородной слободе. «В Земляном городе, в большом Харитоньевском переулке еще уцелели старинные боярские палаты, кои представляют нам любопытный памятник строений в начале XVIII, а может быть, в конце XVII столетия...