Большой Харитоньевский переулок расположен в центре Москвы в Басманном районе. Он проходит от Чистопрудного бульвара до Садовой-Черногрязской улицы. Своё название переулок получил по храму Харитония Исповедника в Огородной слободе, который был снесён в числе многих в 1935-м году. Дворцовая Огородная слобода была одной из самых больших в городе. Как понятно из названия, населяли её огородники, поставлявшие к царскому двору различные свежие овощи и фрукты. Часть продукции выращивалась в парниках. Остались свидетельства, что растили там даже дыни и арбузы! Но наибольшим спросом, конечно же, пользовалась капуста, морковь, редька, лук, свёкла, огурцы и яблоки. Застройка района была довольно редкой из-за большого массива садов и огородов. Существовала слобода вплоть до начала 18-го столетия.
Белокаменные палаты появились на окраине Огородной слободы, предположительно, во второй половине 17-го века. Но точной даты никто не знает. Так же неизвестно, для кого они изначально были построены. Есть одна версия, что хозяином их был Иван Грозный, а использовались они как охотничий дворец. Но опять же, никаких точных свидетельств этому не сохранилось. Ясно одно: постройка относится к числу самых старых гражданских строений Москвы. В конце 17-го столетия Пётр Первый пожаловал эти палаты вице-канцлеру Петру Павловичу Шафирову. Следующим владельцем был дипломат, один из руководителей секретной службы, действительный тайный советник граф Петр Андреевич Толстой. Но при Петре Втором его отправили в ссылку, а здание изъяли. Затем зданием владел обер-секретарь Военной коллегии Алексей Яковлевич Волков. Волков был хозяином палат всего-то около полугода, так как тоже попал в опалу. Но почему-то именно его имя закрепилось в истории этого дворца, который по документам начал значиться как «палаты боярина Волкова». И самое смешное, что к боярам Алексей Яковлевич никакого отношения не имел:) Ну и в 1727-м году Петр Второй пожаловал дворец генерал-аншефу князю Григорию Дмитриевичу Юсупову-Княжеву. С тех самых пор род Юсуповых владел палатами на протяжении 190 лет, вплоть до Октябрьской революции 1917-го года.
Участок земли Юсуповы сильно увеличили, постепенно скупая соседние владения. При них появился фруктовый сад и оранжерея. Построили театр. Само здание палат тоже постепенно перестраивалось, надстраивалось, обрастало хозяйственными пристройками. Последняя обширная реконструкция была проведена в конце 19-го века. Как раз тогда со стороны двора к дворцу было пристроено новое парадное крыльцо и возведена каменная ограда с воротами. А дом был надстроен третьим этажом. После революции дворец, само-собой, был национализирован. С 1929-го года в здании находился президиум ВАСХНИЛ — Академии сельскохозяйственных наук. Потом какое-то время тут был музей дворянского быта и военно-исторический музей, но Академия оставалась собственником здания. В 2004-м году она сначала сдала, а потом продала здание ООО «Межрегион НИИ проект». Но спустя три года сделку признали недействительной. Памятник вернулся в собственность Сельскохозяйственной академии, но стоял долгие годы без использования. В 2020-м его передали в ведение музею-усадьбе Архангельское. Но что там происходит сейчас внутри совершенно непонятно. За ограду пройти нет никакой возможности.
Юсуповы же в 1919-м году благополучно покинули Россию на линкоре «Мальборо», присланном британским королём Георгом Пятым. Они имели довольно много недвижимости за границей, а ещё им удалось вывезти небольшую часть своего состояния. Поэтому в Европе семья продолжала вести довольно обеспеченную жизнь. Старшие Юсуповы с внучкой уехали в Рим, а их сын с женой поселились сначала в Париже, а потом перебрались в Лондон. Сейчас потомки этого рода проживают в Греции.