Построена в 1820 году на месте усадьбы Талызиных, которую уничтожил пожар 1812 г. Новым хозяином стал корнета гвардии Павел Охотников. Интерьеры дома были очень богатыми. В советское время на их основе были созданы декорации к комедии Горе от ума в Малом театре.
В 1879 году усадьба переходит во владение купцов Пеговых. А в 1882-м главный дом усадьбы арендует частная мужская гимназия Поливанова. В ней учились Брюсов, дети Толстого и Достоевского.
В 1915 году усадьба переходит к предпринимательнице Вере Фирсановой. Она перестраивает интерьеры и фасады дома. В почти полностью сохраненном таком виде и доходит до нашего времени усадьба.
В 1921 году, после национализации, здания занимает Государственная Академия художественных наук. Полукруглые конюшни - визитная карточка усадьбы - достраиваются вторым этажом, который становится жилым.
В 1963-м проводится реставрация главного дома. Вторая реставрация была в 2010 г. Одно из полукруглых зданий до сих пор жилое. Во втором находится художественное и музыкальное училище.
Внутрь попасть, при желании, можно. Из интерьеров сохранились - чугунная лестница и концертный зал, построенный еще при Поливанове.
