На месте этого дома до пожара 1812-го года стоял деревянный дом городской усадьбы Талызиных. Вся та усадьба выгорела дотла. И в 1817-м году её начали восстанавливать, но уже для нового хозяина - гвардии корнета Павла Яковлевича Охотникова. Новые постройки возводили в камне, а архитектором, вероятнее всего, был Федор Кириллович Соколов – один их тех зодчих, которые восстанавливали Москву (он принимал активное участие в восстановлении кремлёвских соборов, был автором проектов здания Арсенала, фасада церкви Иоанна Предтечи около Новодевичьего монастыря и ансамбля Мытного двора). Усадьба получилась невероятно красивой, а главный дом больше походил на дворец: фасад украсили портиком с восемью колоннами и фронтоном с богатой лепниной, во дворе, в который вели арочные проезды, устроили дворовые службы, конюшни, каретный сарай. Была даже личная домовая церковь! С 1879-го года усадьбой владели потомственные почетные граждане купцы Пеговы (ярославский род купцов и предпринимателей, владели пивоваренным заводом в Ярославле, вели торговлю в столице, занимались благотворительностью). Пеговы владели усадьбой почти до революции. А в 1882-м году сдали главное здание в аренду для размещения гимназии Поливанова (она была учреждена в 1868-м году и располагалась изначально на Тверском бульваре).
Лев Иванович Поливанов был педагогом, литературоведом и общественным деятелем. Он преподавал русский язык и словесность в 4-й московской гимназии. А потом открыл свою частную мужскую классическую гимназию, директором которой был до конца жизни. Лев Иванович главной целью обучения в школе считал развитие у учащихся логического мышления и красивой литературной речи. Он выступал за исторический принцип в преподавании русского языка, был составителем ряда многократно переиздавшихся школьных хрестоматий и учебников. Плата за обучение в его гимназии была очень высокой и учились тут дети именитых и богатых родителей, в основном дворянского сословия. Но образование они получали действительно завидное! И выпускники Поливановской гимназии были известны потом по всей России. Да и по всему миру. В разное время из стен этой школы вышли литераторы Валерий Брюсов, Максимилиан Волошин, Андрей Белый, Вадим Шершеневич, Сергей Шервинский, Сергей Эфрон, Сергей Заяицкий, Николай Позняков, художник Александр Головин, шахматист Александр Алехин и многие другие. Здесь же, кстати, учились сыновья Льва Николаевича Толстого.
В 1915-м году дом приобрела богатая лесопромышленница Вера Ивановна Фирсанова. При ней его немного перестроили внутри и изменили фасад. А после революции в 1921-м году в старинной усадьбе разместилась Государственная Академия художественных наук (ГАХН). Эта Академия стала в те годы своего рода последним оплотом интеллигенции. Тут работали многие известные люди: филолог Николай Лямин, философ и литературовед Павел Попов, историк Александр Габричевский, художник Борис Шапошников. А ещё тут часто бывал Михаил Афанасьевич Булгаков. Теперь в этом красивом особняке размещаются Детские художественная и музыкальная школы.