В первой половине 19-го столетия, в доме, свои последние годы, прожил боевой генерал А.П.Ермолов, участник Наполеоновских войн, Отечественной войны, Кавказкой войны и Русско-персидской войны.
Затем особняк многократно перестраивался, но свой современный роскошный облик он получил при дворянине В. Д. Коншине. Фасад дома был украшен обильным лепным декором.
До Октябрьской революции особняком владели промышленники Ушаковы. После краха империи в особняке разместилась хореографическая школа-студия известной американской танцовщицы Айседоры Дункан.
Вскоре после свадьбы с Дункан сюда переселился Сергей Есенин. Супруги прожили здесь до 1924 года.