Дом №20 на Пречистенке в путеводителях по столице значится, как дом генерала Ермолова.
Но история этого места начинается задолго до того, как здесь поселился Ермолов. В конце 18 века на Пречистенке предположительно по проекту М. Ф. Казакова был построен деревянный особняк в классическом стиле для доктора Христиана Ивановича Лодера. Рядом была открыта лечебница. Доктор Лодер считал, что многие «великосветские» недуги можно вылечить отдыхом, прогулками на свежем воздухе, минеральными водами. По легенде от фамилии доктора произошло слово «лодырь», так москвичи называли гуляющих в саду лечебницы «больных».
В пожаре 1812 года особняк полностью сгорел. Лодер продает участок с остатками построек графине Елизавете Федоровне Орловой, урожденной Ртищевой. На месте сгоревшего дома строится двухэтажный каменный дом. В 1851 году хозяином дома становится Алексей Петрович Ермолов, генерал, герой отечественной войны 1812 года и покоритель Кавказа. Здесь Ермолов прожил десять лет до самой смерти в 1861 году. Он собрал в доме богатейшую библиотеку.
Следующий владелец - Владимир Дмитриевич Коншин, предприниматель, купец 1-ой гильдии, коммерции советник, получивший за коммерческие успехи потомственное дворянство. Коншин был одним из учредителей и председателем правления Товарищества костромской большой льняной мануфактуры. Владимир Дмитриевич был родственником и деловым партнером Павла Третьякова, он был женат на его сестре, Елизавете. Другая сестра Третьякова, Софья, была женой архитектора Александра Степановича Каминского. Поэтому неудивительно, что для реконструкции своего дома в 1873 году Коншин пригласил именно Каминского.
В конце 19 века владельцем особняка стал Алексей Константинович Ушков. Предприниматели Ушковы прежде всего известны тем, что они были одними из первых в России успешными предпринимателями в области химической промышленности. Кроме того, Ушковы владели золотыми приисками, рудниками, заводами по производству кирпича и метлахской плитки на Урале и в Поволжье. Алексей Константинович получил в наследство от своей матери Марии Григорьевны, урожденной Кузнецовой, еще и чайное производство, в которое входили даже собственные плантации на Цейлоне.
Алексей Ушков был не просто богат, а очень богат. И его особняк тоже должен был выглядеть очень богато. Его перестраивают внутри, а снаружи на основе ампирного декора появляется обильно украшенный лепниной фасад, стилизованный под барокко.
Цветочные гирлянды, ветки лавра и листья аканта, картуши, женские и львиные маскароны, орлы, балюстрада на крыше с вазами-урнами, ажурный балкон – таким стал фасад этого особняка при А. К. Ушкове.
Внутри дом был отделан в стиле эклектики: здесь были залы помпейский, римский, два наполеоновских, севрский, мавританский по моде того времени. Кто конкретно занялся проектом перестройки дома не известно. Считается, что Ушков заказал проект своего дома в Казани и перестройки дома в Москве архитектору Карлу Людвиговичу Мюфке, постройки которого до сих пор украшают улицы Казани и Саратова. Такая версия очень вероятна, особенно если сравнить дома Ушкова в Казани и в Москве.
Вторая жена Алексея Константиновича, Александра Михайловна Балашова, была балериной Большого театра. Специально для ее домашних репетиций в особняке была оборудована комната со зеркальными стенами. Во многом благодаря этому факту в национализированном особняке в 1921 году поселилась Айседора Дункан и открыла здесь детскую хореографическую студию. Вскоре после свадьбы здесь поселился и Сергей Есенин. Супруги проживали в особняке до 1924 года. В конце 1920-ых годов в доме располагались квартиры сотрудников различных организаций, а в 1930-ых работала выставка охраны материнства и младенчества. С 1958 года особняк принадлежит Главному управлению по обслуживанию дипломатического корпуса Министерства иностранных дел.
В 1999 году была проведена комплексная реставрация дома Ермолова. Отреставрированы фасады и интерьеры внутренних парадных помещений. В ходе реставрации была раскрыта считавшаяся ранее утраченной отделка интерьеров «мавританского» зала, вероятно выполненная по проекту Шехтеля, который оформлял интерьеры домов семейства Ушковых в Москве и в Крыму.