Построен в 1839 году на фундаменте палат XVIII в титулярным советником К. О. Гениште. В 1880-х гг. его купил купец А.И. Хлудов. В 1882 году сын купца заказывает масштабную перестройку особняка.
В наследство Хлудову младшему достается также еще несколько доходных домов в Москве. На деньги от их продажи он покупает землю в поселке Сочи и делает это место модным курортом.
Большой зал в доме предназначался для концертов. В нем даже стоял орган, приобретенный хозяином в Германии. Кстати, именно этот орган теперь стоит в Малом зале Московской консерватории.
В доме Хлудовых бывали такие известные личности как: Рубинштейн, Жуковский, Андрей Белый, Бехтерев, Филатов и др. В последствии особняк перепродавали еще несколько раз.
После национализации в нем разместили латышский детский сад и школу им. Карла Маркса. Для этого особняк надстроили еще тремя этажами, полностью изменив его облик.
От первоначальной перестройки 1882 года осталась только лестница и лепнина. После детского сада особняк отдали издательству "Художественная литература". Оно там и поныне.
Нам удалось случайно попасть внутрь, а вообще там пропускной режим)