Это красивое здание в стиле ампир построено было в 20-х годах 19-го века по проекту знаменитого архитектора Доменико Жилярди для князя Сергея Гагарина. Князь Сергей Сергеевич Гагарин имел чин обер-гофмейстера (заведовал штатом и финансами императорского двора), а до этой должности (с 1829 по 1833 год) был заведующим императорскими театрами. В качестве директора императорских театров он приложил много труда для приведения в порядок театрального дела, в то время как все его предшественники на этом посту только крутили амурные дела с актрисами и занимались волокитством. Гагарин же так любил свою жену и так боялся дать хоть малейший повод для сплетен, что принимал всегда актрис стоя и не приглашал их садиться. Не трудно догадаться, что жил князь с семьёй в основном в Петербурге. А здесь, на Поварской, была его Московская городская усадьба. Но пожить в ней толком семья Гагариных не успела. В 1833 году после того, как министр двора отказался увеличить сумму, отпускаемую из казны на содержание театров, Сергей Сергеевич вспылил и вышел в отставку. А после этого он вынужден был продать свою московскую собственность в счёт долгов.
После этого усадьба несколько раз поменяла своих хозяев, но вскоре её приобрёл коннозаводчик Охотников. Его выбор основывался на том, что в числе прочих дворовых построек здесь имелся манеж. Большинство исследователей считает, что одноэтажное здание манежа было построено одновременно с главным домом. В 1843-м году дом у Охотникова приобрело Управление Государственного коннозаводства. В парке тогда возвели двухэтажный каменный манеж и деревянные конюшни. А главное здание усадьбы использовали для размещения конторы организации и квартиры её председателя. В 1875-м году здесь поселился управляющий Императорскими конными заводами в Туле и Москве генерал-майор Леонид Гартунг с супругой Марией Александровной (старшей и любимой дочерью Александра Сергеевича Пушкина). Через два года Леонида Николаевича несправедливо обвинили в крупном хищении, и он застрелится прямо в здании суда, оставив записку «Я ничего не похитил и врагам моим прощаю». Такая вот грустная история:(
После революции в бывшем Доме коннозаводства расположились Первые московские пулемётные курсы РККА. Через три года здание занял Институт красной профессуры. С 1920-х годов строение также занимала Интернациональная Ленинская школа, где обучались студенты из зарубежных коммунистических стран. В 1932 году здесь организовали Литературный институт имени Максима Горького. А после смерти Горького в 1936 году Центральный исполнительный комитет распорядился выделить несколько помещений особняка для музея и архива документов писателя. Институт мировой литературы имени А. М. Горького Российской академии наук располагается в бывшей усадьбе князя Гагарина и в наше время.