История этого дома длиною почти в два с половиной столетия началась в 1786 году, когда известному зодчему Матвею Федоровичу Казакову поступил заказ на строительство городской усадьбы для князей Гагариных. В период с 1802 по 1812 годы усадьба была сдана в аренду Английскому клубу. Здесь проходили званые обеды, устраивались карточные игры. Именно здесь, в 1806 году, состоялся торжественный обед в честь князя Багратиона, который Лев Толстой описывал в романе "Война и мир".
Во время Отечественной войны 1812 года в усадьбе расположился штаб конницы Наполеона, где одним из интендантских офицеров был Анри Бейль - будущий известный французский писатель Стендаль. После ухода французов из Москвы дом сильно выгорел в пожаре.
Здание пустовало c 1812 года, в 1828-м его выкупил военный генерал-губернатор Москвы Дмитрий Голицын для устройства в нём больницы. С этой целью был приглашен архитектор Осип Бове, который восстановил и перестроил усадьбу.
Ново-Екатерининская больница, которая финансировалась из казны, после революции работала также. С 1917 года она стала носить название 24-й городской, и просуществовала здесь вплоть до 2009 года.
В 2009 году реставраторы обнаружили на чердаке здания интереснейшую находку. Переделывая усадьбу в больницу, Осип Бове увеличил объем здания, но не стал трогать крышу постройки своего учителя М.Ф. Казакова, которая чудом уцелела во время московского пожара, просто накрыв ее новой, большей по размеру. Поэтому внутри чердака сохранились детали кровли 1786 года.
Усадьба построена в стиле классицизма и стоит на участке площадью 3,5 гектара. Центральная трехэтажная часть здания украшена 12-ю колоннами по главному фасаду, протяжённые боковые крылья имеют два этажа, планировка парадного второго этажа анфиладная.
С 2015 года здание бывшей Ново-Екатерининской больницы входит в комплекс Московского парламентского центра. Здесь проходят торжественные церемонии вручения городских наград, официальные встречи, художественные выставки и другие мероприятия, организуемые Московской городской Думой.
