Главный дом был возведен в 1777–1780 годах, а в 1806–1811 годах архитектор А.А. Менелас пристроил к зданию боковые флигели. Дворец приобрел облик усадьбы, с широким парадным двором и каменной оградой со львами.
Дом пострадал во время французской оккупации Москвы в 1812 году, и в 1814–1817 годах был перестроен архитектором Д. Жиля́рди.
В 1831 году дом приобрел Английский клуб. Английский клуб был известен своими карточными играми, роскошными обедами и политическими дискуссиями. Количество членов клуба колебалось от 300 до 400 человек. Изначально в клубе состояли преимущественно члены аристократических родов. Позднее, состав членов клуба существенно расширился. Среди членов клуба были известные военачальники: П.И. Багратион, Денис В. Давыдов, М. Д. Скобелев; писатели: А.С.Пушкин, Л.Н. Толстой; предприниматели: С. И. Мамонтов, Морозовы.
После краха империи в 1917 году Английский клуб был закрыт.