С середины XVIII века владение находилось в собственности адмирала Николая Мордвинова, одного из организаторов Черноморского флота. Выйдя в отставку, Николай Семенович становится членом верховного уголовного суда, и кстати, он единственный, отказавшийся подписать смертный приговор декабристам. В 1810-1811 годах дом арендует Николай Михайлович Карамзин. Однако, в пожар 1812 года усадьба Мордвиновых выгорела, сохранился лишь каменный фундамент. После этого владение переходит в руки Марии Соболевской - неофициальной жены графа Алексея Разумовского...