Дом под номером 12 был построен в 1768 году. До этого участок входил в состав Адмиралтейского луга. Как и предыдущие дома он архитектура его была в стиле классицизма типового проекта Квасова. Первой владелицей дома стала Елизавета Васильевна Толстая, жена полковника Александра Васильевича Толстого. В 1777 году Е.В. продала дом К.Ф. Гейдеману. Тот, в свою очередь, через 5 лет сплавил дом фавориту Екатерины II генерал-поручику А.Д. Ланскому, который жил здесь недолго. Для него строился дворец, в котором он вообще не пожил, так как скоропостижно скончался. Приемники Ланского продали дом князю Шаховскому в 1786 году. В 1802 году домом владел купец Иван Калержи, приехавший в Россию двумя годами ранее. На последнем этаже квартиры снимал генерал-губернатор Михаил Андреевич Милорадович, который так умел обставить квартиры, что диву даешься. Историк А.И. Михайловско-Данилевский так писал: Квартира Милорадовича была похожа на магазины мебели или изящных художеств по великому множеству разнообраз