В первые годы существования Санкт-Петербурга по правому берегу Фонтанки проходила граница города. Застройка берега от Аничкова моста до Семеновского началась в конце 1780-ых годов. Тогда здесь появился двухэтажный дом с восьми колонным портиком. Дом был построен для графини И.И. Воронцовой. Автор проекта неизвестен. В 1790-ом году ее супруг умер. У них остался маленький сын. После этого Воронцова приняла решение уехать за границу для поправки своего здоровья. А по возвращению в Россию графиня приобретает дом на Дворцовой набережной...