Этот примечательный своими весьма любопытными владельцами особняк был построен по проекту, предназначенному для «именитых домов», автором этого проекта был архитектор Ж.-Б. Леблон.
Первым хозяином особняка стал Никита Зотов, сын учителя Петра Первого. Профессия первого владельца особняка была связана с морем и морским делом.
Позже, в 1823 году архитектурное убранство дома было переделано в стиле классицизма. Автором данной переделки стал архитектор Беретти. Сделано это было по заказу купеческой семьи Бракгаузена.
В 30 годы 19 века дом занимал американский посланник Дж. Бьюкенен, ставший потом 15 американским президентом.
Третье изменение архитектуры дома имело место в 1872 году. По заказу Л. К. Эстеррейха под руководством архитектора Р. А. Гедике дом был реконструирован в стиле Людовика XVI.
Возврат к началу - от хозяина моряка - к хозяевам- подводникам
В ранний советский период в доме располагалась Школа подводного плаванье, управление пароходства. В период с 1925 по 1950 годы особняк был перепрофилирован под обыкновенный жилой дом.
Затем там располагалось отделение милиции.
Дом пустует и медленно разрушается с начала 2000 годов. Были попытки начать реставрацию, однако дело дальше возведения лесов и установки защитной сетки не двинулось.