Свою историю особняк берёт с 1710 годов, когда над ним закончил работать архитектор Жан-Батист Леблон. Особняк был выстроен в соответствии с классическими представлениями о зодчестве в то время: строгий и одновременно величественный фасад, минимум декора, неброский цвет. Сначала домом владел сын Никиты Зотова, учителя Петра I. На момент владения домом он числился контролёром при Адмиралтейств-коллегии и был известен как автор нескольких руководств по морскому делу.
Однако уже в 1823 году особняк становится собственностью купеческой семьи Бракгаузен, для которой архитектор Беретти вносит незначительные изменения в облик здания. В 1832 году в дом заселяется следующий хозяин — американский посол Бьюкенен, впоследствии ставший 15-м президентом США. Он всегда с теплотой вспоминал свою жизнь в особняке: «Я занял очень хороший дом на берегу Невы с прекрасным видом на эту величественную реку и корабли, входящие в этот изумительный город...»
В 1872 году дом приобретает коммерсант Эстеррейх, и его вновь перестраивают. Зодчий Гедике меняет главный фасад, придавая ему облик в духе Людовика XVI, создаёт новый декор и обновляет интерьеры. В 1890-х годах дом снова меняет владельца, и на этот раз им ставится отставной министр путей сообщения Кривошеин.
После гибели царской империи в доме в разное время находился отряд и Школа подводного плавания, Ленинградская транспортная контора «Госпароходства», банк, 16-е отделение милиции и, наконец, квартиры обычных граждан, которые расселили в начале 2000-х годов.
Сейчас дом пустует и ждёт своего возрождения.
