Первые сведения о существовании дома Брюллова относятся к 1773 году. Архитектор Александр Брюллов владел зданием с 1840‑го по 1873 год. Возможно, перестраивал его по собственному проекту.
В Белом зале особняка на набережной проходили знаменитые музыкальные вечера, которые посещали деятели отечественной культуры: К. П. Брюллов, М. И. Глинка, Н. В. Кукольник, Н. В. Гоголь. Во второй половине XIX века в доме Брюллова арендовали квартиры известные представители русской культуры, преподаватели, военные моряки и морские исследователи. В начале 1870‑х годов на квартире вице-адмирала Николая Краббе состоялось одно из первых представлений оперы Николая Римского-Корсакова «Псковитянка».
Существующий облик фасад дома получил в 1897 году по проекту гражданского инженера А. Л. Большакова. Лицевой фасад здания со стороны набережной решен в приемах эклектики с использованием элементов классицизма. В 1960 – 1980‑е годы в здании располагались организации ДОСААФ, сейчас там находится гостиница.
Двухэтажный дом Федора Голицына построен в середине XVIII века, автор проекта не установлен. В 1835 году здание надстроили третьим этажом, фасады оформлены в приемах позднего классицизма. Сохранились отделка фасадов и интерьеры лестниц.
В середине XIX века дом принадлежал семье Петра Бартошевича, капитана 1‑го ранга, который на шлюпке «Предприятие» совершил кругосветное плавание на Камчатку. В доме жил Владимир Безобразов, известный русский экономист, специалист по налогам и сборам, член Русского географического общества.
