Изначально сам особняк построил князь М. В. Голицын, после его смерти особняком владел его сын Александр, который в свою очередь детей не имел.
Затем участком владели английские купцы Бель, Вар.
В 1802 году дом приобрёл граф Николай Петрович Румянцев. В его доме хранились богатые коллекции письменных памятников, монет, медалей, предметов декоративно-прикладного искусства. Здесь была библиотека с труда и русских учёных.
Румянцев решил отдать особняк под музей.
Затем он отдал особняк своему
младшему брату Сергею Петровичу и поручил продолжить создание первого в России частного публичного музея.
Были перестроены внутренние помещения, приобретена специальная музейная мебель. В одном из залов была размещена галерея с портретами родственников Румянцева.
·
Далее приобретает особняк А. В. Старчевский, талантливый журналист, писатель, переводчик. В особняке проводились реконструкции.
После Старчевского домом владел купец Иоганн Фридрих Шумахер, который продаёт особняк Егору Никитичу Дрябину.
После его смерти хозяйкой дома становится вдова Дрябина — Клавдия Фёдоровна Дрябина. После смерти К. Ф. Дрябиной дом, вместе со всем имуществом переходит по духовному завещанию сыну — Ивану Егоровичу Дрябину.
Затем домом владеет супруга Евгения Максимилиановича Лейхтенбергского Зинаида Дмитриевна Богарне. По заказу новой хозяйки в доме начались работы по перестройке интерьеров.
После в дом приезжает дочь Евгения Максимилиановича от первого брака Дарья Евгеньевна.
Она выходит замуж за князя Льва Михайловича Кочубея.
Но их брак вскоре был расторгнут.
В особняке остался Лев Михайлович с детьми. Кочубеи владели домом.
С 1938 года в здании размещается музей истории и развития Ленинграда.