Данный дом, расположенный на Английской набережной в начале XIX века принадлежал графу Николаю Румянцеву, меценату и страстному коллекционеру. Он заложил основу для первого в России публичного музея, накопив в своем доме огромную коллекцию русских древностей, в том числе картины, старинные книги, государственные акты, печати. Сейчас в отреставрированных интерьерах его бывшего особняка размещены экспонаты музея истории Санкт-Петербурга.
Изначально каменная постройка в данном месте была возведена в 1740-х годах для князя Михаила Голицына. Уже позже, спустя 60 лет дом был приобретен Николаем Румянцевым. В саду на противоположном берегу реки Невы расположился обелиск в честь знаменитого полководца Петра Румянцева-Задунайского. За работу над зданием Глинке было присвоено звание академика Академии художеств.
Дом стал настоящим центром науки. Румянцев накопил богатую коллекцию текстов, монет, медалей и украшений. Особую ценность представляла библиотека из 28 500 книг, в том числе труды русских ученых XVIII и начала XIX веков, русские летописи и журналы путешественников. Более 13 000 томов были на иностранных языках. Хозяин дома занимал три комнаты с видом на Неву, а все остальные части были домом для его бесценных сокровищ. Историки, лингвисты и архивариусы постоянно работали в особняке. Помимо исследовательских работ, он стал местом проведения лекций, чтений и концертов.
После смерти графа его младший брат Сергей Румянцев продолжил работу по созданию первого в России частного музея. Он был открыт для публики в 1831 году, и вход был бесплатным для всех. Однако в 1861 году из-за нехватки музеев в Москве и, несмотря на протесты петербуржцев, коллекции были переданы в Дом Пашкова.