Особняк графа Румянцева с самого начала был одним из центров культурной жизни Петербурга. Граф был просветителем и меценатом, он собрал уникальную коллекцию различных древностей, старинных рукописей, церковных книг и прочих памятников российской истории и культуры. В настоящее время здесь находится филиал Государственного музея истории Санкт-Петербурга.
Первый каменный дом на этом участке Английской набережной был построен в 1740-х годах для князя Михаила Васильевича Голицына. Дом был построен согласно общему плану застройки набережной. Двухэтажное здание мало выделялось среди всех окружающих его построек.
После смерти князя в 1749 году особняком владел его сын Александр, который в свою очередь детей не имел. Александр Михайлович Голицын скончался в 1774 году. Затем участком владели английские купцы Бель, Вар. Вообще, аренда особняков англичанами в этом районе не была редкостью. Поэтому набережная и стала называться Английской.
В 1802 году дом приобрёл граф Николай Петрович Румянцев, сын Петра Александровича Румянцева-Задунайского и Екатерины Михайловны Голицыной. В его доме хранились богатые коллекции письменных памятников, монет, медалей, предметов декоративно-прикладного искусства. Здесь была библиотека из 28 500 книг, куда входили труды русских учёных XVIII — начала XIX века, издания русских летописей, работы русских путешественников. Более 13 000 книг было на иностранных языках.
Хозяин особняка жил в парадных помещениях второго этажа. Здесь находились три больших зала с наборным паркетом, золотой лепниной на стенах и израсцовыми печами. Весь третий этаж был отдан под хранение коллекций.
Понимая ценность своей коллекции, Румянцев задумал отдать её в пользу государства вместе с особняком. Дом на набережной отдавался под музей. Жилые корпуса со стороны Галерной улицы должны были стать доходными домами, прибыль с которых шла бы на нужны музея.