В 1712 году Санкт-Петербург стал столицей России. Петром I сюда стали переселяться знатные люди, среди которых был генерал-фельдмаршал граф Борис Петрович Шереметев. Именно ради такого переселения ему был пожалован участок дома №34 на набережной реки Фонтанки. Кроме того, государь женил графа на своей родственнице А.П. Нарышкиной.
При Борисе Петровиче здесь был построен деревянный дом и различные служебные постройки. В 1730х годах на месте старых построек на берегу Фонтанки был построен новый одноэтажный дворец.
В начале 1750-х годов по проекту С.И. Чевакинского и Ф.С. Аргунова это здание было надстроено вторым этажом. После смерти жены и дочери граф Пётр Борисович в 1768 году переехал в Москву. Несмотря на отсутствие хозяев, усадьба продолжала перестраиваться. После смерти Петра Борисовича усадьба перешла к его сыну Николаю.
Долгое время Николай Петрович проводил в Москве, однако в 1796 году граф поселился в Фонтанном доме. У Шереметевых здесь был свой театр, оркестр. Исполнителями были наиболее талантливые люди из крепостных. В 1801 году Николай Петрович женился на одной из таких крепостных, Прасковье Ивановне Ковалёвой. На территории усадьбы были построены Летний дом, Каретные сараи, Садовый павильон, перестраивались служебные флигели. После смерти Николая Петровича 2 января 1809 года усадьба перешла его шестилетнему сыну Дмитрию Николаевичу.
В период службы Дмитрия Николаевича в Кавалергардском полку во дворце часто гостили его сослуживцы. Среди гостей здесь часто бывал художник О.А. Кипренский. Летом 1827 года сюда приходил Александр Сергеевич Пушкин, в мастерской дворца Кипренский написал его самый известный портрет.
18 апреля 1837 года в Шереметевском дворце состоялась свадьба графа с фрейлиной императрицы Александры Фёдоровны Анной Сергеевной. В 1844 году у них родился сын — Сергей. Почти двадцать лет на Шереметевых работал архитектор И.Д. Корсини. 16 мая 1838 года состоялось торжественное открытие чугунной ограды с воротами, украшенными гербом графов Шереметевых. Корсини были полностью перестроены дворцовые помещения, в 1845 году построен Садовый флигель. В Фонтанном доме устраивались музыкальные вечера. Здесь выступали Глинка, Берлиоз, Лист, Вильегорский, Шуберт. В 1849 году умерла графиня Анна Сергеевна. В 1857 году Дмитрий Николаевич вступил в новый брак, в 1859 году в котором родился сын Александр. Началась новая перестройка усадьбы. В 1867 году ко дворцу по проекту Н.Л. Бенуа был пристроен Северный флигель.
После смерти графа Дмитрия Николаевича в 1871 году произошёл раздел имущества между его сыновьями Сергеем и Александром. Фонтанный дом достался Сергею Дмитриевичу. В 1874 году в имении Шереметевых работал архитектор А.К. Серебряков, построивший здесь новые пятиэтажные корпуса. В результате участок был поделён на две части. Со стороны Литейного проспекта были построены доходные дома (№ 51), парадная часть осталась со стороны Фонтанки (дом № 34). В начале ХХ века закончены работы по переустройству доходной части участка. Были уничтожены Садовые ворота, Грот, Эрмитаж, Оранжерея, Китайская беседка и другие садовые постройки. В 1908 году Манеж и Конюшни перестроили в Театральный зал (ныне Драматический театр на Литейном). В 1914 году по проекту М.В. Красовского здесь были построены двухэтажные торговые павильоны.
В 1917 году семья Шереметевых передала дом во владение Советской власти. После революции в доме был открыт Музей дворянского быта и быта крепостных XVIII—XX вв., затем вошедший в состав Историко-бытового Отдела Русского музея, и просуществовавший до 1931 года. Все это время его директором и хранителем был В. К. Станюкович. В основу фондов музея было положено частное собрание Шереметевых. Оно включало в себя картинную галерею, собрания скульптуры, оружия, предметы декоративно-прикладного искусств (бронзы, фарфора, серебра, мебели), библиотеку (нотное и книжное собрание, рукописные материалы), собрание церковной утвари и икон (из домовой церкви Фонтанного дома). Попытки музейщиков в 1920-е годы сохранить целостность коллекции потерпели поражение. Дворец разделил судьбу всех «дворянских гнёзд». Он был отдан в ведение разных казённых учреждений, интерьеры уничтожены. Лишь небольшая часть предметов искусства попала в Эрмитаж, Русский музей, часть разрозненной библиотеки — в РНБ.
С середины 1924 до 1952 года в одном из флигелей дворца жила А.А. Ахматова. Здесь в 1989 году, в честь столетия поэтессы открылся её музей. Именно Ахматова в своих стихах дала второе название дворцу — «Фонтанный дом». В советское время во дворце находился Арктический и Антарктический научно-исследовательский институт.
С 1990 года здесь расположен филиал музея театрального и музыкального искусства. В 1999 году после реставрации во дворце был открыт Белый концертный зал, где проводятся концерты классической музыки.