Указ Петра Первого от 1712 года о статусе Санкт-Петербурга как столицы Российской Империи стал началом большого строительства дворцов в центральной части города. Для этого Пётр жалует знатным особам участки с условием возведения на них «хоромных дворовых имений» и благоустройства территорий. Так большой земельный надел, располагавшийся между рекой Фонтанкой и Литейной дорогой, получил фельдмаршал граф Борис Шереметьев.
Вначале здесь был построен деревянный особняк и служебные постройки, а в 1730 году по проекту архитектора С.И Чевакинского заложили одноэтажный каменный дворец. Тогда же на сильно заболоченном берегу Фонтанки перед зданием вырыли пруд, обустроили сад и цветник. Нынешний вид Фонтанный дом, как назвали это именье Шереметьевых, получил лишь в 1750 году, когда был надстроен второй этаж с мезонином. В работе над проектом принимал участие крепостной архитектор Фёдор Аргунов, который по некоторым версиям использовал чертежи итальянского зодчего Растрелли. Дворец является ярким примером архитектурного стиля русское барокко с элементами эклектики. Главный фасад подчёркнут пилястрами, в центре имеется фронтон с именным гербом Шереметьевых, а мезонин завершает всю центральную композицию. По всему периметру крыши были установлены статуи, парадный вход украшали пьедесталы с позолоченными скульптурами коней, которые не сохранились до наших дней.
Интерьеры дворца перестраивались несколько раз на протяжении вплоть до 1809 года, для этого специально нанимали архитекторов И.Е. Старова, А.Н. Воронихина и Дж. Кваренги. Кроме служебных помещений, большого зала и пристроенного флигеля, здесь было обустроено место для личного крепостного театра с оркестром. Территория усадьбы обновлялась с 1811 года наследниками графа. В это время появилась литая чугунная решётка с воротами, Фонтанный, Больничный, Певческий и Садовый флигеля. Фонтанный дом Шереметьевых славился своим гостеприимством: в Петербурге среди офицеров даже ходило выражение «проживать шереметьевский счёт». Музыкальные вечера и торжественные обеды посещали именитые композиторы и певцы того времени, здесь бывали Глинка, Лист, Рубини, Виардо.
После революции 1917 года, Шереметьевский дворец был национализирован, в нём располагались различные советские ведомства и учреждения, а до 1931 года размещался филиал Русского музея. С 1924 по 1953 годы во флигеле, который стал жилым домом, проживала Анна Ахматова, литературный музей имени поэтессы работает с 1989 года.
