Граф Воронцов в конце 18 века задумал построить дворец на границе черты города молодой столицы. Граница шла по реке Фонтанка, и правый берег застраивался. Не один он так поступал. Юсуповы строили свой дворец на берегу Фонтанки, ниже по реке. В середине 19 века дочь графа Воронцова вышла замуж за графа П.П. Шувалова. Особняк решили перестроить, строительство длилось 10 лет. К дому пристроили флигель, в котором расположились "Музеум", картинная галерея и прекрасный белый бальный зал с мраморными коринфскими колоннами. В 1846 году новая масштабная перестройка. Рыцарский зал, Золотая, Синяя и Красная гостиные, всё в интерьерах говорит о величие и царственной роскоши.
Дворец стали называть Шуваловским. История дворца, это три столетия истории русской аристократии через судьбы владельцев здания. Дворцом владели — Воронцовы, Шуваловы и Нарышкины. Последней хозяйкой дворца была графиня Елизавета Шувалова.
В 1917 году дворец был национализирован. В 1919 году был открыт Музей быта, но просуществовал он недолго, экспонаты передали Эрмитажу, а музей закрыли. Во времена Советского Союза, после войны, в 1965 году, дворец приютил у себя "Дом дружбы и мира с народами зарубежных стран". Его жизнь была скорее светской, чем политической. Во дворце всегда проходили конференции, концерты и выставки для иностранных делегаций. Место для "Дома дружбы" было выбрано очень удачно.
С первого своего дыхания дворец стал жить балами и встречами великосветских господ. Российские императоры любили бывать в этом особняке. Самые пышные и роскошные балы, несмотря на стоящий рядом Аничков дворец царской семьи, были именно в этом особняке.
В 2013 году двери этого дворца распахнулись для возможности устроить в роскошных залах экспозицию коллекции ювелира Карла Фаберже. Речь идёт об уникальной коллекции Пасхальных яиц. Это событие есть рождение Музея Фаберже. Благодаря Виктору Вексельбергу, силами его фонда "Связь времён" дворец был восстановлен в первозданное величие своего существование изначально. Мало того, был создан музейный фонд более чем 4 000 произведений. В залах дворца так же расположились полотна знаменитых русских и европейских художников.
Сегодня в музее 11 залов. Коллекции заняли свои места на втором этаже. В Красной гостиной — уникальная коллекция русского серебра. В Синей — коллекция пасхальных яиц, она не полная, всего девять, но и они дают представление о мастерах, их сотворивших. В Золотой гостиной демонстрируются предметы из Дома Фаберже и других ювелирных мастерских. В Аванзале нас ждут предметы с эмалями, выполненными в технике гильош, с богатейшим разноцветьем. Ещё много предметов размещены в Голубой и Белой гостиных, Бежевом и Готическом залах.
Самая крупная коллекция работ Фаберже у Английской монархии, более 450 предметов. 170 статуэток собрала сестра нашей императрицы, матери Николая 2, английская королева Александра. Пасхальные яйца находятся в музеях Вашингтона, Нового-Орлеана, Балтимора и Кливленда. Работы Фаберже разъехались по всему миру.