В середине 17-го столетия на том месте, где теперь стоит красивое зелёное пятиэтажное здание бывшей гостиницы «Петергоф», были расположены две небольшие городские усадьбы, принадлежавшие боярам Григорию Гавриловичу и Борису Григорьевичу Пушкиным, которые приходились друг другу двоюродными братьями. Борис Григорьевич был воеводой, Григорий Гаврилович - оружничим (т.е. ведал царской оружейной казной). В 1763-м году их владения соединили в одно, хозяином которого стал генерал-поручик Александр Артемьевич Загряжский. У супругов Загряжских было пятеро сыновей и две дочери. Один из сыновей (Иван) - это дед Натальи Николаевны Гончаровой, жены Александра Сергеевича Пушкина.
В 1786-м году владение Загряжских приобрел купец Петр Михайлович Гусятников. Он был очень богатым именитым гражданином. Именитые граждане — это сословная группа городского населения в Российской империи, члены которой были свободны от телесного наказания, им дозволялось иметь загородные дворы, ездить в карете, заводить и содержать фабрики, заводы, морские и речные суда. Именитый гражданин, отец и дед которого были именитыми гражданами, мог по достижении тридцатилетнего возраста просить о дворянстве. Что и сделали дети Петра Михайловича. Гусятников с компаньонами владел в Москве винным откупом и суконной фабрикой в Кожевниках. И именно его компании город обязан созданием таможенной границы – Камер-Коллежского Вала.
В 1857-м году владение перешло к купцу Егору Михайловичу Скворцову. Он был потомственным почетным гражданином и кавалером, в купечестве состоял с 1833-го года и занимался подрядами. Ещё он был членом комитета детского приюта принца Ольденбургского и инициатором учреждения премии имени Константина Тона. На приобретённом участке Скворцов выстроил каменный доходный дом по проекту архитектора Александра Сергеевича Никольского. Причем, вроде бы, строил он его частично из камней обвалившейся кремлевской стены, подряд на ремонт которой имел:) Первый этаж здания занимали магазины, а на верхних этажах были расположены меблированные квартиры для сдачи внаём. А ещё здесь же располагался Коммерческий суд, в канцелярии которого служил Александр Николаевич Островский.
В 1899-м году участок земли с домом приобрело Российское общество страхования капиталов и доходов. Все старые постройки были снесены, а на их месте по проекту архитектора Василия Васильевича Шауба возвели новое пятиэтажное здание в стиле модерна. Первый этаж с большими окнами сдавался под магазины, а на верхних этажах сделали респектабельную гостиницу «Петергоф». Зимой 1905-го года одну из комнат здесь снимал Алексей Максимович Горький с гражданской женой, актрисой Марией Федоровной Андреевой. В 1907-м Валентин Серов писал здесь портрет писателя Леонида Николаевича Андреева. А в 1913 - 1919-м годах проживал известный тенор Леонид Витальевич Собинов.
После переворота 1917-го года в доме разместился секретариат Центрального комитета ВКПб, а позже 4-й Дом Советов, где поселились партийные чиновники разных рангов. Потом в здании в разное время находились многие учреждения ЦИК, а ещё довольно долго располагалась приемная председателя Президиума Верховного Совета Михаила Ивановича Калинина. В наше время со стороны улицы Воздвиженки располагается Приемная Государственной Думы, а со стороны Моховой улицы - бизнес-центр «Деловой дом Моховая».