В петровские времена на этом месте существовал Мытный двор, который позже стали называть Гостиным. В 1736 году двор сгорел, на его месте планировали построить новый, но проект так и не осуществили.
В 1755 году всего за несколько месяцев возводят деревянный дворец для Елизаветы Петровны пока Зимний дворца строился. Архитектором был Растрелли, но дворец получился не таким изящным как