Начал строиться в 1741 году по указу императрицы Елизаветы, только что взошедшей на престол в результате очередного переворота. Проект разноэтажного здания в виде растянутой буквы «Н» был создан одним из первых архитекторов новой столицы Михаилом Земцовым, однако тот скончался в 1743 году. Завершал строительство в стиле высокого барокко уже Бартоломео Растрелли.В это время Фонтанка служила окраиной города, а Невский проспект был ещё просекой. Таким образом, дворец должен был украсить въезд в столицу. От Фонтанки к дворцу был прорыт специальный канал, завершавшийся у входа небольшой гаванью. Отсюда и необычное положение дворца, стоящего к Невскому проспекту боком. Построенный дворец, напоминавший с устроенным рядом садом, фонтанами, цветниками Петергоф, Елизавета подарила своему фавориту Алексею Разумовскому. Впоследствии дворец неоднократно выступал в качестве подарка, обычно на свадьбу. После восшествия на престол Екатерина II, выкупив его у брата Разумовского — Кирилла, сочла более в