Начинаем считать.
Первый дворец построил Пётр Великий в 1708 году. Хотя дворцом данное здание назвать трудно, 2 этажа (фактически 1,5), башенка со шпилем, крыша из черепицы. Здание маленькое, название соответствующее: "Зимние маленькие хоромы".
Фасадом располагалось в сторону Невы, сейчас на его месте находятся Эрмитажный театр.
Судя по всему, Пётр жил в "хоромах" проездом.
Второй дворец решено было построить в 1711 году. Старый дворец разобрали и перевезли на Петровский остров, где он сгорел. Новый начал строить архитектор Маттарнови, но его отстранили и назначили Д. Трезини. Хотя к 19 февраля 1712 года дворец не был достроен (готово было восточное крыло), именно в этот дворец поехал Пётр I со своей второй женой Екатериной после свадьбы. Однако окончательно доделали дворец только через 10 лет (с натяжкой не обращая внимания на некоторые комнаты - через 8).
Именно в этом дворце умер Пётр Великий.
Третий дворец тоже строил Трезини. При этом второй дворец стал западным крылом нового дворца. Перестройку затеяла императрица Екатерина I, собственно, перестройка закончилась в 1727 году, в этом году Екатерина умерла. При Петре II дворец пустовал, при Анне Иоанновне в него селили лиц, нужных двору. Первая российская танцевальная школа тоже располагалась во дворце.
А при Елизавете Петровне в служебные флигели поместили Лейб-компанию.
В тоже время ещё при Анне Иоанновне в 1732 начали строить четвёртый Зимний дворец. А то без дворца в столице как-то не комильфо императрице. Достроили в 1735 году. Строил дворец Ф.Б. Растрелли. Дворец был четырёхэтажный, множество комнат - всё как положено. Собственно, именно этот дворец брала Елизавета Петровна и его при новой императрице постоянно перестраивали и ремонтировали.
В итоге было принято решение снести старые постройки, поскольку множество строений смотрелось так себе, и построить большой новый дворец с чем успешно справился Ф. Б. Растрелли. Дворец строили с 1754 по 1762 год и именно он стоит в центре Санкт-Петербурга.