А.С. Пушкин В 1780 году по приказу Екатерины II на берегу пруда, образованного при помощи плотины на маленькой речке Кузьминке был построен небольшой деревянный усадебный дом.
В 1782 году архитектор И. В. Неелов разработал проект постройки каменного дворца. Построенный в 1783—1785 годах каменный дворец отличался своеобразием плановой композиции и внешнего облика. В оформлении фасадов Неелов использовал готические мотивы: окна со стрельчатыми завершениями и готическим рисунком оконных переплетов, зубчатые парапеты. Стены дворца не были оштукатурены. В нём было семь комнат и специальный круглый зал для мраморной ванны.
Изначально дворец предназначался для жилья. Когда же Екатерине II решила удалить Григория Потемкина на окраину резиденции, она пожаловала ему Баболовский дворец. Но, ни здание дворца, ни Баболовская мыза никогда не были собственностью князя Таврического, оставаясь в ведении Царскосельского дворцового ведомств