Из документов, относящихся к 1750-м годам можно узнать, что в этом году в Кускове достраивался (перестраивается) большой дом. Об этом свидетельствует выписка из рапорта 24 мая: "В селе. государь, в Кускове, работы исправляются. Снаружи как столярная, так и малярная почти отделали, а начнут делать внутри залу...".
Дом не был окончен в 1750 году и его строительство продолжено в 1751-м. Сохранилась инструкция Ф. Звереву на этот год: "Большие хоромы в верхнем этаже, что есть неотделанного столярной и прочей работы то все отделать и в большом зале где невы правлено красками поправить и чтоб до хором в достройке ничего чужого и неотделанного не осталось и окончены в верхней галлерее чтоб все были вставлены...". Это был не совсем новый дом, он был построен на месте старого, части которого также вошли в обновленное строение. В течении нескольких лет строители еще занимаются укреплением и обновлением ветхих элементов старого здания. Петр Борисович опасался, что "хоромы от тягости или от ветхости оседать и кривиться будут".
Здание не отличалось большой надежностью, то тут, то там, периодически появлялись места гнили, выявлялись конструктивные недостатки, протекала кровля. Перестройка нового дома на основании старых хором, очевидно, было не самой удачной идеей. В таком виде дом просуществовал до 1770-х годов, когда его было решено капитально перестроить. одновременно с этим было решено комплексно преобразить усадьбы, многие старые постройки также было решено перестроить: "Сего 761 году генваря от 15 дня указом Его Сиятельства Государя нашего графа Петра Борисовича... писано, что в селе Кускове в будущем лете вместо деревянных будут построены каменныя оранжерея и бесетка и оным присланы планы и исчисление материалом и между протчего написано железа полоснаго на связи которое надлежит ныне заготовить из села Павлова триста пятьдесят пуд. ...".
Новое здание Дворца строилось несколько лет - с 1769 по 1775 годы под руководством московского архитектора Карла Бланка. Так как дворец предназначался для летних приемов, его также было решено выстроить из дерева, на крепком каменном фундаменте. В создании интерьеров принимали участие приглашенные иностранные художники, скульпторы, резчики, а также русские вольные и крепостные мастера.
Деревянный Дворец пережил многое - запустение усадьбы в начале XIX века, нашествие французских войск, революцию и Великую Отечественную войну. В первоначальном виде здание сохранилось до наших дней - прекрасный пример деревянного русского классицизма XVIII века.