Наследник Петра Борисовича, Николай делает шумную Кусковскую жизнь замкнутой и спокойной. Век иллюзий и праздненств начинает сменяться камерностью. Романтическая история связи графа и крепостной актрисы вынуждает Николая Петровича избегать светских встреч. Сначала велением хозяина на месте старой мыльни (ванного домика) строится отдельный каменный дом, а в 1799 году обстоятельства вынудили владельца покинуть Кусково и переселиться в строящуюся усадьбу Останкино, куда были перевезены вещи и из Кусковского дома.
XVIII век уступил место веку XIX, когда просвещённый рационализм сменился необузданным романтизмом. Миновала праздная жизнь, началось увядание кусковского сада.
Как писал граф в письме управляющему:
"Я никак не намерен делать в Кускове, да и нигде таких поправок, которые будут стоить больших трат, а хочу старое поддержать только так, чтобы не развалилось..."
Николай Михайлович Карамзин, заставший расцвет усадьбы, грустно отмечает:
"Кусковские сады, где глаза мои видали некогда столько людей, представили мне довольно печальных мыслей. Там, в главной алее, выставлялись прежде все померанцовые деревья из оранжерей: она казалась уголком Гишпании. Теперь все уныло и пусто."
В 1809 году, после кончины Н.П. Шереметева, усадьба попала в руки опекунов малолетнего сына графа, Дмитрия, которые не были заинтересованы в поддержании имущества.
Пустой и брошенной застали усадьбу войска маршала Нея в 1812 году, также добавив немало проблем и разрушений.
