Не удивительно, что относительная независимость, вернее вызывающая строптивость Растопчина, порой вредила его отношениям с монархом. Он один раз подвергся высылке в свое имение при Екатерине II и дважды высылался в них при Павле I. В результате в решающий момент в марте 1801 г.в Петербурге не оказалось двух основных столпов Павловского царствования: Аракчеева и Растопчина, что без сомнения облегчило задачу заговорщикам и способствовало успеху дворцового переворота. При Александре I Растопчин долго не назначался ни на какие государственные посты, так как молодой император ещё с гатчинских времён невзлюбил графа (может быть виной тому была всё та же относительно независимая позиция Растопчина?)