В 1781 году начались подготовительные работы для грандиозного строительного проекта. Генерал-аншеф Федор Иванович Глебов поручил построить дворец для супруги Елизаветы.
Стройка началась в 1787 году и продолжалась 12 лет, автором и архитектором проекта стал Николай Александрович Львов, считается, что это одна из лучших работ зодчего.
Главный дом соединен круговой крытой колоннадой с боковыми флигелями и воротами. За столь необычную форму архитектурный ансамбль прозвали «Ожерельем для Елизаветы». В парных флигелях находились: библиотека, театр, комнаты слуг и каретный двор. На территории был разбит чудесный парк с павильонами, беседками и каскадом прудов.
Овальный входной вестибюль, великолепная парадная лестница, главный зал и прочие интерьеры дома, все это указывает на то, что дворец был рассчитан на проведение великосветских мероприятий.
В доме была устроена удивительная система «духовых печей» и специальные ароматические вазы, наполняющие усадьбу цветочными ароматами.
На сегодняшний день усадьба "Знаменское-Раек", является единственной в Тверской области усадьбой, сохранившей в таком объеме росписи XVII века.
В 1888 году имение было продано Александре Дубасовой. После революции имение национализировали и обустроили в нем дом отдыха. В годы Великой Отечественной войны в здании бывшего имения располагался военный госпиталь. В 1980е господский дом перепрофилируют под профилакторий для сотрудников тверских заводов.
В 2022 году усадьба перешла в собственность Всероссийского историко-этнографического музея и будет отреставрирована.