В XIX веке тоже были семьи, хобби которых были путешествия. Поэтому свой дом князь Щербатов решил построить в стиле замков викторианской эпохи Англии, а подсмотрел он такие в Индии, на тот момент Английской колонии.
Строил такую красоту архитектор Петр Бойцов, тот же самый, что построил замок Муромцево во Владимирской области. Вокруг замка был сад из диковинных кустарников и деревьев, саженцы которых привозили Щербатовы из своих путешествий.
До революции 1918 года, сам князь немного не дожил, а его жена эмигрировала во Францию, замок после революции был разграблен местными жителями. В 1919 году здесь был создан один из первых домов отдыха. В сентябре 1919 сюда приезжал В.И.Ленин. В память об этом на фасаде главного дома установлена мраморная доска.
Во время войны здесь размещался военный госпиталь. Васильевское было немцами захвачено и сожжено, каменные постройки взорваны. После войны здесь располагался туберкулезный санаторий им.Герцена. На рубеже 90-х 2000-х годах замок был почти полностью заброшен и разрушался. Какое то время здесь был даже ресторан.
В настоящее время замок полностью восстановлен, здесь функционирует санаторий.
