Купец первой гильдии Лев Расторгуев начинает строительство своей усадьбы в 1814 году. По семейной легенде, в качестве архитектора для строительства особняка был выписан из тюрьмы француз-каторжник. В счёт платы за работу ему была обещана свобода, но по окончании строительства архитектор вновь стал узником. Вернувшись к своим оковам, он повесился в тобольской тюрьме, прокляв и своё творение, и его хозяев.
С этого проклятия и начинаются леденящие душу легенды и предания. Говорят, что одна из дочерей Расторгуева, не смирившись с отцовским выбором жениха, утопилась в пруду. На этом смерти в семье Расторгуевых не закончились.
Вторая дочь была выдана замуж за Петра Яковлевича Харитонова в 1816 году. И это уже не легенда, а факт. Их первенцы (Лука, Татьяна, Марья, Лев, Александр) умирали друг за другом, не доживая до пятимесячного возраста. Первым ребёнком, пережившим этот страшный рубеж, был Георгий, который родился сразу же после смерти своего деда Расторгуева. Казалось бы, проклятье с семьи Расторгуевых снято, но через год после Георгия рождается Антонина, которая не дожила до восьмимесячного возраста. Позже родились ещё Александра и Ольга, которые были не тронуты страшным проклятием.
Но вернемся ко Льву Расторгуеву. Свою первую жену он уморил голодом и женился вновь на красавице-цыганке. Так гласит легенда. Но, узнав о том, что молодая жена ему изменяет, приказал убить любовников. В ту же ночь домочадцы нашли хозяина мертвым, Расторгуев выбросился из окна.
После смерти Льва Расторгуева дворец перешел по наследству к его зятю — Петру Харитонову. О его жестокости и разнузданности шла дурная слава. Крестьян и рабочих с заводов часто пытали и морили голодом. Говорят, что мятежных и инакомыслящих мучили и гноили в подземельях усадьбы.
По слухам, бывший садовник, живший при особняке Расторгуева-Харитонова, перед смертью покаялся в том, что по приказу своих хозяев загубил не одного человека в подземных казематах.
В 1837 году по указу Императора Харитонов был выслан в Кексгольм за зверское обращение с рабочими. Усадьба опустела, наследники не пожелали больше жить в этом проклятом месте. Жена Харитонова Мария Львовна после скорой смерти мужа в ссылке перебралась в Петербург вместе с тремя детьми и в своем родовом имении больше не появлялась: слишком много страшных воспоминаний было связано с этим домом. Так опустел особняк Расторгуева-Харитонова. Чуть позже некоторые помещения сдавались под квартиры и конторы, но по-настоящему здесь уже больше никто и никогда не жил.
Сад Харитоновых стал общественным местом, и уже с конца XIX века здесь устраивались праздничные народные гуляния. Уже тогда, по словам очевидцев, ночью здесь происходили непонятные вещи. Говорят, что в саду до сих пор можно встретить призраков. Люди, выгуливающие собак в парке, часто замечают необычное поведение своих питомцев. Животные, как будто видят кого-то, встают в стойку, могут начать рваться в пустоту с истошным лаем.