Усадьба Расторгуевых — Харитоновых окружена множеством легенд. Говорят, что в подземелье Расторгуев устроил молельни для староверов, которым в то время запрещалось проводить богослужения. Десятки раскольников приходили по ночам в дом Расторгуева, чтобы отправлять там свои богослужения. Если к дому приближались посторонние, то купец предупреждал своих гостей, и они уходили из подземелья через потайной выход в глухом месте.