До революции на месте нынешнего здания ФСБ, по адресу Литейный 4, находился Окружной Суд, который во время народного восстания сожгли и разрушили. Руины, почерневшие от копоти, никто не трогал 15 лет. Лишь в 1932 году здесь началось строительство здания ОГПУ, соединённое подземным ходом с царской тюрьмой, где раньше сидел Ленин.
Жители, давшие названия этому строению "Большой Дом", обходили его стороной: Нева со стороны здания имела красноватый оттенок и это рождало в народе слухи. Согласно одному из них считалось, что под землёй находится ровно столько же этажей, сколько и сверху, а в этих подвальных помещениях установлена мельница, что перемалывает тела врагов режима.
Есть легенда, что водолаз, искавший на дне Невы неразорвавшиеся бомбы, нашел у здания кучу утопленников, к ногам которых были привязаны грузы, вес который не давал телам всплыть.
- Что выше: Исаакиевский или Большой Дом?
- Большой Дом. С Исаакиевского виден Кронштадт, а с Дома - Сибирь.
Сейчас здание является символом Красного террора и некоторые считают, что его необходимо снести.