Император Павел первый, строил этот дворец, как собственную крепость. Но несмотря на это, именно здесь царь и был убит. Смерть монарха порасла множеством легенд.
Есть легенда, где рассказывается, что прямо из императорской спальни, был сделан секретный тоннель, ведущий к памятнику Петра Великого. Но в роковую ночь цареубийства, монарх не смог им воспользоваться для спасения, так как был, застигнут врасплох. Вместе с правителем, на тот свет ушла и информации о тайном ходе.
По некоторым данным, дворец строился двухуровневым: подземная и надземная часть. Все чертежи о постройке, были странным образом утеряны.
Замок был связан подземными тропами с Воронцовским дворцом (ныне Суворовские училище).
Ещё существует информация, что тайные тоннели вели к Мальтийской капелле, к зданию №16, которое расположено на Фонтанке, прямо к казармам Павловского полка. Но официальная история не подтверждает этот факт.