Замок (Кайзербург) был построен на скале около 1050 года Генрихом Третьим. Постепенно замок стал вотчиной, передававшейся по наследству. В 1138-1140 годах его достраивал император Конрад, и он стал императорским замком. В 1050-1571 годах здесь побывали все императоры Германии. Большинство заседаний сейма проходило именно здесь.
К замку можно попасть через ворота Фестнер с севера или Химмельспфорте со стороны города. При входе сразу виден внутренний двор и дворец, затем императорская часовня в романском стиле в два этажа: второй этаж для императора и придворных, а первый - для челяди. Рядом - колодец глубиной около 50 метров, вырытый в XII веке.
Из императорского дворца переход ведет в самую старую часть крепости, в замок бургграфов. Гогенцоллерны получили Бургграфенбург в XII веке. Он был причиной множества раздоров между городом и бургграфами. После пожара 1480 года он был продан Фредериком IV Гогенцоллерном городу Нюрнбергу. От замка осталась часовня Вальбургис, пятиугольная башня Фюнфэкигер и дозорная башня Люгисланд, построенная в 1377 году.