Королевский замок основали рыцари Тевтонского ордена в середине XIII века. Изначально он был деревянный, но пруссы, чьё поселение было на месте замка, регулярно нападали и сжигали его. Поэтому была построена каменная крепость, имеющая форму четырёхугольника с главной большой башней и девятью небольшими, а так же с воротами выходившими на восток. Основание крепости было из больших валунов, а стены из твёрдого керамического кирпича.
За время своего существования Королевский замок был неоднократно атакован, но лишь один раз захвачен, да и то своими горожанами. В XV веке жители Альтштадта решили разрушить его и снесли часть стен.
В начале XX века в замке открылось несколько музеев(с 1942 года выставлялась Янтарная комната, привезённая из Царского села), проводились концерты и даже съезды нацисткой партии. Так продолжалось до 1944 года.
В августе 1944 авиация союзников разбомбила город. От бомбардировок сильно пострадал замок. В апреле 1945 года штурм города советскими войсками добавил разрушений. После войны на территории замка заработал самый настоящий карьер, установили камнедробилки и из замка стали добывать камень. В 1950 - е годы рухнула одна из башен на проезжую часть, чтобы ее остатки не угрожали людям, их взорвали. У замка остались только стены. Но даже в таком виде он оставался уникальным средневековым памятником истории.
В 1967 году в Калининграде был проездом премьер-министр Алексей Косыгин, увидев руины Королевского замка он приказал вырвать «гнилой зуб прусского милитаризма», а на его месте построить новое современное здание Так средневековому замку был вынесен приговор. В этом же году прозвучали первые взрывы, затем еще и ещё. На обломках замка даже проводили учение курсанты инженерных войск. Последние взрывы прогремели в 1970 году.
Королевского замка не стало. Но сегодня существуют всё-таки планы по его восстановлению.