После монголо-татарского нашествия на Венрию в 1241-42 г.г., король Бела IV построил на Замковой горе Буды крепость. По периметру холма были возведены стены, укреплённые башнями. В южной части замка был построен королевский замок. Король Сигизмунд расширил его новыми дворцами. Во 2-й половине 15 века король Матиаш построил дворец в стиле позднего готического ренессанса.
Турки захватили крепость в 1526 году, но вскоре ушли. Фердинанд I и Янош Запольяи владели крепостью поочерёдно между 1527 и 1541 годами. Янош Запольяи укрепил крепость и дворец бастионами. Турки захватили замок (не штурмом, а хитростью) в 1541 году и сделали его центром своей Венгерской провинции. После нескольких неудачных попыток объединённые христианские армии вернули крепость в 1686 году.
Во время осады дворец был почти полностью разрушен. В конце 18 века королева Мария Терезия расширила небольшой дворец, построенный королём Карлом III в стиле барокко.
Замок был захвачен венграми, а затем Габсбургами в войне за независимость 1848-49 годов.
Дворец был расширен в конце 19 века, приняв свой современный вид. Правда, сгорел дотла в ходе 2-й мировой войны. После войны он был перестроен и превращён в культурный центр. Во дворце находятся Венгерская национальная галерея, исторический музей Будапешта, национальная библиотека. В 1986 году объявлен объектом всемирного культурного наследия.
