Когда-то дворец Пагаруйюнг служил резиденцией королям минангкабау, которые правили королевством Пагаруйюнг, хотя об этом существует очень мало информации. Минангкабау – это народность, которая населяет районы Западной и Центральной Суматры.
Королевский дворец построен в традиционном стиле для народа минангкабау – румах гаданг. Румах гаданг в переводе с языка народности минангкабау звучит как «большой дом». Несмотря на то, что сегодня уже нет ни короля, ни королевской семьи, проживающей в нем, дворец до сих пор пользуется большой популярностью среди минангкабау.
Дворец неоднократно горел, и заново отстраивался. После последнего пожара дворец был отреставрирован и сегодня выполняет функции музея, а так же считается популярной туристической достопримечательностью.
Оригинальное здание дворца было построено из дерева и находилось на горе Бату Патах. Дворец поражал своей необычностью: здание в три этажа, 72 колонны и крыши с заостренными краями, по форме напоминающие крылья летучей мыши. Но в 1804 году во время войны Падри (военный конфликт между жителями Суматры и голландскими завоевателями) дворец был уничтожен пожаром. Он был восстановлен, но в 1966 году снова случился пожар и дворец был снова разрушен. Восстановление дворца началось лишь в 1976 году, новое здание было точной копией оригинального королевского дворца. Это здание было построено не на том месте, где стоял старый дворец, а чуть южнее.
К сожалению, в 2007 году снова был пожар в результате молнии, попавшей в крышу. Практически все ценные артефакты были уничтожены. Уцелевшие исторические предметы сегодня можно увидеть во дворце Силиндуанг Булан, который находится в 2 км от дворца Пагаруйюнг. После последнего пожара реконструкция длилась около 6 лет, и вновь дворец открылся только лишь в 2013 году.