Малый дворец был построен в 1317 году. Он находится в северной части площади, напротив Папской резиденции, и назван так именно из-за своих скромных размеров и значения, по сравнению с дворцом римских пап.
История его появления туманна: по одной версии – он был построен для племянника папы Иоанна XXII, Арно де Виа, по другой - он был построен кардиналом Беренжером Ф. Старшим. После его смерти дворец и прилегающая территория были выкуплены кардиналом Арно де Виа. В 1335 году Де Виа скончался и дворец никому не принадлежал вплоть до прихода папы Бенедикта XII, который снова выкупил его и превратил в официальную резиденцию авиньонского архиепископа.
Здание сильно пострадало в период с 1396 по 1411 гг., поскольку считалось укрепленной цитаделью авиньонских пап. После окончания военных действий дворец постепенно пришел в упадок. Во второй половине XV века епископ Алан де Котиви и его последователь Джулиано делла Ровере (который впоследствии станет Папой Юлием II) решили восстановить здание и к 1503 году придали ему почти первозданный вид. Делла Ровере прибыл в Авиньон в 1474 г., так как он был назначен своим дядей, Папой Сикстом IV, епископом авиньонским. Он достроил южный и западный фасады в стиле итальянского ренессанса и в 1487 г. возвел башню (позднее, в 1767 году она была разрушена).
Во время французской революции дворец стал собственностью государства, в XIX веке в нем находилась католическая школа, а позднее профессиональное училище. Только в конце XX века на территории дворца был открыт музей.
С 1958 года здесь находится Музей Средневековья. В 1976 году здесь была открыта художественная галерея работ мастеров эпохи Возрождения. В 19 залах музея выставлены, в частности, работы Сандро Боттичелли, Таддео Гадди, Таддео ди Бартоло, Лоренцо Монако, в том числе здесь находится и знаменитая «Мадонна» Боттичелли.
