Крепость Анже была сооружена в IX столетии графом Анжуйским на месте старинных древнеримских укреплений.
Перестройка замка происходили при двух правителях линии Валуа-Анжу: Людовике I Анжуйском (1339-1384) и его сыне Людовике II (1377-1417). После 1370 года были модернизированы окна и камин главного дворцового зала, а также расширена кухня. Тогда же началось строительство новой резиденции, позднее названной Королевской. Апартаменты строились в несколько этапов, вплоть до средины XV века. По инициативе Иоланды Арагонской, жены герцога Людовика II, примерно в 1410 году построили новую часовню в позднеготическом стиле. Польза возведения оборонных стен XIII века подтвердилась во время Столетней войны, когда в 1429 года английские войска, несмотря на длительную осаду, не смогли взять замок.
Следующий важный период в истории этой резиденции Анжу пришелся на правление сына Людовика II и Иоланды, графа Рене (1409-1480), родившегося именно в Анже. Этот образованный правитель с многосторонними интересами и артистическими предпочтениями привел к расцвету свои владения. По его просьбе под руководством зодчего Гийома Робина в 1435-1453 годы была надстроена галерея, прилегающая к жилым помещениям королевской резиденции, с одновременной переделкой лестничной клетки, а около 1450 года был возведен так называемый Маленький замок (Chatelet), строение с башенками и воротами, ведущими во внутренний двор замка. В это же время завершено строительство часовни. Граф Рене приказал также засыпать часть рвов, на их месте устраивались рыцарские турниры, одно из любимых развлечений правителя. После этих перемен замок отчетливо изменил характер, став резиденцией, предназначенной служить, прежде всего, удобству и удовольствию ее хозяев.
После смерти Рене в 1480 году Анжу и другие его владения унаследовал его племянник Карл IV Анжуйский, переживший дядю всего на год. После этого великолепные владения Анжу перешли под правление королей Франции. В замке больше не было крупных перестроек. Крепость вновь обрела свое значение во время религиозных войн в конце XVI века.
В правление Генриха III Валуа планировалась полная перестройка оборонных сооружений, но в 1591-1593 годы разобрали только крыши и верхние части башен и поставили там артиллерийские орудия. В XVIII и XIX веках реконструировали часть дворцовых интерьеров. Крепость стала местопребыванием гарнизона и тюрьмой. Разрушился бывший зал аудиенций Плантагенетов, до наших дней сохранилась только одна из его стен с рядом огромных окон и порталом, вероятно, датируемым еще XII веком.
Крепость Анже включена в список исторических памятников Франции. В настоящее время ансамбль выполняет музейные функции. В январе 2009 года часть покоев была уничтожена пожаром, возникшим из-за короткого замыкания в электросети.