Название замка происходит от древнего балтского слова «валдати», означающего «владеть». Впервые укрепление упоминается в орденских хрониках 1258 года. Более серьёзную крепость возвели в 1264 году. В середине XV века на её месте построили замок, соответствующий всем требованиям фортификации того времени. Длительное время в цитадели жили великие магистры Тевтонского ордена. В 20-х годах XVIII века прусский король передал замок в аренду богатому аристократическому семейству, которое полностью перестроило здание. В середине XIX века в замке разместили факультеты сельскохозяйственной академии, а в 70-х XIX века здесь базировалась учительская семинария. В 2007 году Вальдау присвоили статус объекта культурного наследия. В 2010 году объект передан в собственность Калининградской епархии.
