Огромный замок Ксёнж, в котором отражены все этапы развития архитектуры на протяжении веков, является третьим по величине в Польше. Его строителем считается Болеслав I Суровый. По крайней мере, в исторических источниках Ксёнж впервые появляется 25 февраля 1293 года, во время правления Болеслава Первого и в качестве его титула. И князю действительно было чем гордиться - новый замок получился не просто оборонительным объектом, но также было уделено внимание красоте форм и живописному расположению, что несвойственно для тех брутальных времен.
Сын князя Болеслав Второй значительно расширил замок. Но так случилось, что он не оставил наследников, и Ксёнж перешел во владение его вдовы Агнешки, но уже под властью правителя Богемии Карла IV Люксембургского, который любезно разрешил вдове дожить свой век в собственной резиденции.
После ее смерти замок окончательно отошел чешской короне. Но там своего такого добра хватало, и Ксёнж был объявлен резиденцией старост. Первый же староста Я