Был построен в 1627 - 1644 годах воеводой Кшиштофом Оссолинским. Который унаследовал земли в Уязде от отца Збигнева Оссолинского в 1619 году.
Кшиштоф Оссолинский внезапно умер в следующем году в Кракове. Замок был унаследован его сыном Болдуином, который умер в 1649 году в одной из битв. После его смерти грозный комплекс был приобретен семьей Денхофф.
В 1655 году во время шведского вторжения в Польшу, замок был захвачен шведами, которые занимали его до 1657 года.
Нанесенный замку урон был настолько велик, что последующие владельцы сочли экономически невыгодным проводить реставрационные работы. Первая попытка восстановления была предпринята в 1980 году, однако работы были остановлены. В 2005 году была открыта Ассоциации по содействию восстановления замка Крыжтопора. В настоящее время Институт Собеских планирует восстановить замок.