Замок в Казимеже-Дольны был построен на рубеже тринадцатого и четырнадцатого веков, как оборонительное сооружение для защиты города. Казимеж-Дольны красиво расположился среди живописных Пулавских холмов в низовье Вислы в 50 км от Люблина.
Крепость была построена на холме высотой 180 метров по приказу Казимира Великого. Первоначально крепость имела форму овала и была окружена двухметровыми стенами с зубчатыми сводами. Высота здания достигала 20 метров, а длина окружности у основания составляла 32,5 метра. Оборонительные стены имели толщину в 4 метра.
Единственный вход в замок был расположен на высоте около 6 метров, что добавляло крепости защищенности. До сих пор доподлинно неизвестно, с какой конкретно целью была построена крепость. Различные источники полагают, что в здании находились тюрьма или караульная служба.
Не далеко от замка возвышается 19-метровая башня. Построенная на рубеже XIII-XIV веков, эта башня служила обзорным пунктом. Строение впечатляет своими массивными стенами, высеченными из опоки – местной разновидности известняка. В нижней части толщина стен достигает 4 метров, а в верхней – 3. На башне расположена обзорная площадка, с которой, при хорошей погоде, можно увидеть даже Горы Свентокшиские.
В пятнадцатом веке замок был расширен: было достроено жилое крыло с южной стороны, а также появились квадратные кирпичные оборонительные башни.
В 1509 году Сигизмунд I Старый даровал замок политическому деятелю Николаю Ферлею, который его вновь реконструировал. Новый владелец нанял мастеров из Италии – Санти Гуччи и Питера Ликиля, которые перестроили замок в стиле итальянского Возрождения. К зданию был пристроен чердак, расширено южное крыло, а одна из башен была оборудована парапетом в 1540 году.
В 1655 году крепость была захвачена и сожжена шведами, а спустя всего два года ее разграбил трансильванский князь Георгий Ракоци. После реконструкции замок просуществовал всего около 8 лет, после чего сильно пострадал во время пожара.
В начале восемнадцатого века во время правления Августа Сильного возникла идея реконструировать замок в стиле дворца, но они были сорваны из-за гражданской войны со Станиславом Лещинским. В результате, замок пришел в упадок.
В 1958-1960 годы в руинах крепости были проведены археологические исследования, после чего она была открыта для туристов.