В 1522-26 гг. тогдашним хозяином этих мест Юрием Ильиничем были построены четыре башни и стены замка. Высота башен, имеющих одинаковую форму в виде восьмигранных призм, стоящих на четырехгранных, варьирует в пределах 23-25 метров, высота стен — 10-12 метров, толщина — 3 метра. Чем было обусловлено достаточно дорогое по тем временам строительство каменного замка, остается неизвестным — эти места считались относительно спокойными и далекими от войн. Поэтому строительство связывают исключительно с соображениями престижа.
Стены и башни выложены трехслойной смешанной кладкой из кирпича и камня, что говорит о хорошей обороноспособности всего строения.
В подтверждение полной боеготовности, в нижней части стен были прорезаны оружейные бойницы. Хозяева замка Ильиничи, сменяясь один за другим, в течение довольно короткого времени, не смогли завершить строительство — их род полностью исчезает в 1568 году. Новые владельцы — Радзивиллы реанимируют проект, внося в облик крепости че