К сожалению, изображения первого замка не сохранилось на сегодняшний день.
Северная часть Гусятина славилась замком Калиновских, который располагался на берегу Збруча. Он имел квадратную форму с четырьмя круглыми башнями по углам. По центру стены со стороны города стоял двухъярусный дом, от которого до главных ворот шел подъемный мост через ров, окружающий замок с трех сторон. Со стороны реки между башнями построен двухэтажный дом для владельцев замка. Кроме него здесь были хозяйственные помещения: конюшни, комнаты для прислуги, склады. У ворот находился колодец, глубиной до 40 метров.
Гусятинский замок был построен в качестве резиденции Мартыном Калиновским (1605-1652), гетманом Польши. Когда он попал под Корсунем в плен татарам, замок захватили и разграбили повстанцы.
В 1651 году замок выдержал казацкую осаду.
В 1652 году гетман погиб вместе с сыном Самуэлем в битве под Кнутом.
В 1652 году замок выстоял московскую осаду Бутурлина.
В 1653 году в Гусятине лагерь расположил король Ян Казимир. В конце осени здесь жил Хмельницкий, объединившийся с ханом. Замок в то время был занят татарами, в нем проживал хан. В конце осени Хмельницкий, живший в Гусятине, объединился с татарами. Позже из замка союзники отправились в Каменец.
В 1672, 1675 и 1680 годах замок был захвачен турками, подчинившими в то время Подолье. До 1699 года переходил из рук в руки. Позже замок населили Калиновские до 18 века.
Затем замок переходил к Чарнецким, Потоцким, Верещинским, Голуховским, которые не следили за его состоянием.
В конце XIX века замок отошел государству и продан раввину, который разобрал его и перестроил в Божий храм и другие дома.