В начале XX века в Тильзите было построено несколько зданий в популярном в то время в Восточной Пруссии неоготическом стиле. В том числе, административное здание управления округом Тильзит-Рагнит. Оно было воздвигнуто в 1907 году в районе Баллгарден (улица Суворова).
Строение стояло на возвышенности , его высокая башня со шпилем была видна издалека.
Сам Крайсхаус своим обликом напоминал старинный готический замок, органично вписываясь в ландшафт восточного берега Мельничного пруда.
Название "замок" закрепилось за руинами Крайсхауса даже в послевоенное время.
Во время Второй мировой войны здание администрации округами сильно пострадало от бомбежек, была сильно повреждена башня.
В уцелевшем крыле, примыкавшем к башне, какое-то время размещалась казарма. Окончательно разрушен Крайсхаус был в конце 1970-х.
Восстановить, естественно, у советских (и город, и режим) чиновников ума не хватило, так что сейчас на этом месте заросли у озера и автозаправочная станция.