Комплекс казарм крепости - мощное оборонительное сооружение, повысившее защитную способность Русских ворот, было построено в южной части Старого города за восемь лет (1780 – 1788 гг) архитектором Станиславом Завадским под началом коменданта городской крепости Яна де Витте. Но через несколько десятков лет после завершения постройки, начальное оборонное значение городских казарм потеряло свою актуальность, поскольку западные границы Российской империи стремительно расширялись. Новый смысл существования казарменного здания был более созидательным — с 1816 года в его стенах расположился военный госпиталь, который просуществовал здесь до прихода власти Советов. За эти сто лет комплекс несколько модернизировали: произвели постройку хозяйственных помещений, укрепление центрального фасада, замену черепичной кровли на железную.
Вплоть до начала Великой Отечественной войны в здании бывших казарм размещался хлебозавод, который поставлял жителям города и его околиц продукт первой необходимости. С войной в казарменные здания пришли разрушение и упадок, обусловленный бомбардировками противника. Мирное время стало началом нового поворота в судьбе здания казарм, к тому времени уже имеющего статус архитектурного памятника, – в его стенах расположилась поначалу махорковая, а после - табачная фабрика, существовавшая на этих площадях до 95 года прошлого столетия.
Особенно эффектно внушительный комплекс казарменных зданий смотрится с другой стороны каньона - с пешеходного моста через реку Смотрич или от Покровского храма, что в дендропарке. Со стороны реки сооружение, благодаря мощным стенам-подпоркам и окнам-бойницам, выглядит как крепость. Эти казармы были местом службы русского писателя и поэта К. Батюшкова, декабриста и героя Бородино В. Раевского, ученого-лексикографа В. Даля, писателя М. Булгакова.