Небольшое поселение, изначально возникшее на реке Калужке, в середине XIV века переместилось на высокий 25-метровый берег реки Оки при впадении в неё реки Яченки. Там появился первый прототип Калужской крепости – замок князя Симеона, сына царя Ивана III. Укрепления имели форму правильного прямоугольника с четырьмя башнями и валом.
Известна история о том, как 20 июля 1508 года князь Симеон (брат царя Василия III) отправился на охоту из Симеонова городища в сторону глубоких оврагов, куда дикие животные приходили на водопой. Заросших оврагов вблизи города, было тогда семь, находились они за тыном (острогом). В то время острог имел несколько смотровых башен по периметру, скорее всего восемь. Князя на охоте понесла лошадь, прямо к крутому оврагу. Был Ильин день, и он стал неистово молиться святому Илие Пророку. В последний момент лошадь отвернула, Симеон спасся.
В ознаменовании спасения князь велел поставить на этом месте деревянный храм святому Илие. Это первый, попавший в хронику, калужский храм (сгорел в 1622 году). Овраг, на котором стоял храм, именовался Ильинским, позднее Городенским. Место стало знаковым и, с большой вероятностью, с 1508 по 1515 год, князь начал здесь строительство новой крепости. О ней мы ещё расскажем, а Симеонов замок простоял больше ста лет, в нём останавливались Иван Грозный, Шуйский и Лжедмитрий с Мариной Мнишек. Снесён он был в середине XVII века монахами находившегося рядом Лаврентьева монастыря. Многочисленные кутежи в замке мешали праведной жизни монахов. На этом история старого места крепости заканчивается.
Кроме замка к началу XVI века в городе был посад с острогом, имевшим, по видимому, до 200 дворов. Активное строительство крепости, а точнее кремля, на новом месте началось после набега крымских татар в 1512 году. На этот раз укрепления расположились между Березуйским и Городецким оврагами. Деревянные стены были возведены на естественном высоком мысу у реки Оки и обнесены насыпными валами. Такие виды крепостей назывались мысовыми.
Калужский кремль был построен из крепчайшего морёного дуба. Морёное дерево, или топляк – это специально оставленные и затвердевшие в водоемах стволы, которые со временем приобретают невероятную прочность и долговечность. Известны примеры, когда башни из морёного дуба стояли более 300 лет.
Калужский кремль заметно укрепился в правление Ивана Грозного, который бывал в Калуге неоднократно и присылал из Москвы своих мастеров для возведения укреплений. Самой высокой была "дозорная" угловая шестиугольная юго-западная башня, с неё в хорошую погоду дозорный мог видеть неприятеля на месте слияния Оки и Угры за много миль против течения реки, и заранее оповещать о приближении противника.
Тогда был построен знаменитый «ступальный колодец», который обеспечивал осаждённых защитников проточной подземной водой. Этот колодец имел глубину до 50 метров, что в то время было несомненным достижением. Для раскручивания колеса диаметром до 4 метров требовалось несколько человек, которые «ступали», т. е. шли внутри, таким образом вращая его. При помощи таких колёс спускали под землю и «схроны»: от военного арсенала до продовольствия.
В течение XIV–XVI веков, во время жестокого противостояния Москвы и Литвы, Калужский кремль неоднократно переходил из рук в руки. В Смутное время, в 1618 году, его штурмовали войска гетмана Сагайдачного, но взять так и не сумели, настолько это было мощное и неприступное укрепление. В то время погиб в огне посад, обнесённый острогом. После этого государев мастер Савка Михайлов построил новый острог с 11 башнями, защитив тем самым центр города и самые дорогие купеческие амбары. Но простоял он недолго и сгорел во время грандиозного калужского пожара 1622 года, когда выгорел весь город, включая и Калужский кремль.
Следующим важным этапом в истории калужских укреплений была коренная реконструкция деревянного кремля в 1624–1625 годах. Калужская крепость, возводимая Михайловым на высоком берегу Оки на месте, где ныне шумит городской парк, являлась основным звеном в укреплениях берегов Оки от Белева до Серпухова. Источник Толстов В.Л. Вероятнее всего Савка Михайлов и Онисим Михайлов Радишевский были братьями - оба возводили крепости. Анисим Михайлов Радишевский учился печатному делу у самого Ивана Федерова, а с 1605-го возглавлял одну из трех московских типографий. Евангелие, отпечатанное им в 1606 году, хранится ныне в Калужском краеведческом музее. В 1621-1622 годах А.Михайлов руководил строительством деревянной крепости в городе Путивле.
Сооружение представляло собой скошенный прямоугольник, общая протяжённость деревянных стен крепости составляла около 2,6 км. Высота крепостных стен достигала восьми метров. Башен было двенадцать, три из них – проездные. Из крепости в посад вёл тайный ход длиной 70 метров, а ширина такая, что четыре вооруженных воина могли пройти одновременно. Здесь нет ничего удивительного - со времен царя Ивана Грозного создатели подземных сооружений были отменными мастерами.
В Калужском кремле с 1624 года находились заново отстроенные: изба воеводы, каменный «зелейный» (пороховой) склад и две каменные конюшни, прикаазная изба и глашатный двор, "аманатская изба" (допросная) и тюрьма. Кроме зданий военного назначения были в нём три деревянных храма и звонница.
В 1659 году поставили «рубленый острог». В следующем году на склоне Оки прорыли подземный ход – тайник, по которому кремль в случае осады мог снабжаться водой. Для его защиты построили тын, длина стен которого достигала почти 280 метров.
Уже через десять лет укрепления Калуги пришли в негодность и состояли из очень ветхого кремля, на стенах которого находилось 12 башен. Снаружи в 5–6 метрах от крепостной стены была поставлена ещё одна ограда – острог протяжённостью около 450 метров с двумя проездными башнями и одной глухой. Впрочем, острог не столько усиливал оборону кремля, сколько мешал ей, поскольку стрелять с крепостных стен поверх острога было невозможно. Тогда же для защиты подземного тайника был построен ещё один острог с двумя проездными башнями. Хотя необходимости в этом не было, так как он уже стоял без воды, и крепость снабжалась водой при помощи двух колодцев.
К 1670 году укрепления Калужского кремля окончательно обветшали, и около 1677 года началась его очередная перестройка. Ветхую острожскую стену, окружавшую крепость, сломали. В 1678 году построили заново Ильинскую и Покровскую проездные башни, глухую башню на Покровской стороне и два прясла.
Осенью 1687 года строительство крепости закончилось. Калужский кремль на этот раз представляло собой скошенный прямоугольник размером 150 на 180 саженей. Протяженность деревянных стен крепости с двенадцатью башнями составляла 743 с половиной сажени. С юго-западной стороны его защищала Ока, с северо-запада – ручей Березуйка, с юго-востока – речка Городенка, а с северо-востока ограждал прорытый между Березуйкой и Городецкой глубокий ров с прудом и насыпной вал.
Новая крепостная стена, как и прежде, была деревянной. Её венчали 12 башен, причём четыре из них (угловые) были шестигранными. Ещё три башни: Ильинская, Покровская и Водяная были проездными. Ильинские и Покровские ворота были пятигранные, с посадом они соединялись деревянными мостами.
Между Ильинской и угловой Ярыжной башнями на стене был сооружён шатёр, в котором располагался дозорный, или вестовой, колокол. В случае пожара ярыжник (пожарник), дежуривший на Ярыжной башне махал красным платком, и в шатре начинали бить в набат. Рядом с "конной избой" находился ярыжный двор, поэтому люди быстро выезжали на место пожара с большими бочками с водой. С башни можно было увидеть весь город, и стояла она на углу северного пруда. Оттуда был проложен водосток, из которого и брали воду ярыжные люди. По нему вода шла через всю крепость и сбрасывалась за Водяными воротами в Оку.
Вооружение крепости было обычным для того времени: кроме холодного оружия – луков со стрелами – на стенах размещалось огнестрельное – пищали, тюфяки и пушки разного калибра.
В 1690-х годах кремль дважды оказывался в огне, и практически все защитные сооружения – стены и башни – выгорели дотла. Московский путешественник Иван Лукьянов, проезжавший через Калугу, упоминал в своих воспоминаниях, что в 1700 году все стены и башни калужского кремля сгорели; уцелела только Ильинская пятигранная башня с воротами и мостом. Заниматься восстановлением кремля из-за ненадобности уже не стали. В конце XVIII столетия крепостные валы были срыты.