До постройки Кремля Нижний был укреплён рвами и валами, с тыном в два ряда, которые образовывали Большой и Малый острог. В Малом остроге, почти совпадавшем с нынешними кремлёвскими стенами, было две башни: Дмитровская и Тверская (ныне Ивановская).
Острог, вероятно, был построен при основании Нижнего, так как в старину городом называлось укреплённое место. Острог считался укреплением второстепенной важности и ставился на окраинах среди народов, мало искусных в военном деле.
Татарское нашествие выдвигает необходимость усилить укрепление Нижнего постройкою Кремля. Первая попытка к его построению относится к 1359 году, когда князь Борис Константинович «повелел ров копать, где быть каменной городовой стене и башням». Междуусобия его с братом помешали осуществить его мысль; но его брат, великий князь Дмитрий, продолжил его дело и в 1374 году сооружает башню, названную по его имени Дмитровской, и часть стены.
Татарское иго отодвинуло постройку на сто лет. Тогда великий князь Иоанн III твёрдо надумал идти на Казань и решил осуществить давнее стремление нижегородских князей. В 1500 году построена Тверская башня; но работа шла вяло, пока нападение татар в 1505 году вновь не показало, насколько необходим Кремль.
В то время в Москве было много вызванных Иоанном III иноземных «каменных мастеров», преимущественно из Италии, где тогда военная архитектура стояла на высокой степени совершенства. Один из таких мастеров, венецианец Пётр Фрязин, или «Петрок Малый», уже известный постройкою стрельниц и ворот в Московском Кремле, был прислан в Нижний великим князем Василием Иоанновичем.
Фрязин кончил постройку в два года. Кремль имел в окружности 2 версты и 141 сажень; высота стены равнялась 5 саженям, но башни достигали 15 саженей. Стены имели зубцы, частью сохранившиеся и до сего времени. Выступало всего 13 башен, частью круглых, частью квадратных.
Главнейшим назначением башен было составлять опорные пункты, которые бы служили основанием для внутренней обороны города в то время, когда неприятель овладевал проломом, сделанным в стене, или вершиной стены.
Вот почему башни мало выступают из стен и столь сильно возвышаются над ними. У нижегородских башен были три обычные боя (отверстия для стрельбы): нижний или подошвенный, средний и верхний; они и теперь видны. Кремль сослужил городу великую службу — внутри его никогда не был неприятель.
В 1788–1790 гг. Кремль был реставрирован, но весьма неудачно: две башни уничтожены, остальные значительно понижены, зубцы стен частью сняты.
Теперь всех башен 11. Вслед за Георгиевской идёт Пороховая, затем Дмитровская, Кладовая, Никольская, Коромыслова, Тайницкая, Северная, Часовая, Ивановская и Белая; две уничтоженные башни, Духовская и Борисоглебская, выходили на Волгу.