От Татарской слободы мы пошли в сторону Соборной площади. В начале XVII века начала заселяться территория между Успенским и Николаевским оврагами, где сегодня находится административный центр города. На этой территории был выстроен деревянный Касимовский кремль, включавший Вознесенский собор и Успенскую церковь. В кремле находилась резиденция воеводы. Протяжённость крепостных стен составляла 1120 м, всего у кремля было восемь сторожевых башен. На территории кремля располагались также амбар с пушками и порохом и другие сооружения. Стены и башни Касимовского кремля сгорели в 1640 или 1641 году. В 1671-1674 годах они были восстановлены. Длина стен новой крепости составляла 916 м, крепость имела десять башен и форму неправильного треугольника. Самой высокой башней кремля являлась Спасская, высота которой достигала 30 м. Новый пожар в 1679 году в очередной раз уничтожил значительную часть кремля, но его вскоре срубили заново. Он просуществовал до первой четверти XVIII века. Остатки большей части земляных укреплений срыли при перепланировке Касимова по новому регулярному плану в конце XVIII века. Отдельные фрагменты земляной насыпи сохранились рядом с Благовещенской церковью до наших дней.
Свой современный вид центральная часть Касимова приобрела, благодаря талантливому архитектору-самоучке И.С. Гагину. Архитектурный ансамбль главной площади был сформирован по градостроительному плану в конце XVIII - начале XIX века. В центре открытого пространства раскинулся небольшой Соборный сквер. Со стороны Советской улицы в сквере находится обелиск, возведённый в честь большевиков погибших за установление советской власти в 1917-1918 годах. В 2007 году в парке установлен памятник жертвам радиационных аварий и катастроф.
С востока от парка возвышается главный храм местной епархии - Вознесенский кафедральный собор. Из старинных писцовых книг известно, что в XVI веке, когда Касимов был почти целиком деревянным, на месте собора располагалась небольшая Вознесенская церковь. Однако она 3 июня 1679 года сгорела, как видно из челобитной соборного священника к преосвященному Иосифу, митрополиту Рязанскому. Соборные иконы уцелели и были перенесены в Пушкарскую Николаевскую церковь. Позже был возведен новый храм, который также сгорел в первой половине XVIII века. В 1748 году Касимовский воевода Василий Михайлович Ховрин рядом с церковным пепелищем возводит на свои деньги каменный пятиглавый храм в честь Вознесения Господня и двумя боковыми приделами - один в честь Усекновения главы Иоанна Предтечи, а другой - в честь Покрова Пресвятой Богородицы. 13 июня 1754 года церковь была освящена по храмосвятной грамоте, данной митрополитом Димитрием Сеченовым. В 1779 году была выстроена каменная колокольня вместо деревянной на шести столбах. Средства на неё выделил касимовский купец Губарев.
Эта церковь была низка, мала и тесновата. Со временем, прихожане решили собрать деньги на строительство нового вместительного храма. Новый каменный собор возвели в 1854-1862 годах по проекту рязанского губернского архитектора Н.И. Воронихина. Его колокольня, была самой высокой вертикалью города (разобрана в 1960-х годах). 14 мая 1867 года Вознесенский собор был освящён. После освящения главного престола, приступили к покраске стен и сводов масляной краской, что и было сделано в 1889 году. Внутренние росписи основного купола были закончены в 1890 году.
В конце 1920-х годов собор Вознесения Господня был закрыт, а перед закрытием некоторое время находился в распоряжении обновленцев. В 1936 году по ходатайству филиала рязанского Аэроклуба горисполком решил устроить парашютную вышку на бывшей колокольне собора. После разбора колокольни в 1960-х годах, в здании храма разместилась спортивная школа для детей. Лишь в 1998-м году здание передали Церкви. Вознесенский собор силами прихожан и неравнодушных горожан начал медленно восстанавливаться. 1 июля 2002 года Собор Вознесения Господня после реконструкции и капитального ремонта был освящён Святейшим Патриархом Московским и всея Руси Алексием II в сослужении пяти иерархов.
Напротив Вознесенского собора на Соборной площади красуется барочный храм Успения Пресвятой Богородицы. Он расположен на покатом склоне и словно "спускается" к реке. Дальше всего от Оки стоит приземистый пятиглавый четверик. К нему примыкает низкая трапезная, а на самом близком расстоянии от реки возвышается трехъярусная колокольня. Визуально она выполняет роль "подпорки" и делает комплекс Успенского храма очень гармоничным. История Успенской церкви в Касимове начинается в конце XVII века. О ней нет упоминаний в документах 1676 года, в которых перечислялись многие местные храмы, зато имеется другая запись, датированная 1700 годом, в которой идет речь о священнике Успенской церкви. Поэтому можно сделать вывод, что этот храм был построен до 1700 года.
Согласно записи 1738 года, церковь поначалу именовалась храмом Трех Святителей. Здесь проходили службы только в летнее время, так как храм был очень холодным. Зимой на богослужения прихожане собирались в соседнем соборе Богородицы. В 1753 году оба храма сгорели дотла. Площадку, на которой стояла Успенская церковь, тут же заняли под деревянный храм Рождества Христова. Однако горожане желали видеть в своем городе и Успенский храм, разрешение на восстановление которого вскоре было получено. Новая каменная церковь (построена на средства купца Милованова), более просторная и теплая, чем предыдущая, была готова в 1775 году. В следующем десятилетии ее расширили за счет строительства барочной колокольни и трапезной.
Первый ремонт состоялся в храме в 1810 году, когда буря повредила кровлю. В первой половине XIX века церковь получила новый колокол и фрески. В 1830-х годах архитектор И.С. Гагин пристроил к ней крыльца в ампирном стиле. В начале XX века храм был немного расширен, строительными работами руководил зодчий Цеханский. В 1934 году церковь была закрыта и осквернена; в 1936-м переоборудована под центральную библиотеку; с 1939-го использовалась под склад. Возвращена Русской Православной Церкви в 1990 году. 13 июля 1995 года после восстановительных работ заново освящена архиепископом Рязанским и Касимовским Симоном (Новиковым).