И все же в апреле 1847 г. пожар, начавшийся с самовозгорания, за ночь уничтожил весь огромный торговый прямоугольник. Были и человеческие жертвы. Но никто не был наказан, а торговые ряды решили быстрее восстановить.
Возрождением рядов руководил архитектор Д. В. Орехов, а обеспечивало средствами орловское купечество. Отремонтированную уцелевшую каменную коробку надстроили вторым этажом. И в 19 — начале 20 века новые восстановленные ряды стали торговым центром Орла, где располагались магазины купцов Калашниковых, Домогацких, Русановых, Бухвостовых. Великая Отечественная война нанесла сильный вред Гостиному двору. Часть здания была разрушена, часть сожжена. В 1949 г. торговые ряды в очередной раз были восстановлены, но уже с некоторыми изменениями изначального облика. В 60-е гг. прошлого столетия был надстроен третий этаж.