Город был захвачен войском Тамерлана, но завоеватель не пошёл дальше, а повернул обратно, обосновав свои действия вещим сном об этом городе, в котором ему святые побеждают его.
Рядом с Вознесенским собором расположена часовня, которая по традиции считается памятником над братской могилой ельчан, погибших при нашествии. Часовня открыта и освящена в 1801 году.
В 1415 году елецкие земли были разорены татарами; елецкий князь был убит, а часть жителей бежала в Рязань.
На протяжении большей части XV—XVI веков город Елец не упоминается. В 1483 году рязанский князь Иван Васильевич по договору передал управление опустевшими елецкими землями московскому великому князю Ивану Васильевичу III Великому. С этого времени Елец и его округа вошли в состав Российского единого государства.
В 1591 году началось строительство новой крепости. Во время польско-литовского похода 1618 года город был сожжён и разграблен запорожскими казаками. В XVII—XVIII веках Елец активно заселялся.
После того, как Петр I своим указом разделил Россию на 8 губерний, Елец был приписан к Азовской губернии (Воронежской). Новый указ императора ввёл деление губерний на провинции, и Елец стал центром Воронежской губернии По указу Екатерины II было образовано Орловское наместничество, а Елец стал уездным городом — центром Елецкого уезда.
В 1769 году сгорел весь город со слободами. После этого город отстраивался по новому генеральному плану, вместо концентрической планировки вокруг крепости создаётся новая — прямоугольная, а сама крепость исчезает.
В 1874 году строится участок железной дороги и в Ельце появляется станция и депо.
