Первое упоминание о Ельце в летописных источниках относится к 1146 г. Именно, в Никоновской летописи под 6653 г. от сотворения мира (то есть 1146 г.) упоминается, что через Елец проезжал Святослав Ольгович (в то время ― князь белгородский). Под 6654 г. (1147) в той же летописи говорится, что в Чернигов из Ельца прибыл Андрей Ростиславич, внук Ярослава Святославича Муромского. Предполагается, что город Елец в XIII веке мог входить в состав Черниговского княжества, а в конце XIV века был зависимым от Рязанского княжества.
В 1156 г. по Никоновской летописи половцы пришли на Рязань и грабили по Быстрой Сосне. На обратном пути половцев догнала погоня. Их истребили, пленных отбили. Данная запись показывает места по реке Быстрая Сосна под властью рязанского князя.
В 1389 г. елецкий князь по приказу великого князя рязанского Олега Ивановича встретил посольство митрополита Пимена, направлявшееся в Константинополь, недалеко от места впадения реки Воронеж в Дон. В «Сказании о Мамаевом побоище» упомянут елецкий князь Федор, но достоверность этого упоминания сомнительна.
В 1395 г. Елец был разрушен отрядами Тимура (Тамерлана), а князь Федор был пленен. Рядом с Вознесенским собором, с его северной стороны расположена часовня над братской могилой ельчан, погибших при нашествии Тимура, открытая и освященная в 1801 г.
В 1414 г. елецкие земли разорили татары; елецкий князь был убит, а жители бежали в Рязань.
На протяжении большей части XV ― XVI веков город Елец не упоминается.
В конце 1591 г. по указу царя Федора Ивановича начинается строительство новой крепости Елец. Строительство велось на незаселенной территории служилыми казаками, стрельцами и детьми боярскими, набранными и присланными сюда из Данкова, Епифани, Новосиля, Ливен, Черни, Тулы и других южнорусских городов.
Первоначально город был населен служилыми людьми, несшими воинскую службу. Вместе с городом возникает Елецкий уезд. В короткое царствование Лжедмитрия I Елец был превращен в военную базу для готовившегося похода на Крымское ханство. В 1606 г. ельчане выступали против царя Василия Шуйского на стороне Ивана Болотникова. Город был осажден царскими войсками, однако Истома Пашков разбил их в битве при Ельце. Во время польско-литовского похода 1618 г. город был сожжен гетманом Сагайдачным. В августе того же года под Ельцом гетманом Сагайдачным схвачено царское посольство, которое везло 30000 рублей из царской казны на подкуп крымского хана.
В XVII―XVIII веках Елецкий уезд активно заселялся. Большинство населения уезда составляли потомки служилых людей, называвшиеся сначала «детьми боярскими городовыми», а затем «помещиками-однодворцами». Меньшую часть населения составляли казаки и крепостные крестьяне.
После того, как Петр I своим указом от 18 (29) декабря 1708 г. разделил Россию на 8 губерний, Елец был приписан к Азовской губернии (переименованной 22 апреля (3 мая) 1725 г. в Воронежскую). Новый указ императора от 29 мая (9 июня) 1719 г. ввел деление губерний на провинции, и Елец стал центром Елецкой провинции Воронежской губернии. По указу Екатерины II от 5 (16) сентября 1778 г. было образовано Орловское наместничество, в 1796 г. преобразованное в Орловскую губернию, а Елец стал уездным городом ― центром Елецкого уезда этого наместничества.
Основой экономики города становится торговля хлебом. Страшным бичом города в XVIII веке были пожары, особенно в 1769 г. После этого город отстраивался по новому генеральному плану, вместо концентрической планировки вокруг крепости создается новая ― прямоугольная, а сама крепость исчезает.
В 1874 г. строится участок Узловая ― Елец Сызрано-Вяземской железной дороги. В Ельце появляется одноименная станция и вагонное депо. До настоящего времени сохранилось здание железнодорожного вокзала, депо и несколько казарм для служащих дороги. В 1918 г. линия упразднена и расшита. На месте путей станции Елец в советское время устроены гаражи и склады.
В 1888 г. в Ельце построен первый в России элеватор.
27 октября (9 ноября) 1917 г. в Ельце на общегородском митинге, проходившем на Сенной площади (ныне пл. Революции), была провозглашена советская власть. 11 (24) ноября 1917 г. в городе был создан Военно-революционный комитет (ВРК), взявший на себя властные полномочия, а 30 декабря 1917 г. (12 января 1918). 1-й съезд советов рабочих, солдатских и крестьянских депутатов, состоявшийся в Ельце, одобрил действия ВРК и принял всю власть в городе и уезде на себя.
31 августа 1919 г. Елец был взят конницей 4-го Донского корпуса генерал-лейтенанта К.К. Мамонтова, которая в городе, впрочем, не задержалась.
24 января 1925 г. Галичья гора объявлена государственным заповедником и передана в ведение Елецкого краеведческого музея.
30 июля 1928 г. Елецкий уезд упразднен. Елец стал центром новообразованного Елецкого района в составе Центрально-Черноземной области. В этом же году в храме Святых князей Михаила Тверского и Александра Невского (Великокняжеская церковь) создан Антирелигиозный музей, открыта первая городская поликлиника со специализированными кабинетами, появился городской радиоузел.
В 1929―1931 гг. были построены и начали работать кожевенный и известковый заводы.
23 июля 1930 г. - упразднение Елецкого округа, а 20 августа Елец был преобразован в город областного подчинения.
В 1933 г. железная дорога Москва — Донбасс прошла через Елец, открыт Каракумский автомобильный мост через реку Сосну.
13 июня 1934 г. ― разукрупнение Центрально-Черноземной области; Елец вместе с районом вошел в состав новообразованной Воронежской области. В этом же году введено всеобщее обязательное начальное обучение, Галичья гора передана Воронежскому государственному университету.
27 сентября 1937 г. ― Елец вместе с районом передан в состав новообразованной Орловской области. В этом же году на международной выставке в Париже елецкие кружевницы отмечены дипломом и большой Золотой медалью.
Во время Великой Отечественной войны, Елец грудью встал на пути захватчиков, бросивших огромные силы на то, чтобы захватить Москву. В переломный момент исторической битвы под столицей войска Юго-Западного фронта с 6 по 16 декабря 1941 г. провели успешную наступательную операцию, которая вошла в историю под названием «Елецкая». Ее результатом стал разгром значительной части сил 2-й полевой армии фашистов. 45-я и 134-я пехотные дивизии врага были почти полностью уничтожены. Уникальность этой операции заключалась в том, что в районе Ельца советские войска без предварительной оперативной паузы неожиданно для врага перешли от обороны к наступлению. Достигнутая победа была одной из первых побед нашего народа в Великой Отечественной войне. В результате успешной Елецкой операции советские войска освободили от гитлеровских оккупантов более 8000 кв. км территории, 400 населенных пунктов, в том числе города Елец, Ефремов. Гитлеровцы потеряли под Ельцом 12 тыс. человек убитыми и ранеными, 226 орудий, 319 пулеметов, 1,5 тыс. автоматов и винтовок, 907 автомашин и много другого военного имущества. Гитлеровскому командованию пришлось расформировать 34-й армейский корпус. Разгромив елецкую группировку, войска Юго-Западного фронта сорвали попытку гитлеровцев прорваться на Дон, оттянули на себя часть сил 2-й немецкой танковой армии, переброшенных на помощь разгромленным соединениям 2-ой полевой армии и создали благоприятные условия для разгрома немецко-фашистских войск южнее Тулы. Огромное значение в военное время приобрел крупный Елецкий железнодорожный узел, который длительное время являлся важной базой фронта в районе Орловского плацдарма и Курско-Белгородской дуги. Немецкая авиация в течение 20 месяцев, вплоть до августа 1943 г., совершила 3136 налетов, зачастую массированных, и сбросила 450 тонн бомб, пытаясь вывести железнодорожный узел из строя. Доставалось и городу. От бомбежек погибло 759 человек, 517 было ранено. Но гитлеровцам не удалось парализовать работу елецких железнодорожников. Благодаря действиям летчиков 591 истребительного авиаполка железнодорожный узел работал без перебоев. Победа досталась дорогой ценой: более 9 тыс. ельчан не вернулись домой.
После войны 6 января 1954 г. Елец вместе с районом передан в состав новообразованной Липецкой области.
В 1969 г. построен новый мост через Сосну. Каракумский мост становится пешеходным.
В 1978 г. построен еще один мост через реку Сосну.
8 октября 2007 г. Ельцу присвоено почетное звание «Город воинской славы».