Считается, что Ельня впервые упоминается как Елна в Уставной грамоте смоленского князя Ростислава в 1150 г.
В 1239 г. поселение подверглось набегу монголо-татарского отряда.
В XV веке Ельня вместе со Смоленским княжеством находилась в составе Литвы, а в 1608 г. была пожалована «на вечность» пану Сапеге, но вскоре была завоевана Московским государством.
Во время польско-шведской интервенции Ельня была возвращена в состав Великого княжества Литовского, однако в 1654 г., в период войны с Польшей, начавшейся после воссоединения России с Украиной, она снова была присоединена к Московскому государству.
В 1776 г. Ельня стала городом и уездным центром Смоленского наместничества. К этому времени в городе было 4 улицы, 9 переулков, 131 жилой дом, богадельня, кузница, харчевня и питейный дом.
В 1780 г. был утвержден регулярный план, по которому город и развивался в последующее время.
В 1812 г. Ельня в числе других русских городов подверглась нашествию французских войск, а во время наступления русской армии здесь около двух суток находился М.И. Кутузов со своим штабом.
Менее чем через месяц с начала Великой Отечественной войны, 18 июля 1941 г., у города появились немецкие танки. Армия Германии обладала численным преимуществом, поэтому в результате неравных боев советские войска были вынуждены укрепиться в 18 километрах восточнее Ельни. Линия фронта, расчленившая район на две части, образовала знаменитый ельнинский выступ. Однако использовать свое преимущество гитлеровцы не смогли. Части Советской Армии предприняли наступательную операцию. В течение 26 дней шли упорные кровопролитные бои, во время которых войска 24-й армии при поддержке авиации разгромили ельнинскую группировку немецко-фашистских войск и ликвидировали ельнинский выступ. 6 сентября над Ельней снова взвился красный флаг. У врага был отбит второй советский город (после Великих Лук).
В боях на ельнинской земле советские воины проявили чудеса отваги. 14 солдатам и офицерам было присвоено звание Героя Советского Союза. Здесь во время самых ожесточенных боев 1941 г. родилась Советская гвардия; 18 сентября 1941 г. приказом Наркома обороны, наиболее отличившимся в боях соединениям, было присвоено звание «гвардейских».
Повторное взятие немцами города произошло через месяц, 6 октября, и длилось до 30 августа 1943 г., когда в ходе Ельнинско-Дорогобужской операции он был освобожден силами 10-й гвардейской и 21-й армий при поддержке частей 2-го гвардейского танкового корпуса (Западный фронт).
В честь освобождения города в Москве был дан салют 12 артиллерийскими залпами из 124 орудий.
В 1981 г. город награжден орденом Отечественной войны I степени. 8 октября 2007 г. Указом Президента Российской Федерации Ельне присвоено почетное звание «Город воинской славы».