Памятник А.П.Ермолову был подарен городу Грозному главнокомандующим на Кавказе князем генерал-адъютантом А.М.Дондуковым-Корсаковым в 1881 году.
В 1881 году возглавил комиссию по выработке нового «Учреждения Кавказского края», которое введено в действие в 1883 году и предусматривало упразднение Кавказского наместничества, предоставление б ́oльших полномочий на Кавказе центральным ведомствам, а также упрощение структуры местной администрации. Главноначальствующий гражданской частью на Кавказе и кокомандующий войсками Кавказского военного округа (1882-1890 годы), наказной атаман кавказских казачьих войск (1885-1890 годы). По инициативе Дондукова-Корсакова в Закавказье мусульмане были уравнены в правах с лицами христианских вероисповеданий в сфере городского самоуправления (1888 год), признаны имеющими «общественное значение» источники кавказских минереальных вод [указ императора Александра III от 18(30).04.1886 года], начато их благоустройство, Кавказ разделён на четыре горных округа (1887 год).
В 1881 году возглавил комиссию по выработке нового «Учреждения Кавказского края», которое введено в действие в 1883 году и предусматривало упразднение Кавказского наместничества, предоставление больших полномочий на Кавказе центральным ведомствам, а также упрощение структуры местной администрации. Главноначальствующий гражданской частью на Кавказе и кокомандующий войсками Кавказского военного округа (1882-1890 годы), наказной атаман кавказских казачьих войск (1885-1890 годы). По инициативе Дондукова-Корсакова в Закавказье мусульмане были уравнены в правах с лицами хриистианских вероисповеданий в сфере городского самоуправления (1888 год), признаны имеющими «общественное значение» источники кавказских миминеральных вод, начато их благоустройство, Кавказ разделён на четыре горных округа (1887 год). Возведён памятник скульптором А.Л.Обером. Памятник представлял собой бронзовый бюст на четырёхгранном постаменте из песчаника. Памятник был установлен рядом с землянкой, в которой жил Ермолов при закладке крепости Грозная. Бюст и землянка располагались на нынешней улице имени Чернышевского (бывшая Ермоловская). В прежнее время неподалёку от этого места находилось здание офицерского собрания Киринского егерского пехотного полка. Согласно другим источникам, реальная землянка Ермолова была сначала превращена в ледник, а позже снесена. Позже начальство спохватилось и приказало очистить под землянку Ермолова то ли курятник, то ли конюшню. В 1922 году решением Грозненского городского совета бюст снесли в порядке реализации декрета Ленина "О памятниках республики". С 1926 года голова памятника хранилась в грозненском краеведческом музеи и была частью его экспозиции. На этом месте был поставлен памятник чеченскому революционеру Асланбеку Шерипову. В 1949 году, когда чеченцы и ингуши находились в депортации, памятник Шерипову был демонтирован, а бюст Ермолова был восстановлен скульптором И.Г.Твердхлебовым (по одной из версий, по личному указанию Л.П.Берии).
При изготовлении нового бюста в качестве эталона была использована сохранившаяся голова старого. На ограждении памятника были установлены чугунные плиты с цитатами. На одной из них приводилось изречение самого Ермолова: «Никогда не разлучно со мной чувство, что я россиянин». На второй — слова А.С.Грибоедова о Ермолове: «Патриот, высокая душа, замыслы и способности точно государственные, истинно русская, мудрая голова». На третьей была надпись: «Народа сего под солнцем нет подлее и коварней. Ермолов о чеченцах». После смерти И.В.Сталина последняя надпись была удалена, но ниша с плитой осталась. Власть преподносила Ермолова как выдающегося полководца и просветителя. Однако для чеченцев он оставался жестоким завоевателем. Было несколько попыток со стороны коренного населения взорвать бюст или снести его на законных основаниях, однако все они оказывались безуспешными. Однако в период с 1951 по 1991 годы этот памятник взрывался местным населением 12 раз! Тем не менее, на волне перестройки, в 1989 году памятник был демонтирован (взорван).
Например, памятников генералу Алексей Ермолову, руководившему покорением горских народов, сейчас на Кавказе три. Все они были установлены в постсоветское время. В Ставрополе памятник был установлен в 1998 году, в Минеральных Водах - в 2008, а в Пятигорске - в 2012.
Памятник генералу, установленный в Минводах - самый большой в России памятник Ермолову. Скульптура высотой 2,85 метра установлена на трехметровом гранитном пьедестале. Средства на его возведение собирали на предприятиях у обычных жителей. Обошелся он им в четыре миллиона. Однако в 2011 году с ним произошел инцидент: местные жители забросали его яйцами, начиненными масляной краской. После этого памятник пришлось очищать.
На родине Алексея Петровича история с установлением памятника знаменитому земляку длится уже более ста лет. Первый раз увековечиванию его памяти в Орле помешала начавшаяся Первая мировая война и революция.
Спустя почти сто лет, в 2002-м году, было снова объявлено о сборе средств и конкурсе на лучший проект памятника. Но то ли средств не хватило, то ли на конкурсе проектов победила пугливая политкорректность - однако памяти опального генерала на родине добавили ещё десять лет забвения.
И, наконец, 27 июля 2012 года памятник военачальнику всё-таки был торжественно открыт в историческом центре Орла, на площади, названной в его честь. Автор памятника, скульптор Равиль Юсупов, создавший памятник Ермолову двумя годами раньше для Пятигорска.