В феврале 1944 года генерал армии Еременко принял командование Отдельной Приморской армией, чтобы вместе с 4-м Украинским фронтом провести операцию по разгрому частей вермахта, заблокированный в конце прошлого года в Крыму. Сталин предоставил ему возможность выполнить своего рода работу над ошибками, уничтожая те войска противника, которым он полгода назад позволил избежать окружения на Кубани. Для самого Еременко в военном отношении Крым был хорошо знакомым местом, однажды он уже совершал прорыв на полуостров в составе 1-й Конной армии.
Гитлер приказал войскам 17-й армии оборонять Крым до последней возможности. Однако оперативные планы самой армии предусматривали, что в случае крупного наступления советских войск она сразу же начнет эвакуацию, используя подручные средства. В восточной части полуострова у Керченского пролива оборону держал 5-й армейский корпус, 49-й альпийский корпус прикрывал Перекоп и Сивашскую дамбу, а две румынские горнострелковые дивизии защищали побережье и боролись с партизанами. Переброшенная в начале марта 111-я немецкая дивизия находилась в резерве. Всему этому Еременко мог противопоставить 12 стрелковых дивизий и одну танковую бригаду, которые поддерживала 4-я воздушная армия.
Вечером 7 апреля около 8 батальонов армии Еременко атаковали опорные пункты 10-й румынской дивизии в районе Сиваша. На следующий день в 9 утра начался массированный штурм немецких позиций на Перекопе. Командующий 4-м Украинским фронтом Толбухин бросил в бой 2 армии и погнал перед собой 49-й немецкий корпус, в то время как войска Еременко атаковали арьергарды отступающего 5-й корпуса. Еременко узнал об отступлении от самих немцев, которые нервничали, нарушали дисциплину и не выполняли приказ провести отступление в тайне, чтобы успеть эвакуироваться до подхода советских частей.
12 апреля 2 немецкие дивизии смогли на полдня задержать продвижение Еременко на Ак-Монайском оборонительной рубеже, но, поскольку наступавшие с севера советские танки уже вошли в Симферополь и в любо момент могли появится в тылу у 5-го корпуса, вермахт продолжил отход по приморской дороге через Судак и к утру 14 апреля под постоянным обстрелом партизан дошли до Ялты. Через два дня немецкий арьергард вошел в Севастопольский укрепрайон, куда уже прибыли из Ялты по морю 10 тыс. солдат и офицеров корпуса. Эвакуация на большую землю шла полным ходом, но тут Гитлер передал приказ все прекратить и начать оборону Севастополя до последнего солдата.
5 мая после длительной подготовки Толбухин начал штурм Севастополя. Через 2 дня оборона 17-й армии вермахта была сломана, 8 мая советские войска взяли Сапун-гору. На следующий день Гитлер согласился эвакуировали свои войска, которые отступили из руин Севастополя на западную оконечность мыса Херсонес.
Ночью 10 мая к Херсонесу из Констанца прошел конвой с двумя транспорта, которые приняли на борт несколько тысяч человек, но советская штурмовая авиация отправила оба корабля на дно Черного моря. 12 мая 1944 года остатки 17-й армии вермахта капитулировали, в плен попали 65 тыс. человек.