Будущий военачальник родился в крестьянской семье в слободе Марковка на Луганщине, был первым и старшим из восьми братьев и сестер. Его военная карьера началась осенью 1913 года, в преддверии Первой мировой войны. На её фронтах он служил в пехоте на Юго-Западном фронте, участвовал в Галицийской битве, в осаде Перемышля. Дослужился до унтер-офицера. В Красную армию вступил в 1919 году, служил в 14-й кавалерийской дивизии. По окончании гражданской войны Андрей Иванович проходил курсы усовершенствования командного состава. Во второй половине 20-х годов прошлого столетия занимал ряд командных и начальствующих должностей. В 1935 году окончил Военную академию имени Фрунзе. С августа 1937 года назначен на должность командира 14-й кавалерийской дивизии, в которой начинал службу в Красной армии. Незадолго до начала Великой Отечественной войны, 19 июня 1941 года, Андрей Ерёменко становится командующим 16-й армии, которая перебрасывалась с Дальнего востока в приграничный район Западного военного