В 1913 году он был призван в армию. Первую мировую войну Еременко встретил в звании ефрейтора – командира взвода 168-го Миргородского полка. Сражался в Галиции, а затем был переведен в полковую конную разведку на Румынский фронт.
После февраля 1917 года был избран в состав полкового комитета. В октябре 1917 года, получив вести из Петрограда, полковой комитет принимает решение о возвращении домой.
Вернувшись после демобилизации в родную Марковку, фронтовик Еременко весной 1918 года организовал партизанский отряд и стал его командиром. Отряд действовал против немецких частей, оккупировавших Луганщину. Впоследствии отряд влился в Красную Армию. В декабре 1918 года Андрей Иванович Еременко вступил в ряды РКП(б).
С июня 1919 года он вошел в состав первых конных формирований Красной Армии и воевал на Южном, Кавказском и Юго-Западном фронтах. В годы гражданской войны Еременко последовательно занимал должности начальника бригадной разведки, начальника штаба бригады, помощника командира полка14-й кавалерийской дивизии 1-й Конной армии. Он сражался против войск Деникина и Врангеля, против отрядов Махно. Войну он закончил в Польше, где получил тяжелое ранение в одном из боев. За храбрость, находчивость и «тактическую смекалку», проявленные Еременко в годы гражданской войны, он был награжден орденом Красного Знамени, а позднее и орденом Ленина.
После войны Еременко продолжал служить в своей 14-й дивизии, решив остаться в Красной Армии и стать кадровым военным. В 1929 году он назначается командиром полка и через два года оканчивает курс командиров-единоначальников в Военно-политической академии им. В.И.Ленина. Затем Еременко поступает в Военную академию им. М.В.Фрунзе.
После окончания академии Еременко вернулся в свой полк и вскоре назначается на должность командира кавалерийской дивизии.
В 1938 году он становится командиром 6-го казачьего кавалерийского корпуса, сформированного из частей 1-й Конной армии и дислоцированного в Белоруссии.
В 1939 году Еременко вместе с корпусом принимал участие в операциях на территории Польши в составе механизированной группы под командованием Болдина.
Эта кампания еще раз доказала, что прославленная кавалерия, бывшая долгое время самым маневренным родом сухопутных войск, уступила первенство танковым и механизированным войскам. В 1940 году Андрею Ивановичу Еременко было поручено формирование 3-го механизированного корпуса. А через полгода он уже становится командующим 1-й Отдельной армией на Дальнем Востоке.
Известие о нападении Германии на Советский Союз застало Еременко по пути в Москву, куда он был срочно вызван с Дальнего Востока. И уже с 30 июня он руководит военными действиями на Западном фронте до прибытия маршала Тимошенко. Потом он назначается заместителем командующего фронтом.
В тяжелейших условиях проводится Смоленское оборонительное сражение, в результате которого советские войска на месяц сумели приостановить наступление немецких армий.
16 августа 1941 года на стыке Центрального и Резервного советских фронтов с целью предотвратить прорыв немецких войск в тыл армий Юго-Западного фронта был сформирован Брянский фронт. Через неделю Центральный фронт был расформирован, и его войска также вошли в состав Брянского фронта. Андрей Иванович Еременко стал командующим Брянским фронтом и оставался в этой должности до октября. Общая обстановка на фронте была крайне тяжелой. В его задачу входило прикрытие подступов к столице на юго-западном направлении.
30 сентября по измотанным в предыдущих боях войскам Брянского фронта ударила самая сильная и маневренная группировка немецких войск – 2-я танковая армия Гудериана. Ей удалось прорвать фронт и выйти в тыл советских армий. Мотопехота немцев даже прорвалась к командному пункту, и Еременко в одной шеренге с солдатами с автоматом в руках отбивал атаки противника.
Восстановив управление войсками, Андрей Иванович Еременко сразу приступил к составлению плана дальнейших действий. Он понимал, что следует как можно быстрее выйти на новые рубежи обороны, иначе путь к столице будет практически открыт. Но для этого необходимо прорвать плотное кольцо окружения.
Действовать пришлось быстро, и вскоре советские войска серией контрударов смогли прорвать окружение в нескольких местах. В одном из боев, в октябре, командующий фронтом был тяжело ранен осколком авиабомбы. 14 октября в Москве ему была сделана операция. Вскоре он узнал, что все армии Брянского фронта смогли выйти из окружения.