Многие боевые группы сумели с боями прорваться к предгорьям Карпат, другие вели бои на все сокращающемся пространстве в междуречье. Особенно упорный характер носили бои за населенные пункты между Прутом и восточными склонами Карпат. Некоторые из них, в частности Брэила и Фокшаны, верховное командование объявило так называемыми «крепостями». Командование группы армий неоднократно пыталось добиться от ОКХ отмены этого совершенно неуместного при сложившихся обстоятельствах распоряжения. Но все наши просьбы были отклонены. Идея создания «крепостей» явилась одной из бессмысленных причуд Гитлера; эти «крепости» потребовали от Германии на всех фронтах бесчисленных и никому не нужных жертв.
Возможность взломать вражеское кольцо окружения с запада и тем облегчить положение ведущих тяжелые бои немецких войск была потеряна немецким командованием 25 августа, когда румынские войска начали боевые действия против немцев и во внутренних районах Румынии, в частности — в Валахии. Попытка немцев овладеть Бухарестом также встретила организованное сопротивление румын, а вокруг столицы и по всей стране завязались отчаянные бои за тыловые центры немецких войск: в Валахии — задунайские порты Галац и Брэила, за железнодорожный узел Бузэу и за нефтепромыслы Плоешти, в Добрудже — за военно-морскую базу Констанца.
Румыны повсеместно предъявили немецким инстанциям и тыловым учреждениям требование незамедлительно покинуть свои места расквартирования. Естественный отказ немецких войск, расположенных во внутренних районах Румынии, от ухода с румынской территории и от сопровождавшего этот ультиматум требования о сдаче всего вооружения и техники привел к резким спорам, которые после открытого объявления войны Румынией вылились в настоящие вооруженные схватки.
Так протекала вторая фаза сражения в Румынии. Немецким войскам приходилось защищаться от многочисленных концентрических ударов. Основные бои развернулись вокруг Бухареста и в районе Плоешти. Здесь многие части сухопутных войск, выведенные из района нижнего течения рек Прут и Серет, пополнились подразделениями аэродромной службы ВВС и частями зенитной артиллерии в такой мере, что из них уже можно было составить крупные оперативные группы. Эти группы вынуждены были отбиваться со всех сторон от наседающих румынских войск и вторгающихся на территорию Румынии советских, главным образом танковых, сил.
Отвод немецких войск на территорию Венгрии становился с каждым днем все более и более затруднительным. В этих боях особенно отличились группы генерал-лейтенанта фон Скотти и генерал-майора Винкледа, отлично взаимодействовавшие с 15-й зенитно-артиллерийской дивизией полковника Симона. Несмотря на поспешность, с которой они были сформированы, эти войска в неустанных боях проявили большое мужество и высокую боеспособность, задерживая в труднопроходимых районах Восточных Карпат продвижение советских войск.
Переход румын на сторону противника застал врасплох и располагавшиеся на побережье Черного моря — и прежде всего в Констанце — части и учреждения германских ВМС. Немецкие моряки принимали деятельное участие в переброске войсковых частей через устье Дуная, обеспечивая отход группы армий. После того как в Констанце была взорвана батарея тяжелой береговой артиллерии «Тирпиц», а также уничтожены портовые и прочие стационарные сооружения и затоплены более крупные корабли, инженер-адмирал Цип, являвшийся до этого начальником управления верфей ВМС, сформировал речную оперативную группу ВМС. Позже в эту оперативную группу были дополнительно введены саперные части, оснащенные штурмовыми лодками и десантными катерами. Имея в своем составе около 100 единиц — артиллерийские посыльные суда, самоходные паромы, буксиры, тральщики и другие малые средства — группа адмирала Ципа двинулась вверх по Дунаю. В то время как она шла вверх по течению реки, отражая налеты румын с берега, действовавшие в Черном море подводные лодки вынуждены были оставаться в боевом соприкосновении с противником и прикрывать отход группы армий до полного истощения своих боевых возможностей. Недалеко от Железных Ворот, у Прахово, группа вступила в тяжелые бои с противником, в которых ей помогли быстро подошедшие из Сербии соединения группы армий «Ф».