Шансы остановить наступление еще больше уменьшились после того, как был отстранен от должности Манштейн. В качестве официальной причины называли болезнь Манштейна, однако его смещение было вызвано обострением отношений с Гитлером, стратегию которого Манштейн считал бессмысленной и с которым он спорил в неприемлемом для Гитлера тоне. Таким образом, человек, которого немцы считали лучшим стратегом, оказался не у дел. Здоровье Манштейна быстро поправилось, но он мог теперь следить за событиями только по карте, удалившись в свое родовое имение. А немецкую армию слепо вели к пропасти.
Начало марта 1944 года ознаменовалось новым комбинированным маневром, еще более широким по масштабам охватом. Сначала внимание немцев приковал к себе удар в верховьях Буга, в юго-восточной Галиции. Этот удар нанесли войска маршала Жукова, который сменил Ватутина, нарвавшегося на засаду и смертельно раненного националистами. Нанеся удар из Шепетовки, войска Жукова продвигались по 30 миль в сутки и 7 марта у Тарнополя перерезали железнодорожную линию Одесса — Варшава. Русские вышли во фланг оборонительным позициям на Буге раньше, чем немцы сумели отойти на них и закрепиться.
На другом крыле Южного фронта Малиновский уже теснил немецкие войска в нижней части излучины Днепра. Использовав захваченные позиции и Никополя и Кривого Рога, он начал охватывающий маневр. 13 марта войска Малиновского заняли порт Херсон в устье Днепра и окружили часть сил немцев в этом районе. Одновременно другое крыло войск Малиновского, наступая с севера, достигло Николаева в устье Буга. Немцы оказали здесь упорное сопротивление, и город был занят только 28 марта.
Более драматичное событие произошло на центральном участке фронта, между полосами действий войск Жукова и Малиновского. Пользуясь тем, что внимание немцев сосредоточено на действиях войск Малиновского и Жукова, Конев нанес удар в направлении Умани и вышел к Бугу. Не теряя времени, его танки двинулись к Днестру, протекающему в этом районе в 70 милях от Буга. Лед на Днестре начал таять, и эта река с быстрым течением и крутыми берегами казалась трудным препятствием и удобной для обороны позиций. Однако для обороны немцы не имели необходимых сил. 18 марта русские танки вышли к реке и с ходу форсировали ее по понтонным мостам у Ямполя и соседних городов. Легкость форсирования объяснялась стремительностью наступления русских и растерянностью немецких войск. Ведущую роль здесь вновь сыграли бронетанковые войска под командованием генерала Ротмистрова. Они сумели подавить сопротивление противника, применив новый тактический прием: наступление велось в широко рассредоточенных боевых порядках, и тем самым обрекалась на неудачу попытка противника остановить их продвижение путем удержания опорных пунктов на главном направлении наступления.
Глубокое вклинение в оборону противника было связано с большим риском. В это время левое крыло войск Жукова нанесло новый удар в южном направлении на Тарнополь. Этот удар, хорошо рассчитанный по времени, был нанесен сразу же после отражения контратак немцев у Тарнополя. Организовав оборону, русские отбили контратаку и двинулись следом за отходившим противником. Удар имел целью соединиться с наступающими войсками Конева. После быстрого продвижения к Днестру войска Конева повернули на юг вдоль восточного берега реки, охватывая фланг противника и прижимая его к правому крылу войск Конева. Этот комбинированный удар не только обеспечивал безопасность флангов наступающих войск, но и открывал хорошие перспективы для развития успеха.
Нанося эти фланговые удары, русские расширяли полосу прорыва и окружали силы противника, слишком поздно начавшие отход. Кроме того, русские продолжали продвигаться и в западном направлении. До конца марта войска Конева вышли к Пруту у Ясс, а войска Жукова овладели важными пунктами Коломыя и Черновцы, форсировав Прут в верхнем течении. Русские, таким образом, подошли вплотную к Карпатам.
Немцам необходим был этот горный барьер, и не только чтобы помешать вторжению русских на Центрально-европейскую равнину, но и для ведения длительной обороны Балканского полуострова. Карпаты, к которым на юге примыкают Трансильванские Альпы, представляют собой отличный естественный оборонительный рубеж. Протяженность этой горной гряды в стратегическом отношении уменьшается из-за сравнительно небольшого числа перевалов, и, таким образом, создается возможность сэкономить силы. Между Черным морем и горной местностью у Фокшаны находится равнинный участок шириной 120 миль, однако его восточную часть занимают дельта Дуная и цепочка озер, поэтому ширина опасной зоны фактически составляет 60 миль в районе Галацкого прохода.
В начале апреля казалось, что немцы вот-вот отойдут на этот тыловой оборонительный рубеж, северо-восточной части которого уже угрожали войска Жукова, прорвавшиеся между Тарнополем и Черновцами в направлении Яблоницкого перевала. Казалось, Жуков намеревается внезапно обрушиться на Будапешт, как это однажды сделал Сабутай, который командовал монгольскими ордами Чингисхана и в марте 1241 года прорвался через Венгерскую равнину к Дунаю.
1 апреля передовые части Жукова подошли к Яблоницкому перевалу. Горы здесь значительно ниже и положе, чем на юге. Перевал лежит на высоте не более 2 тыс. футов над уровнем моря. Но даже при столь незначительной высоте в случае упорной обороны перевал преодолеть нелегко, поскольку свобода маневра наступающих войск ограничена. И действительно, рядовым частям не удалось с ходу прорваться через перевал, а потом не хватило сил, чтобы сразу возобновить наступление. После стремительного продвижения войска нуждались в пополнении запасов средств материального обеспечения.
Немцы же оказались в выгодном положении, отойдя к сети коммуникаций, опирающейся на Львов. С отходом в Галицию у них появилась возможность сосредоточить свои силы. На следующей неделе немцы нанесли сильный контрудар. Они преследовали двойную цель — остановить продвижение русских и вырвать из окружения 18 дивизий 1-й танковой армии, пойманных в ловушку восточнее Днестра войсками Жукова и Конева. Эта группировка попыталась пробиться на запад через Скалу и Бузак к Львову.
Продвижение войск Конева за Прутом было приостановлено неподалеку от реки. Русским не удалось прорваться к Яссам, находящимся всего в 10 милях западнее Прута, но они вышли к Серету, несколько севернее. Перед Коневым, однако, в этот момент стояла более важная цель. Левое крыло его войск продвигалось на юг вдоль Днепра в тыл войскам противника. Здесь действовали в основном румынские части. Фланговый удар войск Конева совпал с наступлением войск Малиновского из района Николаева на Одессу.
Эта угроза поставила в трудное положение Шернера, который сменил Клейста на посту командующего бывшей группой армий «А» (теперь она называлась группой армий «Южная Украина»), и Моделя, который сменил Манштейна на посту командующего группой армий «Северная Украина» (раньше называлась группой армий «Дон» и группой армий «Юг»). Трудности для Шернера усугублялись бедственным состоянием и слабостью коммуникаций в тылу, так как после выдвижения русских к Карпатам его войска оказались отрезанными от армий в Польше и могли пользоваться лишь дорогами через Балканы и Венгрию.
В это время тяжелые бомбардировщики союзной авиации, базирующиеся в Италии, нанесли серию ударов по узлам коммуникаций. Первыми объектами их ударов стали Будапешт, Бухарест и Плоешти. Однако эти удары, нанесенные в первую неделю апреля, уже не могли оказать непосредственного влияния на ход событий.
5 апреля войска Малиновского вышли к станции Раздельная, лишив противника возможности пользоваться единственной оставшейся в исправности железнодорожной линией из Одессы. 10 апреля этот крупный порт был занят. Большей части войск противника удалось ускользнуть. Они отошли к нижнему течению Днестра. Отсюда линия фронта тянулась к Яссам.
В первую неделю мая войска Конева нанесли мощный удар западнее Ясс по обоим берегам Серета, использовав в этих боях новые танки ИС.