В 1943 году Баграмян был назначен на должность командующего войсками 1-го Прибалтийского фронта и произведен в звание генерала армии. Перед фронтом была поставлена задача по изгнанию немецких войск с территории Белоруссии.
Общая обстановка на советско-германском фронте к моменту начала Белорусской операции была следующей. К июню 1944 года советские войска стремительно продвигались на запад, линия фронта шла теперь от Одессы на Черном море вдоль восточных и северных отрогов Карпат, а затем резко поворачивала на север, к Припятским болотам возле Ковеля. Здесь начинался центральный участок немецкой обороны, который по конфигурации представлял собой огромный выступ на восток площадью около 250 тысяч квадратных километров: восточный фас фронта в районе Орши и Могилева проходил в 50 километрах за Днепром. Тыловые коммуникации этого выступа уже находились под угрозой с юга в западной оконечности Припятских болот. Чтобы дезориентировать немецкое командование относительно главного направления летнего наступления, Ставкой был избран последовательный порядок проведения операций против немецкой группировки в Белоруссии. Начало операции было решено приурочить к 3-й годовщине нападения Германии на Советский Союз.
Начало было положено партизанами. В ночь на 20 июня на территории за линией фронта партизаны провели широкие диверсионные операции, которые вывели из строя коммуникации в районе между Днепром и Минском и к западу от города. Стратегически важные мосты оказались взорваны. Подвоз снаряжения был приостановлен во многих случаях больше чем на сутки. Парализованными оказались не только большая часть линий железной дороги, но и сеть телеграфной и телефонной связи, тянувшаяся вдоль дорог.
Второй этап начался 23 июня с атаки войсками 1-го Прибалтийского и 3-го Белорусского фронтов 3-й немецкой танковой армии генерал-полковника Рейнгардта. В успехе операции важную роль сыграл правильный стратегический расчет советского командования, которое отказалось от штурма крупных городов, на который рассчитывал вермахт. Города и крупные населенные пункты были превращены немецкой армией в сильные укрепленные районы, рассчитанные на долгую оборону от численно превосходящего противника. Такими укрепленными районами были объявлены города Слуцк, Бобруйск, Могилев, Орша, Витебск и Полоцк. Для их обороны выделялось по одной фронтовой дивизии, а для защиты Витебска – целых три.
Первой стратегической целью войск Баграмяна в Белорусской операции стал Витебск. Эта крепость на Западной Двине была охвачена с флангов двумя широкими клиньями, однако вопреки ожиданиям немцев Баграмян сам город не атаковал. К моменту начала общего советского наступления 3-я немецкая армия, дислоцированная под Витебском, утратила свою прежнюю боевую мощь. Почти треть ее дивизий перебросили на другие участки фронта, мощная артиллерия сократилась почти наполовину. В резерве оставались лишь 14-я пехотная дивизия, несколько саперно-инженерных батальонов, 201-я охранная дивизия, а также карательный батальон. В самом Витебске находилось четыре дивизии – почти треть ударных сил.
Между тем Баграмян, в соответствии с разработанным штабом планом наступления, не собирался сразу же штурмовать Витебск. В первую очередь до подхода к городу его войсками были уничтожены или выведены из строя все немецкие резервы. Потом, подойдя к городу, была проведена усиленная артиллерийская подготовка, в которой участвовало около 10 тысяч орудий, а за ней последовал удар с воздуха бомбардировщиками. И только проведя такую мощную подготовку, в бой двинулась пехота. На контратаки немцев советские войска отвечали ударами танков и налетами бомбардировщиков. Части вермахта были вынуждены отступить на резервную линию обороны в 30 километрах западнее Витебска. Там на какое-то время им удалось восстановить непрерывную линию фронта.
Но через три дня наступавшие войска Баграмяна и Черняховского сомкнули кольцо окружения вокруг Витебска. Генерал-полковник Рейнгардт сумел вывести из города только одну из дивизий – 4-ю авиаполевую, сформированную из наземных частей люфтваффе и зенитной артиллерии. К утру 24 июня войска Баграмяна ворвались в тыл немецкой группировки, оставив Витебск позади себя, и город потерял свое стратегическое значение.
В связи с этим Гитлер отменил свой приказ об обороне города до последнего солдата и разрешил начать эвакуацию. В городе была оставлена только одна дивизия для его дальнейшей обороны.