Завоевательные походы получили при Умаре новый, невиданный дотоле размах. Ещё в правление Абу Бакра Халифат начал успешную борьбу с двумя своими могущественными соседями - Византией и Сасанидским Ираном. Но война тогда шла без особого плана и без ясно обозначенной цели. Фактически её вели на свой страх и риск отдельные полководцы. При новом халифе завоевание было подчинено твёрдой центральной воле. Медина превратилась в штаб, где тщательно изучались донесения военачальников и откуда исходили для них точные распоряжения. Умар постоянно был занят формированием и оснащением новых воинских отрядов, готовых в любой момент поддержать резервами того из полководцев, который в этом нуждался. Среди пяти или шести театров боевых действий основными поначалу были два - византийская Сирия и иранский Ирак.
Завоеванием Сирии руководил Халид ибн ал-Валид, который ещё в годы правления Абу Бакра нанёс византийской армии несколько крупных поражений. Осенью 635 года он овладел Дамаском, продвинулся на север Сирии и заставил капитулировать главный город этой области Баальбек. В декабре судьбу Баальбека разделили Хомс (Эмесса), Хама (Эпифания) и Шейзар (Лариса). Однако весной 636 года, когда халиф сместил Халида и поставил во главе сирийской армии Абу Убайда, византийцы перешли в наступление, так что в мае мусульмане без боя оставили Дамаск и Хомс. В августе 636 года противники встретились при Йармуке, неподалёку от Тивериадского озера. Здесь произошёл последний решительный бой, продолжавшийся три дня. С немалым трудом, потеряв до 4 тысяч убитыми, арабы одержали победу. Потерпевший поражение император Ираклий отказался от активной борьбы и уехал из Антиохии в Константинополь, предоставив оборону Сирии отдельным гарнизонам. Эта тактика была заранее обречена на неудачу. Уже в ноябре Абу Убайд вернул Дамаск, после чего без сопротивления пали все города между Хомсом и Кинаорином. В начале 638 года мусульманская армия вышла в долину Оронта и после недолгой осады овладела Антиохией. В 639 году была завоёвана Джазира (Осроена) с городами Рухой (Эдессой), Харраном и Сумайсатами (Самосатой). Овладев вслед за тем Дарой, арабы из Джазиры проникли в Армению. Эта провинция формально была разделена между Ираном и Византией, но фактически находилась во власти своих владетельных князей нахаров. Те постоянно враждовали друг с другом и не смогли объединиться даже перед лицом общего врага. К 641 году была завоёвана юго-восточная часть Армении до озёр Ван и Севан. Затем арабы взяли штурмом армянскую столицу Двин.
Одновременно с покорением Северной Сирии и Армении арабы начали борьбу за Палестину, где вела завоевания армия под командованием Амра ибн ал-Аса. В 637 году мусульманам сдался Иерусалим (его капитуляцию принял сам халиф Умар). В том же году Амр двинулся из Палестины в Египет. Поначалу в этом предприятии участвовало всего 3 тысячи человек. Тем не менее, как и везде, мусульманам сопутствовал полный успех. После двухмесячной осады пал ал-Фарм (Пелусий), являвшийся со времён античности ключом ко всей провинции. Отсюда Амр пошёл вдоль восточной окраины дельты Нила к её вершине и в марте 640 года овладел крепостью Балбейс. Узнав об удачном начале экспедиции, Умар немедленно выслал Амру подкрепления. С их помощью тот овладел Файумом и Абоитом. Осенью того же года, переждав летний подъём воды в Ниле, арабы спустились в дельту и после семимесячной осады взяли мощную крепость Бабалйун (Мисру). После этого им уже нетрудно было овладеть всем Верхним и Нижним Египтом. Последней в сентябре 642 года без боя капитулировала Александрия, бывшая при византийцах столицей всей провинции. При новых хозяевах этот город потерял своё значение. Главным центром их пребывания в завоёванной стране стал Бабалйун, вокруг которого вскоре возник большой военный лагерь, получивший название ал-Фустат. В том же 642 году арабы двинулись из Египта дальше на запад, подчинили себе Барку и оазис Завилу, находившийся в центре Сахары. В 643 году Амр совершил ещё более далёкий поход и разграбил Нибару (Триполи).