С началом 2 Мировой войны палестинские евреи добровольно вступали в ряды британской армии. В сентябре 1940 года Иехуда Харари стал солдатом полка королевских стрелков, расквартированного в Палестине. Солдат полка готовили к войне с немцами, они осуществляли охрану конвоев и железнодорожных составов с оружием и боеприпасами, отправлявшихся из хайфского порта.
В это время у Харари, бывшего бойцом Иргуна, возникли связи с Хаганой, еврейской подпольной армией, находившейся в остром идеологическом конфликте с Иргуном. По заданию Хаганы рядовой Харари похищал оружие из британских арсеналов, которое затем переправлялось еврейскому подполью.
В сентябре 1943 года полк, в котором служил Харари, был переброшен в Северную Африку, в Ливийскую пустыню. В британской армии Харари прошел интенсивную военную подготовку — он закончил курсы командиров взводов, снайперов, саперов и инструкторов физической поднотовки и получил звание сержанта.
В сентябре 1944 года — сержант Харари в числе 2500 бойцов Еврейской бригады. В составе Еврейской бригады он участвовал в высадке союзных войск в Италии, в боях за Рим и Ровенну, за мужество был награжден британскими боевыми наградами.
В это время Наоми Харари была арестована британскими властями — по заданию Иргуна она была курьером еврейского подполья. Однажды, когда она перевозила оружие, спрятанное в детской коляске сына Дани, ее арестовал британский патруль. Ей грозил военный суд и многолетнее тюремное заключение. Однако Иехуде Харари удалось добиться ходатайства командира Еврейской бригады генерала Леви Беньямина. Благодаря ему, Наоми Харари была освобождена британскими властями из-под ареста.
В мае 1945 г. Еврейская бригада была дислоцирована в Табризио, на пересечении границ Австрии-Италии-Югославии. В Европе еврейские солдаты встретили соотечественников, чудом выживших в Холокосте. Еврейская бригада искала уцелевших узников концлагерей и гетто и собирала их для дальнейшей переправки в Палестину, еще бывшую под британским правлением.
Сержант Харари получил отпуск с целью посещения родных в Будапеште, где он не был 8 лет. С помощью югославских партизан он через Австрию проник в советскую зону оккупации, в которой находился Будапешт. Только там ему стали понятны масштабы Катастрофы — из всей его многочисленной семьи выжила только мать.
Сержант Харари развил в Будапеште бурную деятельность — ему удалось нелегально вывезти из советской зоны оккупации не только свою мать, но и 350 уцелевших евреев.
В июле 1945 года батальон Еврейской бригады, в котором служил Харари, был переведен в Бельгию, а затем в Голландию. Там еврейские бойцы занимались поиском нацистских военных преступников и их ликвидациями. 1 мая 1946 года Еврейская бригада была расформирована и 9 июля демобилизованные солдаты отплыли из бельгийского порта Гент в Эрец Исраэль.
Страна жила на чрезвычайном положении — еврейское подполье вело решительный бой против британских властей. Демобилизованные солдаты пополнили ряды еврейского Сопротивления. Это была и моральная проблема — теперь им пришлось воевать против вчерашних товарищей по оружии из британской армии.
Иехуда Харари примкнул к Хагане. Это был, по-видимому, тяжелый выбор — он означал, что прежние связи с Иргуном обрывались, ведь Хагана и Иргун принадлежали к различным идеологическим направлениям сионизма и находились в состоянии перманентного противоборства.
На это решение повлияла дружба с Хаимом Ласковым — командиром батальона Еврейской бригады, в котором служил Иехуда Харари. После демобилизации Хаим Ласков стал одним из командиров Хаганы и лично рекомедовал Харари своему руководству.
В декабре 1947 года Иехуда Харари прошел подготовку на подпольных офицерских курсах Хаганы и затем возглавил курс подготовки сержантов. Еврейское население Палестины лихорадочно готовился к провозглашению государства Израиль и тотальной войне, которая неминуемо должна была последовать после провозглашения. Командир курса Харари вел в бой своих курсантов в округе Шарон.
14 мая 1948 года была провозглашена Независимость государства Израиль. В этот же день началось формирование боевых частей ЦАХАЛа. Первой была сформирована 7-я бригада.
Иехуда Харари был назначен командиром роты 72-го батальона этой бригады. 25 мая началась операция Бен Нун против Арабского легиона в районе Латрун. В ходе боя командир роты Харари был тяжело ранен, однако не оставил поле боя и продолжал командовать ротой. После излечения капитан Харари возглавил курс командиров взводов в офицерской школе, которая была открыта в октябре 1948 года неподалеку от Пардес Ханы, на армейской базе № 80. Там он впервые встретился с десантниками — среди его курсантов были цнефы Итамар Голани и Абрахам Зайденберг