По прошествии 13 лет проповедования Мухаммада преследования со стороны мекканцев стали настолько невыносимыми, что верующие не могли более оставаться в Мекке. Некоторые принявшие ислам были убиты, других, наиболее уязвимых, пытали и подвергали постоянной травле. Членов первой общины мусульман преследовали и бойкотировали в обществе, Мухаммад же терял своих покровителей одного за другим, его жена Хадиджа и дядя Абу Талиб умерли в один год, в 619-м. Ранее Мухаммад отправил небольшую группу мусульман в поисках убежища в Абиссинию (современная Эфиопия), под покровительство христианского правителя Негуса, и тот принял переселенцев. Вскоре после этого Мухаммад получил Откровение, где говорилось о том, что он может покинуть Мекку и совершить переселение в город Ясриб. Два года он посвятил подготовке, во время традиционной ярмарки, проходившей в Мекке, были заключены соглашения с племенами Ясриба и разработан план побега из Мекки. В 622 году бо́льшая часть мусульман покинула Мекку. Правящий род Мекки, курайшиты, приговорили Мухаммада к смерти, и Пророк пошел на хитрость: вместе со своим ближайшим другом Абу Бакром и проводником они двинулись на юг, а затем изменили направление и пошли на север. Так началось переселение — хиджра, которое впоследствии было принято за начало мусульманского летоисчисления, точку отсчета лунного календаря.
Когда первые переселенцы прибыли в Ясриб, в дальнейшем получивший название Медина, город озарился присутствием Пророка, и ансары — первые принявшие ислам жители города, тепло приветствовали мухаджиров, мекканских изгнанников. Чтобы облегчить обустройство поселенцев на новом месте, Мухаммад заключил между этими двумя группами «договор братства». Для урегулирования отношений между разными племенами в городе и поддержания администрирования центральной рыночной площади — сердца города — были учреждены новые правила. Возводились мечети. Жизнь новой духовной общины постепенно налаживалась, хотя присутствие мекканских изгнанников и создавало определенное напряжение из-за неравного социального положения и старого неутихающего конфликта между двумя коренными мединскими племенами — Аус и Хазрадж.
Несмотря на то, что в Медине мусульмане теперь составляли большинство населения, Мухаммаду нужно было подумать о безопасности своих последователей в регионе. Он также издал устав, известный как Мединская конституция, в основе которого лежали правила урегулирования взаимоотношений между разными группами населения для поддержания мира. В Медине жили и иудейские племена, и малочисленные христиане. Новый устав гласил, что иудеи являлись полноправными членами общины (уммы) Медины и имели такие же права и обязанности, как мусульмане. В надежде, что это гарантирует безопасность мусульманскому присутствию в городе и укрепит мир, данный принцип распространился на все меньшинства. Однако извне надвигалась военная угроза. Курайшиты — правящий род Мекки — не могли смириться с тем, что мусульмане, которых они хотели уничтожить, сбежали от них и нашли убежище в Медине. Враждебность двух сторон нарастала, и происходили битвы, одна за другой.
Между тем росло напряжение во взаимоотношениях мусульман с тремя иудейскими племенами — Бану Кайнука, Бану Надир и Бану Курайза, которые вели с курайшитами свою игру. Прочие иудейские племена оставались под защитой Пророка. У Мухаммада уже произошел ранее конфликт с Бану Кайнука, нарушившими соглашение и заключившими союз с врагами. Пророк нанес им поражение, но затем даровал свободу и разрешил покинуть город. Подобное решение в корне противоречило существующим обычаям, согласно которым мужчин побежденного племени казнили, а женщин и детей считали военной добычей.
Получившие свободу люди Бану Кайнука объединились с Бану Надир и вновь предали Мухаммада, напав на мусульман. Мухаммад опять помиловал их и отправил в изгнание. Через некое время он узнал, что Бану Курайза заключили союз с двумя другими изгнанными племенами и намереваются предать его в третий раз. Мухаммад отправил на них войска и одержал победу. Теперь он, согласно иудейским традициям, предложил, чтобы их судьбу решил другой человек, и иудеи одобрили кандидатуру своего судьи. Приговор был вынесен безжалостный, и всех мужчин племени казнили. Суровое наказание исполнили только в отношении трижды предавших, и это возымело эффект: соседние племена больше не нарушали заключенные договоры.