В 644 году Омар был убит персом-невольником в простом глиняном жилище, где некогда обитал Пророк. Халиф получил несколько ударов кинжалом во время утренней молитвы и умер через три дня. Умирая, Омар назначил группу из шести человек для избрания нового преемника. Похоронен Омар в мединской мечети Пророка, рядом с могилами Мухаммада и Абу Бакра.
Совет, назначенный Омаром для избрания халифа, выбрал Османа ибн Аффане – мужа двух дочерей Пророка. Купец из Мекки, зять и тесть Пророка, Осман был набожным и рачительным человеком. В его правление мусульманская империя расширилась от Северной Африки на западе до границ Китая и долины Инда на востоке.
На Средиземном море за несколько месяцев был создан военный флот, успешно воевавший с Византией. Было завоевано государство Сасанидов. Мусульмане закрепились в Северной Африке плоть до Туниса и в Закавказье.
В Медине на месте старой Мечети Пророка, Осман повелел выстроить новую, из обработанного камня. В ней потолок из индийского дерева поддерживали каменные колонны. При Османе были внесены изменения в исламскую обрядность. Он прибавил третий призыв к молитве и предписал делать четыре, а не три, как было раньше, земных поклона во время паломнической молитвы в долине Мина. Особо важным событием стало утверждение единого текста Корана. Разрозненные записи Откровений, данных Богом Своему Посланнику, записанные его секретарями, ближайшими сподвижниками и некоторыми женами Пророка, а также записи, совершенные в других городах (Басре, Куфе, Дамаске) по велению халифа Османа свели в единый текст, который был разослан во все концы Халифата, а чтобы в дальнейшем не было разногласий, иные списки были уничтожены.
Осман был святым человеком, но, кроме того, он был и очень состоятельным членом клана Омейядов племени Курайш. Стараясь обеспечить новые территории достойными управляющими, он назначал на эти посты своих родственников, щедро оплачивал их из государственной казны и был справедливо обвинен в кумовстве. Его двоюродный брат Муавия, например, был назначен правителем Сирии. Мусульмане в Ираке и Египте были весьма недовольны этим и старались убедить восьмидесятилетнего Османа отречься от власти. Несмотря на добрые увещевания, Осман произнес против них гневную проповедь. Вскоре после этого, находясь на молитве он был убит группой мятежных мусульман из Ирака и Египта. Произошло это летом 656 года. Его жена Найла пыталась защитить его, в результате чего лишилась пальцев. Отрубленные пальцы она отослала своему двоюродному брату Муавия вместе с просьбой о помощи.
Похоронен Осман неподалеку от могилы Пророка и двух первых халифов.
Последний праведный халиф
Новым халифом (четвертым) по предложению представителей Ирака и Египта избрали Али ибн Абу Талиба, первого после жены Пророка Хадиджи мусульманина, двоюродного брата Пророка, женатого на дочери Пророка Фатиме, героя многих сражений. Он был красноречивым, бескорыстным и храбрым мусульманином. Правил четвертый халиф с 656 по 661 год. Однако с решением избрать халифом Али были согласны не все. В Халифате началась многолетняя смута.
Противницей Али была Айша – вдова Пророка, обвинившая Али в попустительстве, проявленном им в поисках убийц Османа, которые должны предстать перед судом. Айша повела свою армию против Али, но была разбита в сражении, которое назвали «Верблюжьей битвой». Происходило оно под городом Басрой. В бою старые товарищи Пророка Талхи и Зубайра были убиты, а Айша взята в плен.
Следующим противником Али стал Муавия, родственник халифа Османа, двадцать лет правивший Дамаском. Муавия отказывался признать халифом Османа, пока тот не найдет и представит суду убийц Османа. Муавия обвинял Али в потворстве убийцам, ибо тот не приложил никаких стараний, чтобы поймать и наказать их. Армии встретились в 657 году на берегу Ефрата. В битве при Сиффине Али разбил сирийцев, но, согласно преданию противники Али, чтобы избежать полного разгрома, подняли на своих копьях свитки Корана и воззвали к третейскому суду. Благочестивые воины халифа остановили сражение, начались переговоры. Али согласился на третейский суд, на время которого было заключено перемирие. Он также согласился и на проведение новых выборов, что было равнозначно отречению от законной власти. Воины Али, ужаснулись решению халифа и стали покидать ряды его армии. За это они получили имя «хариджиты» – отступившие, ушедшие. Хариджиты выступили против обеих сторон: против Али и против Муавии и выбрали своего халифа – воина Адаллаха ибн Вахба. Так начался первый раскол в исламе.