В 747 году Абу Муслим перебрался в Мервский оазис и вскоре превратил город в центр восстания. Со всей провинции к нему стекались иранские землевладельцы-дихкане, отряды осевших в Хорасане арабских кальбитских племен, сунниты и шииты, участники хариджитских восстаний, мусульмане и иноверцы. Поистине, восстание носило всеобщий характер. В назначенный заранее день, 9 июня 747 года, в оазисе были зажжены костры, восставшие подняли черные знамена и облачились в черные одеяния. Позднее черный цвет был провозглашен официальным цветом Аббасидов.
Узнав о событиях в Хорасане, Марван II предпринял ответные действия. В 748 году ему удалось схватить Ибрахима и заточить в тюрьму, где тот был убит. Однако это уже не могло оказать существенного влияния на ход дальнейших событий, поскольку лидерство среди Аббасидов перешло к Абу-ль-Аббасу, который сумел довести до конца войну с Омейядами.
В том же 748 году Абу Муслим перешел в решительное наступление. Он двинул на запад войско во главе с военачальником Кахтабой, а другой отряд отправил на восток. Кахтаба без больших усилий овладел Нишапуром, а затем, оттеснив войско Насра ибн Саййара, – Рейем и Нехавендом. Омейядский наместник Хорасана призвал арабов к сопротивлению во имя ислама и арабского господства в Халифате, но его призыв не был услышан. «Мусаввиды» (одетые в черное) под водительством Кахтабы в 749 году вторглись в Ирак и заняли Куфу – один из главных центров антиомейядского восстания. Направив Кахтабу на запад, Абу Муслим оказался вынужденным сосредоточить все свое внимание на внутренних проблемах в восточных провинциях. Война с Омейядами еще не закончилась, а на поверхность уже стали всплывать те противоречия, которые были обусловлены пестротой оказывавших ему поддержку сил. Кальбиты были явно недовольны ходом событий, их национальные арабские чувства были задеты. Но Абу Муслим, в руках которого к этому времени уже была хорошо организованная хорасанская армия, мог позволить себе избавиться от своих былых арабских союзников, что он и сделал.
В это время в Мавераннахре, в Бухаре, вспыхнули шиитские беспорядки, вызванные подстрекательством местных шиитских главарей, которые воспользовались недовольством жителей, возмущенных жестокостями при сборе налогов теперь уже новыми, аббасидскими наместниками. Абу Муслим лично возглавил карательную экспедицию и в 750 году с большой армией вторгся в Мавераннахр, взял Бухару, сжег город, а главарей восстания приказал публично казнить. Эта расправа с шиитами была предзнаменованием будущей антишиитской политики Аббасидов. Своим поведением Абу Муслим, сам принадлежавший к шиитам крайнего толка, показал, что для него верность новой династии является приоритетом во всех его политических действиях.
Последние пять лет своего правления Марван II провел в непрерывной борьбе то с хариджитами в Мосуле, то с шиитами в Куфе, то с нубийцами, федерация племен которых в 745 году вторглась в Египет и заняла Фустат. В результате потерь в почти непрерывных войнах его войско было ослаблено и противостоять хорасанской армии уже не могло.
Однако Омейяды еще не полностью утратили способности к сопротивлению. Кахтабе понадобилось два года, чтобы окончательно добить омейядское войско. В начале 750 года аббасидская армия под командованием Абдаллаха, дяди Абуль-Аббаса, нанесла последнее и решающее поражение остаткам армии Марвана II на берегу северного притока Тигра, реки Большой Заб. Аббасиды заняли Харран, а затем вступили в Дамаск.
Последний омейядский халиф Марван II бежал в Египет. Там против него подняли восстание местные жители – копты, к которым присоединились стоявшие здесь гарнизоном арабские отряды. С остатками своих приверженцев Марван II бежал в Гизу где, по свидетельству источников, солдаты его вконец разложившейся армии бесчинствовали в расположенном поблизости женском монастыре. В конце концов Марван II был схвачен и убит. Началось поголовное истребление членов рода Омейя, и, хотя многие из них выразили готовность подчиниться новой власти, почти все они были перебиты. Правда, одному из омейядских эмиров, Абд ар-Рахману, удалось бежать из своего имения в Ираке в Северную Африку, а оттуда в Андалусию и, захватив при поддержке кальбитских племен власть в Кордове, основать там в 756 году омейядский эмират. Между тем в лагере победителей уже давно не было единства: еще до того, как Кахтаба захватил Куфу, Алиды собрались на тайный совет и постановили избрать будущим халифом Мухаммада, получившего за свое благочестие имя «Чистая душа» (ан-нафс аз-закийя), происхождением из Хасанидов (одного из потомков сына Али – Хасана). Так они надеялись предотвратить приход к власти Аббасидов и утвердиться во главе государства. Однако «переиграть» Аббасидов оказалось не так-то просто. После взятия Куфы собравшиеся в районе города преданные им военачальники единогласно решили избрать на пост халифа Аббасида, и в 749 году в главной мечети Куфы была принесена присяга сыну Мухаммада ибн Али – Абу-ль-Аббасу, а бессильные перед лицом мощной хорасанской армии Алиды вынуждены были подчиниться этому решению.