Августин не считал преследования со стороны государства обязательным признаком истинной Церкви. Но, уступая властям, донатисты чувствовали, что свернули с пути истинного. При императоре Феодосии они были поставлены перед выбором: воссоединиться с Церковью или подвергаться постоянным преследованиям. Их и заманивали, и запугивали. Сочинения и политические инициативы Августина привели к тому, что донатисты должны были либо согласиться с тем, что они будут уничтожены, либо пойти на компромисс с императорской государственной религией.
Требование императора Феодосия, чтобы донатисты подчинились государственной религии, оживило их старью предания о столкновениях с Римской империей при Диоклетиане сто лет назад. Донатисты предпочли выступить против римской власти, они поджигали католические церкви и убивали епископов. Начиная с 404 года эти два лагеря вели открытую войну друг с другом. Но за спиной Августина и католиков стоял император. А потому конец донатистов был предрешен. Император Гонорий конфисковал церкви и всю собственность донатистов и передал их католикам.
После этого к донатистам относились уже как к обычным еретикам. Сочинения Августина должны были показать справедливость преследования конкурентов. Эта борьба продолжалась до 411 года, когда Гонорий созвал в Карфагене собор, на котором Марцеллин — тот, кому Августин посвятил свой трактат «О граде Божием», — должен был выступить в качестве судьи и положить конец этой длительной борьбе, решив, наконец, на чьей стороне правда. Марцеллин недвусмысленно поддержал Августина и объявил донатистов раскольниками. Донатисты потеряли и свою собственность, и право на собрания. Книги их сожгли, дома сровняли с землей, а им самим вырвали языки и выкололи глаза. В конце концов донатисты против своей воли вернулись в pax cathoiica — «католический мир».
Если донатистские священники, вернувшиеся в лоно католической церкви, не были среди тех, кто в первых рядах боролся против религии императора, они, как правило, сохраняли свои посты. Августин предупреждал против применения насилия и отмежевывался от таких мер по установлению законности, в результате которых могли появиться новые великомученики. Он всегда проявлял мягкость по отношению к тем, кто выражал желание вернуться в лоно Церкви. После того, как борьба учений закончилась в его пользу, он считал разрыв с донатистами внутренним дисциплинарным делом Церкви.
В противоположность Оптату, Августин всегда был против того, чтобы еретикам выносились смертные приговоры. Он ясно высказывался против применения винтов, раскаленного железа и щипцов, однако одобрял наказание плетьми (Письма, 133). Евангельское сотреИе intrare — «убеди придти, чтобы наполнился дом мой» (Лк. 14,23) оправдывает положительное отношение Августина к некоторому насилию со стороны Церкви. Выражение Roma locuta, causa finita — «Рим высказался, дело закончено» — обретает у Августина тот смысл, что авторитет Церкви непоколебим (Проп. 131, 10). Выражение Salus extra ecdesiam non est «нет спасения вне Церкви» сопровождало африканскую церковь со времен сочинения Киприана «О крещении» (IV, 17).
После разгрома, учиненного Августином, донатисты продолжали существовать в виде разрозненных тайных общин. Окончательно их следы исчезли только в VII веке, после захвата мусульманами всей Северной Африки. В 391 году, когда Августин получил сан пресвитера в Гиппоне, большинство жителей города были донатистами. Августин не отличался особой терпимостью или либеральностью. Он использовал императорское стремление к укреплению власти и контроля в своих целях. Между тем именно африканская церковь, а не император, выступила инициатором созыва в Карфагене двух соборов для примирения с донатистами в 401 и 403 году. Правда, результатов они не дали. В 405 году донатисты были объявлены «еретиками». После этого они оказались бесправны, потеряли свою собственность и право на собрания. Законодательство, однако, касалось не совести и убеждений, а лишь внешних условий для отправления культа. Клеймо еретиков, наложенное на донатистов, Августин счел поддержкой, оказанной католикам Провидением.
Борьба с донатистами была отчасти борьбой за метафоры. Донатисты называли Церковь «Запертым садом, заключенным колодезем, запечатанным источником» (Песнь Песней, 4,12). Они сравнивали Церковь с Ноевым ковчегом, построенным, чтобы пережить потоп (1 Пет. 3, 20–21). При этом они постоянно подчеркивали противоречие между чистым и нечистым, истинным и неистинным, верностью и предательством. В борьбе с донатистами Августину приходилось соблюдать осторожность, чтобы случайно не проявить неуважения к Священному Писанию или к Киприану, который был главным героем у всех африканских христиан. Он мог только показывать, что донатисты ошибочно толкуют и Священное Писание, и Киприана. Сам он крайне редко позволял себе критиковать стиль Киприана (О христ. учен. IV, 14). Киприан вообще был для африканских христиан столь же непререкаемым авторитетом, как Сципион Африканский для политиков поздней республики.