Похоронные процессии баптистов часто подвергались и доныне еще подвергаются нападению толпы, так что участникам их часто приходилось спасаться бегством. Гроб с покойником часто бросали на улице, и толпа ругалась над трупом, пока наконец его по распоряжению полицейского урядника или пристава не хоронили.
Так как закон не признает штундистских браков, то часто новобрачную сельские власти высылали в ее родное село, иногда ночью с мужчинами.
Гонения усилились по вступлении на престол императора Александра III, когда усилилось влияние обер-прокурора Священного Синода — Победоносцева.
Первая административная ссылка была применена к Пашкову и графу Корфу за созвание ими Всероссийского съезда евангельских христиан в России. Вскоре после этого власти потребовали от них подписку, чтобы они прекратили всякое общение с сектантами, на что они не согласились, и тогда им предложено было выехать за границу, где Пашков и умер.
Затем административная ссылка все чаще и чаще стала применяться к баптистам и вообще сектантским проповедникам.
В 1886 году баптистский проповедник Леон Примаченко был сослан на 2 года под надзор полиции из деревни Усохи Могилевской губернии в г. Орск Оренбургской губернии.
Ранее других подверглись административным карам кавказские баптисты.
С прибытием в Тифлис экзарха Грузии Павла началось преследование тифлисских баптистов. Экзарх собрал сведения, по чьему разрешению баптисты собираются свободно и открыто на богослужения. Затем от баптистов-проповедников отобраны были тифлисским губернатором свидетельства об утверждении их в должности наставников и церковная печать.
Любопытен отзыв экзарха Грузии, данный губернатору 10 августа 1885 года на запрос его о баптизме и о способах борьбы с ним. Документ этот довольно пространный, и поэтому мы ограничимся лишь выпискою из него.
Экзарх утверждает, что Воронин неправду сказал, что он не знает учения штундистов, а из представленного Ворониным рукописного исповедания веры видно, что то же самое исповедание веры признается киевскими штундистами. «Следовательно, баптисты и штундисты — одно и то же», — заключает экзарх.
Далее экзарх дает такой отзыв о вредоносности баптизма: «Штундо-баптизм, если не рак, то крайне опасный лишай на теле Русской церкви и русского народа. Эта язва грозит страшными опасностями и бедствиями и церкви, и государству, если не будут приняты энергичные, целесообразные меры против этой язвы дружно и церковью, и государством. Это зло не церковное только, но и политическое, народное. Оно, быть может, опаснее для России, чем польский католицизм, потому что в народной массе, зараженной штундизмом, готовятся враги России — пособники протестантской Германии, так очевидно и с такой наглостью подготовляющей не отторжение, а простое отпадение от России к Германии наших западных и даже южных областей, заселенных немцами и ими онемечивающихся. Независимо от этого, в лице штундистских общин, образующихся по преимуществу из пролетариев, людей безземельных или малоземельных, из людей, отличавшихся ленью и дурными навыками, зарождается и растет на теле России чужеядное тело, уничтожающее все симпатии к русскому народу, к его идеалам, преданиям, верованиям религиозным и народным, вытравляющее в себе русский народный характер и пропитывающееся ненавистью и к православию, и к русской народности и постепенно вырождающееся в громадную революционную силу, уже и теперь вводящую расстройство в семейный быт, не только свой, но и православных соседей, нецерковными гражданскими браками, а со временем, по усилении, грозящую потрясениями и всем основам государственной жизни. Близорукая псевдолиберальная интеллигенция, наша, сама потерявшая русский смысл и русское чувство, видит в штундизме движение, вносящее оживление в русскую жизнь, и восторгается нравственными исправлениями, по совращении в штундизм, людей, прежде испорченных — пьяных! Какое жалкое заблуждение!»
Затем экзарх предлагает следующие меры борьбы с баптизмом: «Как видно из отношения киевского генерал-губернатора, генерал-адъютанта Дрентельна на имя г. Главноначальствующего Кавказа князя А.М. Дондукова-Корсакова, в юго-западном крае местная администрация, в виду закона, запрещающего отпадение от православия и самовольные сборища отпавших от православия, не дозволяет штундистам отправлять свое богослужение в устраиваемых ими самовольно молитвенных домах, запрещает их собрания и отбирает принадлежности их вероучения, как то: чаши, книги и т.п. и препровождает их на распоряжение подлежащей власти. Закон, запрещающий отпадение от православия, а тем более совращение православных в какие-либо секты, закон, на основании которого действует вышеуказанным образом администрация юго-западного края, обязателен для властей не только юго-западного края, но и Кавказа, и должен быть применен и здесь к нарушителям закона. И к тифлисской общине баптистов он должен быть применен тем строже, что она была признана терпимою незаконно, так как на русских баптистов закон 24 марта 1879 года, по изъяснению министра внутренних дел, не простирается, а потому и тифлисским баптистам не могло быть разрешено открытое исповедание своей веры. К незаконности их существования присоединяются еще незаконность и крайняя зловредность действования. Тифлисские баптисты ведут оживленную пропаганду именно между православными, особенно между солдатами, по преимуществу между более развитыми из них — писарями, артиллеристами. Они не только допускают, но и завлекают православных христиан, особенно солдат, как в свои богослужебные собрания, так и в места своих внебогослужебных собеседований; они, чрез Воронина, подают руку штундистам южной России. Они таким образом готовят великое зло и для Кавказа, и для всего русского народа, и, в частности, для кавказского войска, завлекая православных граждан и солдат в свои сети. Такой преступный образ действий тифлисских баптистов, при незаконности самого существования их общины, дает власти законное право и законный повод и совершенно благовидный предлог признать баптистскую общину вредной и для церкви, и для государства и закрыть ее собрания».