Но именно такой человек и надобен был для борьбы с Голицыным. Во всяком случае, митрополит Серафим считал его истинным подвижником, чистым от мирской ржавчины, которого провидение избрало орудием для защиты православия.
А Фотий, входя все в большую доверенность к митрополиту и всячески разжигая обиды и ущемленное самолюбие владыки, при каждой встрече заводил речь о Голицыне.
— Одного аз никак в толк не возьму, владыко, — внушал ему Фотий, — как это вы дозволили сему супостату, прости, господи, мя, грешного, такую власть в церковных делах возыметь? Воссел во Святейшем Синоде, яко на троне. Вы же, ваше святейшество, и прочие митрополиты сидите у него и по десную, и по левую сторону, а он над вами, яко патриарх, высится. И обер-прокурор синодальный превращен сим князем окаянным из ока государева и простого служку министерскую. Он уже не представляет в Синоде, как встарь, царя, помазанника божиего, а токмо богопротивного министра сего. Не терпя истины господней и гоня верующих в лице избранных, скольких архиереев и архимандритов-ревнителей князь, яко вождь нечестивый, изгнал, а многих и в гроб низринул! Аз свыше, от господа извещен, что и вас, ваше святейшество, возмыслил он низложить и первоприсутствующим в Синоде Филарета сделать, — говорил Фотий, впиваясь в митрополита колючими, пронзительной синевы глазами.
Не было более верного средства подвигнуть Серафима против Голицына, нежели напомнив о его блистательном сопернике.
— Потерпи, чадо. Всем иерархам церкви православной ненавистен князь и его министерство. Но не хощет государь любящего своего отвергнуть. И не ведаю, как подвигнуть сердце царево во благо церкви христовой, — говорил Серафим с сомнением.
— Не можно терпеть боле, владыко. Пришла пора действовать во славу божию, — изрекал в ответ Фотий. — Ведь сей министр духовных дел — первый на Руси враг нашей церкви православной. Истинно вам глаголю, ваше святейшество. Он токмо и помышляет, как бы усилить на Руси развращение нравов народных. И наивернейшее средство к тому видит в распространении в ней разных книг зловредных. Книги сии под покровительством князя и его приспешников выходят свободно, раскупаются скоро и в наикратчайший срок имеют по два-три тиснения. И цензор Тимковский тоже хорош! Послушать дщерь мою духовную, девицу Анну, так в обществе все на необузданность его красного карандаша жалятся. А в угоду князю разные мистические бредни пропускает он безвозбранно. Князь веротерпимостью своей щеголяет, на словах хощет, чтобы вода в котлах не кипела, но котлы на огне держит и все более и более дров кладет под оные и огонь разжигает… Надо возвестить царя именем божиим, что может он избавить церковь нашу святую от сего супостата одним росчерком пера своего.
Подталкиваемый Фотием и Аракчеевым, митрополит Серафим к началу нового, 1823 года многого добился в борьбе с ненавистным министром. Еще первого августа 1822 года, перед отъездом на конгресс в Верону, государь рескриптом на имя министра внутренних дел графа Кочубея повелел: "Все тайные общества, под каким бы наименованием они ни существовали, как-то масонских лож, и другими, закрыть и учреждения их вновь не дозволять, а всех членов сих обществ обязать подписками, что они впредь ни под каким видом, ни масонским, ни другим, тайных обществ, ни внутри империи, ни вне ее, составлять не будут".
Ближайшие друзья и сподвижники князя Голицына по Библейскому обществу под разными предлогами отставлялись от своих постов и удалялись из столицы.
Когда архиепископ Филарет в августе 1822 года прибыл в столицу для исправления своей должности члена Святейшего Синода, митрополит Серафим встретил его весьма холодно. Он поручил ему составление Катехизиса и без ведома министра духовных дел отправил в отпуск на два года в его московскую епархию.
Был снят со всех постов и отправлен в ссылку один из столпов Библейского общества Александр Федорович Лабзин. Правда, тот-то сам был виноват. Когда в Академии художеств отбирались подписки о роспуске лож, он, давая такую подписку, сказал: "Что тут хорошего? Сегодня запретили ложи, а завтра опять их откроют. Вреда ложи не делали". А через несколько дней, тринадцатого сентября, когда на конференции Академии художеств президент Оленин предложил избрать в почетные члены графов Аракчеева и Кочубея, Лабзин отозвался, что этих людей он не знает и о заслугах их перед художествами не слыхал. Когда же ему и прочим членам Академии объяснили, что они должны избрать этих лиц, как знатнейших в государстве и особливо близких к особе государя, Лабзин, со своей стороны, как вице-президент, предложил избрать кучера Илью: "Уж ближе его к особе государя никого нет. Он, единственный в государстве, может сидеть спиной к высочайшей особе. К тому же по табели о рангах императорской лейб-кучер положен в чине полковника".