Переписка Армфельда обнаруживает, что он с самого начала испытывал нелюбовь к России и ненависть к русскому госсекретарю. Он писал о Сперанском: «Странная личность, которая иногда возвышает нас, а подчас дает нам чувствовать нашу зависимость. К тому же он всегда считает пустяками то, что касается Финляндии». И еще: «Сперанский имеет громадную власть; он удивительно умен и хитер, но так же самолюбив, как и невежествен; жаждущий того, что дает только внешний вид счастья, он не способен постигнуть того блага, которое ведет к спокойствию души. Он боится быть понятым и потому надевает на себя тысячу масок: иногда он гражданин и хороший подданный, иногда ярый фрондер, употребляющий все усилия, чтобы убедить публику в своих талантах, и не обнаруживающий своих сил…»
Как ближайший советник императора Александра, умный человек и знаток своего дела, Сперанский мешал Армфельду проворачивать свои делишки, и в этом таилась главная подоплека ненависти к нему со стороны шведского барона. На почве данной ненависти с Армфельдом быстро сошелся давний враг Сперанского барон Густав Розенкампф.
К этому дуэту присоединился министр полиции Александр Дмитриевич Балашов. В марте 1808 года он был назначен санкт-петербургским обер-полицмейстером, через два месяца стал в дополнение к основной своей должности исполнять в столице обязанности военного губернатора. 1 января 1810 года сорокалетний генерал-лейтенант Балашов был назначен, по представлению Сперанского, членом Государственного совета. 25 июля того же года он был поставлен во главе Министерства полиции, учрежденного на основании Манифеста «О разделении государственных дел на особые управления…». В то время Михайло Михайлович не знал, кого он возвысил. Свои отрицательные свойства Балашов проявил в полной мере лишь после того, как стал руководителем Министерства полиции.
По словам В. П. Кочубея, Балашов превратил этот орган в «министерство шпионства». Город наполнился шпионами всех мастей — наемными шпионами, русскими и иностранцами, шпионами-друзьями, сплошь и рядом переодетыми полицейскими офицерами, причем в переодевании, как говорят, принимал участие и сам министр. Эти агенты не ограничивались тем, что стремились узнавать новости и давать возможность правительству предупреждать преступления; они старались создавать преступления и возбуждать подозрения. Они вступали в откровенные разговоры с людьми различных классов, «жаловались» на государя, «критикуя меры правительства, лгали, чтобы вызвать такие же откровенные заявления или жалобы». Картежный шулер в молодые годы, Александр Балашов, получив в свое распоряжение полицейскую власть, стал заниматься поборами и вымогательством взяток. Сперанский, стремившийся установить контроль за деятельностью министров, прямо угрожал его положению, приносившему ему столь большие выгоды. Чтобы отвести от себя данную угрозу, Балашов пустился в интригу.
Направлявшаяся умелой рукой, разработанная до мельчайших подробностей интрига против Сперанского строилась с учетом особенностей характера императора. Сколько бы ни говаривал Александр в молодые свои годы о желании ограничить самодержавную власть, а то и вообще отказаться от нее, удалившись из России в тихую жизнь частного европейского обывателя, не мог он заставить свое окружение поверить в серьезность подобных высказываний. Слишком неправдоподобным казалось, что кто-то в человечестве, которого всю историю должно обозначить одним выражением «борьба за власть», может вдруг отказаться от абсолютной власти, самим небом ему посылаемой. Да и вполне было заметно в характере Александра нечто такое, что никогда, ни в коем разе не могло позволить ему исполнить это странное желание.