Особую значимость Ягужинскому придавали его дружеские отношения с Бироном и братьями Левенвольде — графом Карлом Густавом и графом Рейнгольдом Густавом. Их имена как влиятельных советников начинающей императрицы упоминают все дипломаты. Особенно заметен был старший брат Карл Густав — человек, по словам французского дипломата, «смелый и предприимчивый». Во времена Петра II он был камергером, к тому же, по некоторым данным, являлся дипломатическим резидентом Курляндского герцогства в России. Сразу же после провозглашения Анны императрицей Карл Густав, так же как Ягужинский и Феофан Прокопович, послал курьера с письмом обо всех обстоятельствах этого избрания своему брату Рейнгольду Густаву, который жил в это время в своем лифляндском имении и, как утверждают некоторые авторы, был близок Анне. Тот, естественно, помчался в Митаву с вестью о происшедшем в Москве, успел туда раньше, чем посланец Феофана, и все рассказал герцогине. Рейнгольд Густав был личностью, известной при дворе: после казни в 1724 году любовника Екатерины I Виллима Монса и смерти Петра I он стал фаворитом Екатерины I, осыпавшей симпатичного лифляндца наградами и чинами. Время Петра II он пересидел в уже упомянутом лифляндском поместье. Анна не забыла службы, оказанной ей братьями, и сторицей их вознаградила. Люди чрезвычайно опытные и знающие придворный мир русского двора, они были незаменимыми советниками Бирону.
Именно эта компания — Бирон, братья Левенвольде и Ягужинский — поначалу активно интриговала против Остермана, и летом 1730 года все иностранные дипломаты пророчествовали о скором падении бессменного фактического руководителя внешнеполитического ведомства России. Однако к 1731 году ситуация вновь изменилась: импульсивный Ягужинский, недовольный своей подчиненной ролью, постепенно отстает от компании Бирона и братьев Левенвольде. Остерман же, напротив, пользуясь своим государственным дарованием, знаниями и умением интриговать, да и просто тем, что он говорил с Бироном и Левенвольде на одном языке, находит путь к сердцу временщика и попадает в Кабинет министров, тогда как Ягужинский остается не у дел. Одновременно Остерман вступает в альянс с Минихом, усилившимся благодаря своим услугам императрице на поприще политического сыска, так что в ноябре 1731 года наблюдатели называют их «закадычными друзьями».
Ягужинский, чье значение как генерал-прокурора Сената после образования Кабинета, естественно, резко упало, начинает очередной в своей жизни «бунт», позволяет себе различные оскорбительные выходки и в ноябре 1731 года так обижает своего тестя — канцлера Головкина, что тот жалуется на зарвавшегося генерал-прокурора императрице. Уже отодвинутый к этому времени на второй план и утративший дружбу своих вчерашних закадычных приятелей — братьев Левенвольде, Ягужинский неблагожелательно высказывается о засилье немцев при дворе, хотя до этого проблема иноземного засилья его почему-то не волновала. Эти язвительные высказывания Ягужинского, угрозы Кабинету, публичное осуждение «доверия, которое царица имеет к иностранцам, управляющим делами», и многие другие неосторожные речи и стали причиной его срочной командировки в качестве посланника в Берлин.
Некоторое время на роль первого советника претендовал Миних, с триумфом встретивший императрицу в Петербурге и получивший чин генерал-фельдмаршала. Он участвует в заседаниях Кабинета министров и в своих позднейших мемуарах даже называет себя его членом. Но прямолинейный и властный стиль Миниха не мог понравиться Бирону и Анне, и уже к 1732 году Миних портит отношения со всеми своими сотоварищами по Кабинету, а Остерман, постепенно приучавший к себе Бирона, уже не является, как раньше, приятелем свежеиспеченного фельдмаршала. Андрей Иванович, по наблюдениям дипломатов, избегал объятий Миниха и открыто делал ставку на Бирона, которого, выражаясь языком того времени, усиленно «ласкал». Все ждали момента, когда Миниха можно будет задвинуть на второй план. Начавшаяся в 1733 году война за «польское наследство», а затем русско-турецкая война облегчили эту задачу — великий полководец был нужен на поле брани!