Положение Милославских было определеннее. Во-первых, в жилах нового царя текла доля их крови. Во-вторых, за двадцать лет жизни царицы Марии Ильиничны они успели прочно обосноваться в придворной среде и обрасти связями. Это имело свои преимущества, как, впрочем, и недостатки: Милославские всем надоели, и их уход в тень после второй женитьбы царя не многих огорчил. Боярина И. Б. Милославского отправили «корыстоваться» воеводой в Казань, а окольничий Иван Михайлович Милославский, самый тщеславный и злопамятный, поехал на ту же должность в далекую Астрахань. Удаление из Москвы было не без основания отнесено Милославскими на счет Матвеева и Нарышкиных. Поквитаться с первым в перспективе становилось делом чести, возможностью показать всем возвращенную силу. Но при жизни Алексея Михайловича это сделать было невозможно. Оставалось копить ненависть и ждать подходящего случая.
Кто же тогда определял ход событий в 1676 году? Ни Милославские и уж тем более не Нарышкины, а Боярская дума, в которой выделилось несколько аристократических группировок. Прочные позиции при дворе занимали Одоевские во главе с одним из «отцов» Соборного уложения, князем Н. И. Одоевским, а также Долгорукие, особенно князь Юрий Алексеевич. Влиятелен был боярин Б. М. Хитрово, сын которого, Иван Богданович, был «дядькой» молодого государя. Большинство Долгоруких, Одоевских, Хитрово ходили при Алексее Михайловиче в «ближних людях» и сидели на думских скамьях. Их окружали многочисленные родственники и свойственники. Эти боярские кланы ревниво следили друг за другом и стремились не допустить чрезмерного усиления соперников. Но при необходимости они умели объединяться.
Смерть Алексея Михайловича открыла возможности для перераспределения сфер влияния. Первым пострадал А. С. Матвеев. Уже 1 февраля он передал Аптекарский приказ князю Н. И. Одоевскому. В этом была своя символика: не царский родственник и не фаворит, а самый старый и авторитетный представитель думы отныне ответствовал за приказ, который ведал драгоценным здоровьем монарха.
Отстранение Матвеева от Аптекарского приказа — еще не крушение. Худородного Матвеева ставила на «место» аристократия. Но те же родовитые кланы вовсе не спешили с возвращением из Астрахани всеми не любимого И. М. Милославского. Удар как бы наносился по старой и новой родне покойного государя, чрезмерные претензии которой вызывали у знати сильные опасения. В этом смысле Матвеев, как соперник И. М. Милославского, был даже необходим придворным группировкам. Он уравновешивал Милославских, служил своеобразным громоотводом, принимающим на себя все их удары. В итоге, хоть и стесненный, Артамон Сергеевич остался у власти, но не из-за симпатий или признания его выдающихся способностей, а по причине прозаического политического расчета — так было до поры до времени выгодно.
О переменах в Кремле тотчас узнали иностранные дипломаты. В начале февраля голландский посол Кленк поспешил известить свое правительство, что «кредит господина государственного канцлера (А. Матвеева. — И.А.) сильно уменьшился» и «наибольшее влияние между господами государственными советниками» приобрел Ю. А. Долгорукий. Впрочем, Долгорукий вовсе не собирался сильно теснить Матвеева, с которым у него были дружеские отношения. Вскоре голландский посол проведал, что управление останется без изменений и при Федоре. Это значит, что аристократические группировки предпочли сохранить статус-кво, которое установилось еще при втором Романове.
Ситуация изменилась лишь через полгода. По-видимому, откладывать возвращение в Москву родственника царя, И. М. Милославского, стало просто невозможно. Появление же его при дворе сломало сложившееся равновесие. Пожалованный в бояре, Иван Михайлович претендовал на власть и жаждал отмщения Матвееву и Нарышкиным. Самым естественным для придворных партий в этой ситуации оказалось пожертвовать Матвеевым. Уход его с политической арены успокаивал Милославских и одновременно освобождал для них приказы.
В то же время дума вовсе не хотела пролития крови «великого Артемона». 4 июля 1676 года Матвеев был назначен воеводой в далекий, захолустный сибирский городок Верхотурье. Можно лишь только догадываться, что пережила по этому поводу царица Наталья Кирилловна. Конечно, здесь было и сочувствие ставшему почти родным Матвееву, и страх за себя.
Но оказалось, что настоящие страхи еще впереди. Такое падение любимца Алексея Михайловича никак не устраивало мстительного И. М. Милославского. Ему надо было полное крушение своего недруга. В думе начались борьба за Матвеева и… обуздание его гонителя. Ю. А. Долгоруков поднимал вопрос о возвращении опального канцлера. Милославские, которые нашли поддержку у Б. М. Хитрово, выступали против. При этом они искали способ, с помощью которого можно было навсегда заставить замолчать защитников Артамона. Так появились доносы о чернокнижии Матвеева.