Чернокнижие, магия, колдовство относились к тем обвинениям, которые вызывали животный страх. Здесь все было непонятно и одновременно понятно — всякое недомогание, болезнь разом получали объяснение и надежду на исцеление, ведь против происков нечистого, с которым связано чернокнижие, существовала всемогущая божественная помощь. Для Матвеева обвинение в чернокнижии было тем более опасно, что еще совсем недавно он отвечал за здоровье государя и его семейства. Может, оттого постоянно и недомогает нынешний государь, что прежний глава Аптекарского приказа не желал ему добра?
Перед таким обвинением даже Долгоруким пришлось умолкнуть. В мае 1677 года последовал новый приговор: Матвеев отправлялся уже не на воеводство, а в ссылку в Пустозерск — место, где под всполохами северного сияния сходились и вели нескончаемые богословские споры знаменитые «пустозерские узники»: протопоп Аввакум и его товарищи.
Опала настигла и Нарышкиных. Братья царицы, Иван и Афанасий, были обвинены в намерении отравить Федора Алексеевича и приговорены к смертной казни, которую царь заменил ссылкой. Пострадали и другие родственники Натальи Кирилловны. Однако полного торжества у Милославских все же не получилось. Нашлись защитники, которые не допустили того, чтобы имя Матвеева было вычеркнуто из боярских списков. Оно повторялось ежегодно с соответствующей пометой на полях об опале.
И. М. Милославский получил под свое начало приказы, которыми руководили Матвеев и К. П. Нарышкин. Больше того, вскоре к нему перешли Иноземный (Иноземческий) и Рейтарский приказы. В итоге в руках Ивана Михайловича сосредоточилось десять приказов! Казалось, что родственник царя, а с ним и вся «партия Милославских» овладели основными рычагами центральной власти. Но не тут-то было! Передавая Ивану Михайловичу приказы, аристократические группировки не просто откупались от него, а одновременно готовили его падение. В полученных приказах сидели враждебные Милославским люди, которые тотчас же, по словам историка В. Н. Татищева, «хитростью к жалобам на него дорогу готовить начали, чрез что вскоре явились к государю жалобы». Интрига имела успех. Милославский с репутацией не справившегося приказного судьи был оттеснен новыми фаворитами. К 1680 году он потерял почти все свои приказы.
Короткое правление Федора Алексеевича не принесло стабильности. Острым оставался вопрос о преемнике болезненного государя. Надежды на рождение наследника не сбывались. В июле 1681 года умерли от родов первая супруга Федора, царица Агафья и новорожденный царевич Илья. Удар для Федора Алексеевича был столь сильным, что он слег. Тотчас заговорили о преемнике. Кого избрать? Родного брата царя, царевича Ивана, который к физической немощи сыновей Милославской добавил еще немощь умственную? Или бойкого Петра Алексеевича, за спиной которого стояли униженные и оттого покладистые Нарышкины? Шведские источники доносят, что в Москве симпатии склонялись на сторону Петра, а «сторонники Ивана и сами называли последнего не иначе как неуклюжим бревном».
Предсказывал победу Петру и голландский резидент Келлер. Он доносил в июне 1681 года, что в случае смерти царя, очевидно, «произойдут большие изменения в управлении» и Петр, «молодой человек больших надежд и сильно любимый, займет трон». Первым следствием этого должно было стать, по предсказанию голландского дипломата, возвращение Матвеева.
Судьба, однако, отпустила Федору еще неполный год жизни. Он оправился от смерти любимой супруги. Больше того, его фавориты, неродовитые Языковы-Лихачевы затеяли в середине февраля 1682 года новую женитьбу царя, на Марфе Апраксиной, крестнице Матвеева. Так через Апраксиных они пытались сблизиться с Нарышкиными и Матвеевым и в случае очередного династического кризиса удержаться на плаву. Из этой затеи получилась одна из самых трагикомических царских свадеб в отечественной истории. Венчание проходило в затворенном Кремле, при отсутствии многих высших думных и придворных чинов. Сам немощный жених не мог стоять. Стоит ли удивляться, что очень скоро свадебные торжества сменились царскими похоронами?