После свержения и смерти Вельского у Шуйских не могло быть сильного соперника. Однако опасность для их власти назревала с другой стороны: великий князь подрастал, и около него появлялись преданные люди. Одним из них стал Федор Семенович Воронцов – брат уже известного нам Михаила Семеновича. Шуйские решили его устранить. 9 сентября 1543 года «Андрей Шуйский и его сторонники, – пишет Иван, – явились к нам в столовую палату, неистовствуя, захватили на наших глазах нашего боярина Федора Семеновича Воронцова, обесчестили его, оборвали на нем одежду, вытащили из нашей столовой палаты и хотели убить – “за то, что его великий князь жалует и бережет”». Иван послал митрополита и бояр Морозовых уговорить Шуйских, чтобы они не убивали Воронцова. Те послушались, но повезли князя из дворцовых сеней с позором: били, толкали и отдали под стражу. Государь опять прислал митрополита и бояр к Шуйским сказать, что если уж Воронцову и сыну его нельзя оставаться в Москве, то пусть пошлют их на службу в Коломну. Но Шуйским это показалось очень близко и опасно. Они сослали Воронцовых в Кострому. «И когда, – говорит летописец, – митрополит ходил от государя к Шуйским, Фома Головин у него на мантию наступил и разодрал ее». Насилие над Воронцовым переполнило чашу терпения Ивана. Ему было уже 13 лет. Он быстро развивался физически и в свои годы выглядел сущим верзилой. Посольский приказ официально объявил за рубежом, что великий государь «в мужеский возраст входит, а ростом совершенного человека уже есть, и з божьею волею помышляет ужо брачный закон приняти». Подросток мало напоминал прежнего мальчика, росшего в неволе и строгости. За годы регентства, по словам А. Курбского, Ивана воспитывали великие и гордые бояре, стараясь друг перед другом угодить ему во всяком наследовании и сладострастии. Когда ему было лет двенадцать, он стал прежде всего проливать кровь бессловесных (собак и кошек), бросая их на землю с высоких теремов, а пестуны позволяли ему это и даже хвалили, уча отрока на свою беду. Когда Иван начал приближаться к пятнадцатилетнему возрасту, то принялся и за людей: собрал вокруг себя толпу знатной молодежи и стал скакать с нею верхом по улицам и площадям, бить, грабить встречавшихся мужчин и женщин, поистине в самых разбойничьих делах упражнялся, а ласкатели все это хвалили, говоря: «О! Храбр будет этот царь и мужествен!». Иван ненавидел Шуйских как своих постоянных обидчиков и решился на мщение за их обиды, возможно, подстрекаемый боярами. Прошло три-четыре месяца после случая с Воронцовым, и 29 декабря 1543 года Иван вдруг «велел схватить первосоветника их» князя Андрея Михайловича Шуйского, «и велел отдать его псарям, – и псари взяли и убили его, таща к тюрьме». Сподвижников Шуйского – князя Федора Шуйского, князя Юрия Темкина, Фому Головина, который позволил себе известный нам поступок с митрополитом, – сослали в отдаленные города. Люди, которые не верили, чтобы такое деяние могло исходить от малолетнего государя, говорили о князе Андрее, что «убили его псари у Куретных ворот повелением боярским, и лежал наг в воротах два часа».
Со смертью князя Андрея опалы не прекратились. Среди опальных мы видим князей Ивана и Михаила Кубенских, Афанасия Бутурлина, Петра Шуйского, Александра Горбатого, Федора Воронцова и других. Окончилось время Шуйских. Официальная московская летопись говорит, что, погубив «первосоветника», великий князь сослал его брата, князя Федора Ивановича, и других членов их правящего кружка, «и от тех мест начали бояре от государя страх иметь и послушание». Регентство окончилось. Все главные лица, введенные в него великим князем Василием, уже сошли с земного поприща. Не было в живых ни князя Михаила Глинского, ни Ивана Вельского, ни Василия и Ивана Шуйских. Оставались только второстепенные или недеятельные сановники вроде князей Дмитрия Федоровича Вельского и Михаила Федоровича Захарьина. Они не владели волею Ивана. Ближе всех к Ивану находились его дядья Юрий и Михаил Глинские с их матерью, бабушкой Ивана, княгинею Анной. Эта семья и получила влияние на дела при великом князе, еще не созревшем для управления. Прикрываясь подраставшим государем и не выступая официально, Глинские совершили много жестокостей и насилия и очень дурно влияли на самого государя.