Най-сетне кримският хан Девлет-Гирей тръгва на поход и обсажда Рязан. Геройски отбраняваният град се съпротивлява на атаките и болярите Алексей и Фьодор Басманов, дошли с нови подкрепления, ускоряват разгрома на татарите. Но едва отстранена от юг, опасността се задава от запад. Една полско-литовска войска, командвана от Радзивил и Андрей Курбски се старае да завземе Полоцк, който наскоро е завладян от русите. Този опит, както и предишните, завършва с неуспех.
Двукратната победа на войводите би трябвало да зарадва Иван и естествено той изпраща златни медали на своите храбри командири. Но след измяната на Курбски го терзае подозрителност, която се засилва с всеки изминал месец. Въпреки екзекуциите и заточението на главните приятели на Алексей Адашев и Силвестър, той има чувството, че е обект на нов заговор. Тревожно се взира в лицата на болярите. Ако са словоохотливи, значи лъжат. Ако мълчат, значи кроят коварни планове против него. Той очаква нови издайничества и се оплаква, че получава твърде малко доноси. Митрополит Афанасий няма необходимата енергия и авторитет, за да го нахока и окуражи. Фаворитите Алексей Басманов, Михаил Салтиков, Афанасий Вяземски, Иван Шиботови мислят само как да разпалят недоверието, жестокостта и похотливостта на монарха. Внезапно в началото на зимата на 1564 г. Иван решава да напусне столицата и да тръгне напосоки, като остави на Бога грижата да чертае маршрута му. На 3 декември на заснежения Кремълски площад са се събрали много шейни. Дворцовите служители ги товарят със сандъци пълни със злато и сребро, с икони, кръстове, ценни вази, прибори, дрехи, кожи. Сякаш не става дума за обикновено заминаване, а за пренасяне в нов дом. Във Вознесенския събор, в присъствието на изумените боляри митрополит Афанасий благославя царя за едно пътуване, чиято цел никой не знае. Иван, царицата и двамата му синове на възраст седем и десет години се качват в първата шейна. Придворните секретари, няколко висши дворяни, неколцина фаворити и служители се настаняват на свой ред в шейните и се завиват добре. Придошлият народ се пита: „Къде отива царят? Защо ни изоставя? Колко ще отсъства?“ Най-сетне безкрайната колона потегля, оставяйки след себе си уплашената тълпа. Размразяването принуждава Иван да се спре за две седмици в село Коломенское. След като състоянието на пътищата се подобрява, той отива в Троицкия манастир. На Коледа пристига със свитата и багажа си в Александровская слобода, на север от Владимир.
В продължение на трийсет дни останалите в Москва боляри от Думата нямат никаква вест от владетеля си, заминал, без да остави адрес. Най-сетне на 3 януари 1565 г. офицерът Константин Поливанов донася на митрополит Афанасий две писма от Иван. В първото царят изброява безредиците, предателствата и престъпленията на служебното дворянство, на висшите дворяни и на генералите, които до един са ограбили хазната, измъчвали са селяните и са отказвали да защищават родната земя от татарите, поляците или немците.
„А когато, продължава той, воден от чувство за справедливост, аз проявявам моята омраза към тези недостойни служители, митрополитът и духовенството защитават виновните, за да не ни се харесат и за да ни оскърбят. Ето защо, с болка в сърцето, като не искаме вече да понасяме вашите коварства, Ние се отказахме да управляваме страната и тръгнахме, за да се установим там, където Бог ще ни посочи.“
Второто писмо е адресирано до „чуждестранните и руските търговци и до целия християнски народ на Москва“. В него царят заявява, че „отправя гнева си“ към болярите, духовниците и висшите дворяни, но изпитва бащинска благосклонност към обикновените хора в империята си. Секретарите на Негово Величество прочитат това послание на площада пред скърбящата тълпа. Вече нямаме цар! Възможно ли е? Не е ли тиранията по-добра от безредието. Сред множеството се чуват възгласи: „Царят ни изостави! Загубени сме! Как може да останат без пастир?“ Много бързо това отчаяние се превръща в ярост. Ако царят се е махнал от трона виновни са дворяните, които са му изменили. Магазините се затварят, къщите се напускат и поток от демонстранти се насочва към Кремъл. Те крещят от мъка и искат възмездие за виновните. Ужасен от разрастващото се недоволство, митрополит Афанасий свиква духовенството и болярите.