Как-то раз ко мне пришел исповедник Филиппа фра Диего де Чавес и передал требование короля прекратить враждовать с Баскесом. Я устал от вражды и дал свое согласие, но выставил одно условие: «Баскес должен взять свои слова обратно!» С этим Чавес и отправился к моему врагу, а затем к королю. Что сказал Баскес королевскому исповеднику, что он мог еще добавить к слухам о моих отношениях с Анной, — я не знаю. Но с этого дня отношение короля ко мне изменилось окончательно, тон его писем перестал быть дружеским, он отказывал мне в аудиенции. Я не выдержал и написал о своем отказе от судебного иска против Баскеса. В письме я постарался уверить его, что если он сам простил оскорбление, нанесенное нам обоим, то и я могу оставить его без внимания. В заключение я просил позволения удалиться от дел и уйти в отставку. Я сам уже пришел к такому выводу, да и Анна со слезами на глазах просила об этом в нашу последнюю встречу. Она послала за мной, и я, понимая, что совершаю непоправимую ошибку, не выдержал и откликнулся на ее зов. Анна была бледна и печальна. Я провел у нее несколько часов, утешая ее. Но все было напрасно — Анна была убеждена, что все кончено, мы погибли. Ее приводила в отчаяние мысль, что всему виной ее неосторожность и безрассудство.
Я принял необходимые меры, чтобы мой визит к Анне остался незамеченным. Но, по-видимому, за мной следили более пристально, чем я предполагал. Филипп, терзаемый муками ревности и жаждой мести, мог расставить своих шпионов повсюду. Покидая в тот день свою возлюбленную, я не мог и предположить, что вижу ее в последний раз. В ту же ночь именем короля я был взят под стражу в своем доме. Формальным поводом для ареста явился мой отказ пойти на мировую с Баскесом. Король в это время находился в Мадриде, о чем я до ареста и не подозревал. Он прибыл в столицу, чтобы лично присутствовать при другом аресте. В ту же самую ночь, стоя на паперти кафедрального собора Святой Марии, он наблюдал за тем, как альгвасилы вошли в дом герцогини Эболи и как Анна, закутанная в темную шаль, вышла под конвоем и села в карету, увезшую ее в крепость Пинто. Анна содержалась в этой крепости в течение нескольких месяцев, а потом ее отправили в далекую Пастрану в пожизненную ссылку. Но обо всем этом я узнал много позже.
Я же в течение четырех месяцев содержался в тюрьме без предъявления каких-либо обвинений. Мое здоровье сильно пошатнулось, и через четыре месяца меня перевели в мой собственный дом, где держали еще восемь месяцев под усиленной охраной. Напрасно мои друзья и родные хлопотали за меня перед королем, просили предать меня суду или вернуть свободу. Король всякий раз отвечал, что дело это особого рода и спешка ни к чему.
Летом 1580 года Филипп отправился в Лиссабон для вступления в права владения португальской короной, доставшейся ему по наследству. По его возвращении моя жена явилась к нему с ходатайством за меня. Но король не принял ее, и я продолжал находиться под домашним арестом. Миновал год со дня моего ареста. Я дал письменное обещание об отказе от вражды с Баскесом, и спустя некоторое время мне предоставили относительную свободу. Я мог выходить из дома, принимать посетителей, но сам никого посещать не имел права, и выезжать за пределы Мадрида мне было запрещено. Так прошли недели и месяцы. Баскес, а с ним и его партия вошли теперь в полную силу. Теперь он занимал ведущее место в Королевском Совете. Его стараниями в 1584 году меня привлекли к суду по обвинению в мздоимстве и растрате. К тому времени был схвачен Энрикес, и он был готов давать показания по делу об убийстве Эсковедо. Но в предъявленном мне обвинении об убийстве не упоминалось ни слова.
Меня обвиняли в чрезмерной роскоши, во взяточничестве, в расхищении государственной казны. Филипп не осмелился судить меня за убийство, ибо знал, что в моих руках находятся письма, неопровержимо свидетельствующие о его причастности к нему. Суд приговорил меня к двум годам тюрьмы с последующей десятилетней ссылкой. Кроме того, мне следовало уплатить в королевскую казну двадцать миллионов мараведи — именно в такую сумму оценивался ущерб, который, якобы, я ей нанес. В моем доме произвели обыск. Я прекрасно понимал, что искали слуги короля. Но еще задолго до ареста были приняты необходимые меры: письма и бумаги, компрометирующие короля, я упаковал в небольшие кованые ларцы и спрятал в надежном месте. Бумаги были в безопасности и ждали своего часа. Не найдя писем, Филипп не решился спустить с цепей псов, требующих моей смерти за убийство Эсковедо.