Действующий всегда путем убеждения, бескорыстный Талавера был прямой противоположностью жадному интригану Люсеро. Арестовав какую-то женщину по обвинению в том, что она устроила в своем доме синагогу, и подвергнув ее пытке, Люсеро вырвал показания против Талаверы. Суть этих показаний сводилась к тому, что Талавера устраивал в архиепископском дворце собрания, где говорили о скором пришествии на землю Мессии для замены христианства иудейством. Вслед за этим в гранадской церкви, прямо во время богослужения, в присутствии самого Талаверы были схвачены его племянник — настоятель собора и некоторые церковные служители, затем, уже в архиепископском дворце, были арестованы сестра Талаверы, его родственницы и вся его челядь. Одно это уже бросило тень подозрения на архиепископа: раз все ближайшие лица к нему обвиняются в ереси, то и он сам не может быть совершенно чистым. Но так как вся деятельность инквизиции строилась на свидетельских показаниях, то они и стали насильно вырываться у арестованных родственников Талаверы. В письме Фердинанда (9 июня 1506 года) к Франсиско де Рохасу, королевскому послу в Риме, сказано, что основанием к обвинению Талаверы в иудаизме послужили показания его сестры, близких родственников и прислуги. Правдивость этих показаний, по мнению Люсеро, не подлежала никаким сомнениям, и инквизитор, который не мог без специального разрешения папы арестовать архиепископа, просил Фердинанда сделать в Риме через де Рохаса необходимые для этого шаги. Рохасу удалось получить разрешение папы на преследование Талаверы. Но как раз в этот момент власть в Кастилии перешла к Филиппу Красивому, на сочувствие которого так рассчитывали кордовцы.
Филипп не был принципиальным противником инквизиции, он вообще не имел четких принципов. Любитель женщин, живой и легкомысленный красавец Филипп мало заботился о делах государства своей жены Хуаны. Если он вмешивался в дела Кастилии, то только для того, чтобы насолить ненавистному тестю, которому, по-видимому, не мог простить того, что он наделил его ревнивой женой. Уже одно сочувствие Фердинанда инквизиции делало ее нежелательной в глазах Филиппа; кроме того, Филипп не забыл, что инквизиция не обратила внимания на его эдикт; наконец, он понимал, что мараны и другие жертвы инквизиции охотно заплатят ему, если он их освободит от угрозы инквизиционного трибунала. По всем этим причинам жалобы кордовцев на Люсеро нашли у Филиппа сочувственный отклик и были немедленно приняты к рассмотрению. Это представляло опасность для всей деятельности инквизиции в Кастилии, и Супрема поспешила отречься от Люсеро. В письме Супремы капитулу Кордовы говорится, что обвинения, выставленные против Люсеро, невероятны: ведь даже разбойник на большой дороге удовлетворяется кошельком своей жертвы, щадя ее жизнь, Люсеро же похищает у жертвы и жизнь, и деньги, и даже честь. Лишенный покровительства духовной власти Люсеро, казалось, уже погибал; он попытался отправить всех узников инквизиционной тюрьмы, которые были свидетелями его преступлений, на костер, но это ему не удалось. Свобода его висела на волоске, но в этот момент (25 сентября 1506 года) умер Филипп Красивый.
Люсеро воспрянул духом и продолжил свою деятельность как ни в чем не бывало. В ответ на это 9 ноября толпа ворвалась в залу заседаний инквизиции и захватила нескольких служителей трибунала; самому же Люсеро удалось бежать. Были освобождены все арестованные и отправлена депутация к королеве с просьбой сместить Десу и предать суду Люсеро и всех его сотрудников. К королеве, однако, депутацию не допустили, а Деса обратился к бывшему в то время в Италии Фердинанду с просьбой взять под свое покровительство Люсеро. Папа, со своей стороны, издал буллу, в которой приказывал Десе разыскать всех участников оскорбления инквизиции и должным образом наказать их. Люсеро, таким образом, праздновал победу. Теперь и Талавера не должен был ускользнуть из его рук. Архиепископ предстал, с разрешения папы, перед судом инквизиции, который признал его виновным и отправил протоколы процесса в Рим для вынесения окончательного решения. Римская курия, однако, пришла к выводу о невиновности Талаверы и всех его арестованных родных, но эта радостная весть не застала уже архиепископа в живых. Он умер, не перенеся оскорблений.
Но и даже после этого Люсеро удержался на своем месте; его деятельность решено было расследовать лишь после смены великого инквизитора. 9 июля 1508 года комиссия под председательством великого инквизитора Хименеса вынесла вердикт, гласивший, что Люсеро безосновательно выносил обвинительные приговоры, а так как все эти обвинения ложны, то томящихся в тюрьмах по вине Люсеро узников следует выпустить на свободу, акты об их мнимых преступлениях уничтожить и разрушенные дома восстановить за счет правительства. Впрочем, это не означало осуждения самого Люсеро. Фердинанд всячески стремился смягчить его участь; он отправил адвокату Хуану де Ордунье письмо, прося его защищать Люсеро и следить, чтобы тому не было причинено какое-либо оскорбление. Давление короля сыграло свою роль, и все наказание Люсеро свелось к смещению с поста инквизитора Кордовы. Если столь скомпрометированные люди, как Люсеро, отделывались легким наказанием, то что говорить об остальных?