Еще до Испании своеобразное поведение жены стало для Филиппа обузой. Во Франции, проездом в Испанию общаясь с королевской четой, она вела себя крайне странно, оставив о себе весьма неблагоприятное впечатление. Филипп больше не старался потакать причудам Хуаны, обращаясь с ней как с душевнобольным человеком, и пытался от нее избавиться. Он без оглядки предавался радостям жизни и открыто развлекался с красивейшими девушками на глазах у болезненно ревнивой жены. Если Хуана приходила в ярость из-за поведения мужа, он приказывал удалить супругу подальше от него. Плохие отношения между Филиппом и Хуаной стали достоянием испанской общественности. И так как Хуана являлась дочерью всеми почитаемой королевы Изабеллы, подобное обращение Филиппа с женой вызвало огромное возмущение в широких слоях населения. Голоса в защиту прав супруги, становившиеся все громче, не слишком волновали Филиппа: он намеревался в ближайшем будущем доказать, что Хуана в самом деле душевно больна.
В течение восьми лет Хуана произвела на свет шестерых детей, четверых дочерей и двух сыновей — Карла и Фердинанда; оба в свое время должны будут стать императорами и наследовать мировую империю. Вскоре после провозглашения Хуаны и Филиппа королями Кастилии Филипп ясно понял: борьба с Фердинандом за власть в Кастилии неизбежна. Чем больше возникало противоречий с тестем, чем безумнее вела себя Хуана, тем плотнее он окружал себя толпой наемных солдат. Он избегал прогулок без охраны, перемещаясь по стране в боевом порядке.
Молодой король попал в непростую ситуацию. С одной стороны, назначение регентом в Нидерландах обязывало его заботиться о законе и порядке в стране, еще не оправившейся от продолжительной войны, с другой — он пытался получить в единовластное правление Кастилию. Филиппу и Хуане приходилось совершать длительные и опасные поездки, причем путь через Францию был всегда открыт для них, ведь Филиппа связывали дружеские узы с французским королем. Он дал Людовику XII клятву ленника, возмутив тем самым своего отца Максимилиана до глубины души. Но иногда более целесообразным казался морской путь в Испанию, во время которого Филипп и Хуана не раз подвергали свои жизни опасности. Суда выносило к английскому берегу. Потерпевшие кораблекрушение были обязаны жизнью мужеству моряков. Английский король Генрих VII знал свое дело. Хотя он и принимал спасенных путников гостеприимно, но, убаюканный непрерывными развлечениями, Филипп в конце концов заплатил за гостеприимство высокую цену: он подписал торговый договор, оказавшийся крайне убыточным для Нидерландов.
Многочисленные личные увлечения, а также стремление к жизни, полной роскоши и удовольствий, часто уводили Филиппа от жестокой реальности. Многие из своих начинаний он не закончил и поэтому не сумел достичь поставленных целей. Прежде всего, отношения с женой стали для него тяжким грузом, который он всеми путями старался сбросить. Из-за этого Филипп занял опасную для собственной жизни позицию: сделал злейшим врагом не только тестя, после смерти супруги женившегося на юной Жермен де Фуа и надеявшегося на рождение сына в этом браке, а также затеял ссору с представителями инквизиции — деяние похвальное, но таившее много опасностей для самого Филиппа. Будучи человеком, воспитанным свободным и привязанным к этому миру более, чем к небесам, Филипп не мог разделять идеи инквизиции, и прежде всего ее способы дознания. Но высказавшись против суда, за короткое время ставшего сильным фактором власти, он вызвал враждебное отношение к себе со стороны влиятельных людей. Его участь в Испании была предрешена. Вопрос, умер ли он естественной смертью, является предметом дискуссий на протяжении столетий. Когда в стране начал назревать серьезный кризис, стали формироваться различные партийные группировки и возникла угроза гражданской войны, абсолютно здоровый до сего времени король внезапно заболел. Уже в те времена долго не утихали слухи, что короля отравил его тесть. Большую роль в этом сыграли предостерегающие письма, полученные Филиппом за три месяца до смерти. Филипп определенно не стал бы испуганно прислушиваться к советам доброжелателей. До сего времени он не встречал настоящих опасностей — в отличие от Максимилиана, не раз бывавшего раненным в боевых схватках и появлявшегося в обществе, как правило, в надежном нагрудном панцире под рубахой. Приложил ли Фердинанд руку к смерти зятя, неясно до сих пор, ведь в те времена в Испании свирепствовали многочисленные смертельные болезни, возможно, Филипп заразился одной из них. 23 сентября 1506 г. единственный законный сын Максимилиана умер в возрасте двадцати восьми лет. Он оставил после себя растерянную беременную супругу, пребывавшую в полном отчаянии, обезумевшую от горя. Хуана отказалась предать тело мужа погребению и, забальзамировав его, девять месяцев повсюду возила с собой, покуда женщину не взяли под арест в монастыре Тордесильяса.