Союз Хуана Гандийского и незаконнорожденной дочери епископа — внебрачной внучки короля Фердинанда — оказался удачным. 28 октября 1510 года через год после свадьбы родился старший из их детей. Он был крещен Франциском в честь святого Франциска Ассизского, которого его мать призывала в муках. Затем слишком быстро один за другим родились еще шестеро детей, что стоило жизни их матери. Очень скоро ее сменила другая знатная дама — донья Франсиска де Кастро-и-Пиньос. На свет появились еще семеро детей: набожный герцог Гандийский был вынужден просить Церковь позаботиться о его отпрысках. Из его сыновей (кроме старшего, который был обязан унаследовать герцогство, и еще двоих — один из них стал вице-королем Каталонии, а другой умер молодым) пятеро выбрали церковную карьеру. Двое стали кардиналами, один — аббатом, еще один — архиепископом Сарагосы, явившись, таким образом, преемником своего деда и двух дядей, последний — великим магистром военного ордена Святой Марии Монтесы. Четыре дочери выйдут замуж за грандов Испании, а еще две станут аббатисами. Одна из них в Мадриде будет настоятельницей королевского монастыря Босоногих Кармелиток, а другая в Гандии возглавит обитель Бедных Монахинь, куда когда-то удалились ее бабка и тетка.
Наследник герцогства Франциск еще в ранней молодости проявил настолько чрезмерную склонность к религии, что это обескуражило даже его очень набожных родителей. Его отец, послуживший, однако, для него примером, жаловался, что своим поведением он больше напоминает священника, чем Caballero (рыцаря). Его мать — дочь архиепископа — застав его в момент религиозного экстаза, повторяла ему, что она просила Небо послать ей герцога, а не монаха. Ребенку не исполнилось и десяти лет, когда она умерла. Он настолько страдал, что решил, что виновен в этой смерти, потому что прогневал Бога. Мальчик закрылся в своей комнате и занялся бичеванием.
Спустя некоторое время спокойная жизнь в Гандийском замке была нарушена новыми событиями. Сын Жанны Безумной и покойного Филиппа Австрийского эрцгерцог Карл получил корону Кастилии, а потом стал преемником своего деда Фердинанда Арагонского, умершего в 1516 году. После избрания в 1519 году императором под именем Карла V ему пришлось уехать в Германию. Он оставил страну на своих фламандских министров, против которых восстали испанцы — знаменитые бунты Communeros (Комунерос,) в Кастилии и Germanias (Германцев) в королевстве Валенсия. Возле Гандии и Хативы развернулись жестокие сражения. Герцогу пришлось покинуть свой замок и морем увозить всю свою семью в Пеньисколу. Оттуда верхом он добирается в Сарагосу, где его принимает шурин Хуан, только что ставший архиепископом после смерти своего отца Алонсо.
Вдовый герцог собирался снова жениться и поручил прелату усовершенствовать воспитание своего старшего сына: в течение трех лет ребенок получал образование просвещенного человека и военного. Имея в своем распоряжении княжеский дом в столице, окруженный многочисленными слугами, он соответствовал рангу кузена суверена Арагона. Чтобы придать еще большее значение своим родственным связям с королевским домом, он нанес визит своей прабабке Марии де Луна, вдове Энрико Энрикеса — великого командора Леона. Старая дама жила далеко на юге, в цветущем городе Баэса в королевстве Гренада. Во дворце жили монахи из ее семьи, которых она приютила во время волнений в Гандии. Едва приехав туда, юноша тяжело заболел. Болезнь продолжалась около полугода, и все это время он должен был лежать. Во время подземных толчков Франциска вывезли из города, и он лежал на носилках посреди поля еще сорок дней, поэтому у него было достаточно времени, чтобы размышлять о бренности бытия. Но тринадцатилетнему наследнику герцога неприлично было долго учиться или уединяться в пустыне. Его нужно было представить ко двору: в соответствии с традицией он должен был стать пажем. Он уехал в Тордесильяс. Там держали взаперти несчастную королеву Жанну Безумную — она не покидала прах своего мужа. Рядом с ней была ее дочь Екатерина. Она родилась в январе 1507 года через четыре месяца после смерти отца и постоянно жила с сумасшедшей матерью. Теперь ей исполнилось 16 лет. Франциск особенно к ней привязался. Считалось, что служба в Тордесильяс была наказанием. Отнюдь — королева по-прежнему жила в роскоши. Но все события, происходившие в мире, доходили сюда в весьма сглаженном виде, а реальная власть принадлежала Карлу V — сыну королевы.