Альба происходил из древнего дворянского рода. Гордые Альбы вели свой род от византийской императорской династии Палеологов, которая правила в Константинополе еще с X века. Вильгельм Оранский впоследствии в сочинениях в свою защиту не отрицал, что подверг опале семьи многих испанских грандов, в том числе и Альбы, из-за родственных связей с восточными домами. Предка Альбы мы находим среди кастильских завоевателей города Толедо в 1085 году. С этого момента они играют одну из ведущих ролей в истории своей страны. Они поселились в провинции Саламанка. В первой трети XII века уже жили в Толедо, название которого впоследствии присоединено ими к своему титулу. В начале XIV века из их семьи вышли высшие должностные лица города Толедо, в середине того же века — гроссмейстер знаменитого ордена Сантьяго и дворецкий королевы.
В следующем столетии семья унаследовала город Альба-де-Тормес и получила графский титул, а в следующем поколении (в 1472 году), после бракосочетания представителя рода Альба и свояченицы короля Фердинанда Католического, король Кастилии присвоил графу Гарсиа Альваресу титул герцога Альбы. Второй герцог, дон Фадрике, зарекомендовал себя как мудрый государственный деятель и верный слуга короля в тяжелые времена посте смерти Изабеллы, когда Фердинанд был отстранен от управления Кастилией. Однако он проявил определенную сдержанность по отношению к внуку Фердинанда, Карлу Габсбургу, когда тот вступил в права наследования.
Фернандо Альбе пришлось служить Карлу в течение всего периода его правления, когда на него позднее лег двойной груз правления германской и испанской коронами.
Жизнь Альбы пришлась на последний период расцвета германской императорской власти, начало подъема мощи западных держав, он был свидетелем могущества католической церкви и необратимых духовных изменений эпохи Возрождения и Реформации; он хранил в сердце старую Испанию, выполняющую свою собственную миссию, и вместе с тем служил новой величайшей мировой империи. Не в пример Карлу V или Франциску I Французскому, или Генриху VIII Английскому, или их главным советникам он пережил первую половину столетия, которое завершило Средневековье. И не в пример Генриху IV Французскому, Филиппу Испанскому, Вильгельму Оранскому, Елизавете Английской он встретил вторую половину, которая возвестила приход Нового времени. Долгая жизнь дала ему возможность, кто знает, к счастью или несчастью, пережить и то, и другое, будучи в старые времена молодым, а с победой нового — старым.
Родившийся в Пьедраите, в провинции Авила, мальчик провел свои первые годы преимущественно в замке Альба де Тормес, недалеко от Саламанки. Позднее он был привезен в огромный старый сарацинский замок в Абадии, южнее Альба де Тормес, принадлежавший семье. Его воспитанием занимался дед. Отец Гарсия, сын дона Фадрике, давно пал в боях с маврами на острове Герба, вблизи тунисского побережья. Мать, донья Беатрис Пиментель, дочь графа Беневента, не оказывала на сына заметного влияния.
Век предъявлял высокие требования к мышлению, знаниям, воспитанию и живости ума человека. Нужно было бегло изъясняться по-латыни и по-французски, иметь глубокие познания в арифметике и истории, чтобы сохранить уважение и достоинство. Разумеется, сюда же относились глубокие знания в теологии и догматике. Поэтому тщательное и углубленное изучение этих предметов не миновало молодого Альбу, рано проявившего зрелость мышления. Специально для мальчика были приглашены несколько учителей, среди них — знаменитый гуманист и философ Хуан Луис Вивес и поэты Хуан Бос-кан и Гарсиласо де ла Вега. То, что герцог Альба, известный впоследствии своей суровостью, в молодости под их руководством посвящал себя музам и писал стихи, что, впрочем, лучше удавалось одному из его предков, было скорее результатом воспитания, чем природного дарования.
Однако на первом плане в воспитании мальчика стояла военная подготовка. Дон Фадрике, насколько ему позволяло время, лично занимался этим. Дед использовал даже игры мальчика с ровесниками, чтобы разъяснять военные правила и тактические приемы. Иногда он даже сам принимал в них участие, объяснял, поправлял, хвалил и порицал. Когда в 1515 году дон Фадрике был назначен главнокомандующим в войне против французов, чтобы присоединить Наварру к Испании, он взял с собой в военный лагерь семилетнего внука, где маленький Фернандо получил свои первые впечатления. Предприятие увенчалось успехом; было завоевано все, что находится на Иберийском полуострове южнее Пиренеев, и мальчик впервые увидел триумф испанского оружия.