Самым трудным при таких обстоятельствах было поддержание дисциплины, особенно среди вельмож. Они прибывали с целой толпой обслуги, пажей, камергеров, поваров и дам. Тот, кого не устраивало распоряжение герцога об ограничении свиты, отсылался домой. Отослать всех — этого не мог потребовать даже сам Альба. Лишний багаж нужно было отправить назад, а оружие, которое охотно оставляли дома, нужно было везти с собой, как и артиллерию с боеприпасами.
Подготовка, проведенная Альбой, была большим достижением, однако судьбе было угодно, чтобы она стала практически напрасной, ведь Карл поставил задачу не только обороны страны, но и подготовки нового нападения на турок, которое оказалось неудачным На этот раз нужно было завоевать Алжир. Вероятно, виновата не постановка задачи, а момент, выбранный для ее осуществления. В середине октября 1541 года, когда погода была уже неблагоприятной, герцог получил приказ выйти в море.
Следуя приказу, Альба отправился на африканское побережье и там с пятью тысячами человек ожидал флот Карла. Однако когда Карл прибыл с двадцатью тысячами человек, осенние бури в течение нескольких дней не давали возможности высадиться на берег. Когда люди наконец высадились, бури воспрепятствовали выгрузке провианта и артиллерии. Голодным и беззащитным солдатам пришлось выдерживать натиск мавров. Буря усиливалась, удержать позиции было невозможно, и после трех мучительных дней войско вновь с трудом погрузилось на суда. От предприятия пришлось отказаться. На обратном пути ураган привел к новым жертвам; разбитый в пух и прах, Карл V достиг берегов Испании 1 ноября.
Роль герцога Альбы во время военных действий в Африке весьма незначительная. Он не был рядом с императором, когда принималось решение о нападении, не участвовал в командовании операцией, поскольку лишь часть испанской армии была высажена на берег. Он не давал команды возвращаться, поскольку Карл не назначал его руководить операцией. Лишь один голос прозвучал против — завоевателя Мексики Эрнана Кортеса. Он уже пережил трудности подобного рода, испытал большие опасности и нашел выход. Эрнан вызвался с частью войска в Африке вести войну на свой страх и риск. Однако Карл ответил вежливым отказом. Возможно, был упущен великий момент. Кортес умер шесть лет спустя, в ожесточении и, как Колумб, одиночестве.
Лишь один Альба вернулся, чтобы пожинать лавры. Его подготовка и строгость в отношении испанского дворянства нашли полное понимание у императора. Еще на побережье Алжира он получил высший пост королевства — верховного камергера.
Карл V сразу же учел неудачу своей экспедиции, за которой последовал ответный удар французов и турок в следующем году. Поэтому первой его заботой после возвращения стало укрепление северных границ Испании. При этом речь не могла идти ни о ком кроме Альбы. Лишь два месяца были отпущены герцогу для пребывания дома. В начале января, в разгар зимы, ему пришлось уехать, чтобы обеспечить необходимые приготовления. Его основное внимание было направлено на небольшую провинцию Руссильон и город Перпиньян, расположенные на Средиземном море, севернее Пиренеев.
Герцог заложил укрепления, обеспечил защиту границы и в самых важных пунктах разместил войска. Когда Карл послал прежнего начальника герцога времен Фуэнтеррабиа, дона Иникеса де Веласко, для поддержки, а возможно, и для контроля в Наварру, последний вскоре возвратился, заявив, что поскольку все так превосходно организовано, ему нечего было там делать.
В апреле 1542 года герцог вновь появился при дворе и занял в качестве советника по внешней политике первое место при наследнике престола, но уже через три месяца ему пришлось уехать: пришло известие о вступлении в Перпиньян французских войск под командованием дофина. В сопровождении Филиппа Альба прибыл на границу, где ему вначале удалось помешать дофину блокировать Перпиньян со всех сторон, а затем сдерживать французскую армию до самой осени, когда потоки дождя свели на нет все ее усилия.
Увенчанный новой славой, завоеванной на глазах будущего властителя, Альба возвращается домой и сопровождает двор в Барселону, Валенсию, Бургос и другие места, где все сословия приносили принцу как будущему королю присягу на верность. Когда в начале 1543 года Карл отбыл в Германию, Альба остался при Филиппе верховным комендантом всей Испании, защитником севера и побережий и военным советником. На состоявшемся в том же году бракосочетании Филиппа с португальской инфантой Марией он выполнял обязанности распорядителя и вместе со своей женой был свидетелем бракосочетания.