Личное имущество герцога было, впрочем, не слишком значительным. В хорошие годы регулярные поступления составляли тридцать тысяч дукатов, что значительно меньше доходов некоторых грандов и отцов церкви в стране. Поэтому требовалось четкое и экономное управление имуществом, иногда вызывавшее упреки в жадности. Впоследствии герцога обвиняли в том, что он никогда не упускал случая получить несоразмерно высокий доход, а его усилия по увеличению прибыли вызывали «бурю ненависти и зависти».
Домашний штат составляли около ста человек, из них пятьдесят — личная охрана. Большие расходы требовались на проведение празднеств, поездки с блестящей свитой, подарки, содержание замков и покровительство искусствам. Заказывались портреты у такого известного художника, как Тициан, создавались собрания гобеленов и оружия, а вернувшись из Нидерландов в 1574 году, Альба даже привез собственного фламандского органиста, Иоганна ван Вреде. Был у него и шут. На книги у Альбы никогда не хватало времени и интереса. Он был хорошо знаком с кастильским «Кортехиано», классическим руководством для придворного; насколько подробно он изучил «Государя» Макиавелли, неизвестно.
Об управлении имуществом Альбы нам известно, что юрисдикция осуществлялась довольно мягко. Десятипроцентный налог с оборота при каждой торговой сделке был повышен, что, однако, не слишком тяжело сказалось на населении, занимавшемся преимущественно сельским хозяйством, а не торговлей. Евреи-выкресты, которые были в основном врачами, аптекарями, банкирами, сборщиками платы, примерно до 1572 года жили во владениях Альбы более или менее спокойно. К маврам также относились достаточно терпимо.
Однако управление имуществом не могло удовлетворить честолюбия молодого человека — качества, которое император Карл называл основной движущей силой его натуры. Точно не известно, когда Карл V познакомился с будущим выдающимся генералом. Вероятно, в 1572 году двадцатилетний Альба был представлен властителю, который был на семь лет старше. В жизни герцога Карл стал неким центром, как десятилетия спустя другим центром стал принц Оранский. Вся преданность, почитание и любовь, на которую способен Альба, были обращены — кроме своей семьи — к императору, в ком он видел величие короля и подлинного христианина и кому служил от всего сердца. После смерти Карла Альба говорил о нем только со слезами на глазах. Однако Карл не отвечал взаимностью на глубокую привязанность герцога. Он сохранял дистанцию по отношению как к нему, так и ко всем остальным советникам.
На период пребывания Карла в Испании в 1522–1529 годах пришлось не только приближение Фернандо Альбы к королю, но и посвящение в государственные дела. Его дед, член Государственного совета, часто брал его с собой ко двору. Нужно было управлять огромной империей, претворять в жизнь большие планы, и Альба получил представление о ее громадных возможностях. Какие перспективы таили одни только американские владения! Впоследствии семейство Альба дало в лице дона Франсиско Альвареса де Толедо одного из самых талантливых американских губернаторов.
Некоторые историки утверждают, что в 1526–1529 годах Альба как политик развивался медленно. Как ни странно, ему не слишком доверяли в военном отношении, а считали, скорее, способным дипломатом. Никто тогда не подозревал, что именно Альба усовершенствует организацию испанской армии, превратит ее в лучшую в Европе. В изучении управления внутренними делами он не очень преуспел. Карл, боясь амбиций испанского дворянства, старался не занимать грандов внутренними делами и в особенности не давать им возможности вершить правосудие. Кроме того, понимание Альбой права не соответствовало личным взглядам короля. Альба считал, что одного лишь наличия закона недостаточно. Задача будет выполнена только когда в соответствии с законом преступник будет наказан. Согласно этому принципу он действовал всю свою жизнь, зачастую не получая одобрения Карла.
Основным делом, которое король поручил своему Государственному совету, была внешняя политика. Так молодой Альба получил представление о правах и задачах Габсбургской монархии и его внимание было обращено на три государства — основные объекты внешней политики Карла: Францию, Англию, Турцию, ибо почти все остальные страны Европы были подвластны королю или тесно связаны с ним семейными узами.
Если основные направления в политике относительно турок были однозначными и определялись обстоятельствами, то Франция и Англия представляли собой сложную проблему. Альба с самого начала воспринимал Францию как противника. Франко-испанская война в Наварре была его первым военным опытом, бои за Перпиньян и Фуэнтеррабиа — вторым. Война, разгоревшаяся за владение Миланом, усилила в нем чувство постоянной французской опасности для Испании. Он радостно воспринял известие о пленении короля Франциска в битве при Павии. Хотя герцогу не довелось в ней участвовать, позднее, находясь в Северной Италии, он посетил поле битвы и интересовался отдельными ее деталями. Через два года после освобождения короля Франциска вновь начались военные действия, и молодой Альба пережил четвертую французскую войну, которая в 1529 году завершилась новым миром.