Наполеон решил заново ввести еще кое-что из дореволюционного этикета: придворное платье, скамеечки под ноги для герцогинь, определенное количество лошадей для выезда. Однако старая аристократия и новый правящий класс продолжали оставаться заклятыми врагами. (Еще одна несбывшаяся наполеоновская мечта — сплотить воедино Революцию и законность своего восшествия на престол, удачно женившись на представительнице «старого режима»). Император желал, чтобы вся новоявленная знать последовала его примеру. Он не только поощрял браки с представительницами знаменитейших семей старой Франции, но и отдал распоряжение министерству полиции вменить в обязанность префектам иметь списки юных особ благородного происхождения. Полиции теперь надлежало вести учет девушек из хороших семей с подробным описанием их внешности, образования, религиозных взглядов и таких умений, как игра на рояле или арфе. Когда герцог Крон получил предупреждение о том, что вскоре ему будет приказано выдать дочь за генерала, он в тот же день обвенчал ее с живущим у него в доме кузеном. Другие отцы оказались не столь находчивы. Мадемуазель Диллон силой выдали замуж за генерала Себастиани, а обеих мадемуазель д’Арбер за генералов Мутона и Клейна. Все это заставило новую аристократию еще более сторониться полного возвращения к дореволюционным порядкам.
Отцовство на время охладило страсть Наполеона к военным кампаниям, возраст тоже давал о себе знать. В июле 1811 года новеллист Поль де Кок наблюдал появление Наполеона на балконе в Тюильри. Вместо героя своих мечтаний он увидел тучного, невысокого мужчину — «желтого, заплывшего жиром, обрюзгшего, с низко посаженной головой». В Лондон был отправлен посланник с тайным предписанием изучить возможность заключения с англичанами мирного договора. Предлагались кое-какие уступки; Жозеф должен договориться с испанскими патриотами, в Португалии можно реставрировать семейство Браганца, а Франция и Англия обязуются полностью вывести с полуострова свои войска. Маркиз Уэлсли, брат герцога Веллингтонского и английский министр иностранных дел, ответил, что правительство Его величества только тогда начнет переговоры с Францией, когда последняя признает Фердинанда VII законным королем Испании. Наполеон не прочь был заменить Жозефа на Фердинанда (он был готов на все, лишь бы развязаться с Испанией), однако терпеть не мог, когда ему приказывали. На этом переговоры прервались.
У англичан были все основания держать такой агрессивный тон, ведь для них война на полуострове шла довольно успешно. Бедный Жозеф оказался в весьма тяжелом положении. Французские генералы в Испании стали, в сущности, независимыми полководцами. Они притесняли и грабили испанцев на их собственных землях, полностью игнорируя распоряжения мадридского затворника, который все чаще бессмысленно подписывался «Yo el Rey». Например, Сульт держал себя в Андалузии истинным королем, хотя и без титула. Единственным более или менее успешно работающим правительством могли похвастаться четыре провинции к северу от Эбро — они были присоединены к Франции и преобразованы во французские департаменты. Король «Хосе» страдал от хронического безденежья и был вынужден брать займы под залог своих поместий и оставшихся у него бриллиантов. Когда брат послал ему полмиллиона франков в слитках, кто-то из генералов перехватил конвой и спокойно отсчитал более 120 тысяч франков, чтобы, наконец, выплатить солдатам их законное жалованье. Как замечает Питер Гейль, Испания стала «тренировочной площадкой для непослушания маршалов», что имело катастрофические последствия для всей императорской армии. Когда же Наполеон уступил беспрестанным мольбам брата и дал ему большую власть, назначив его в марте 1812 года главнокомандующим испанской армии с правом решения всех политических и военных вопросов, это мало что изменило. Жозеф получил возможность снимать генералов с командных постов, лишь пожаловавшись Наполеону, но где гарантия, что жалоба дойдет до императорских ушей. Сульт и его коллеги продолжали вести себя как сатрапы. Более того, хотя на бумаге французские силы значительно превосходили силы англичан, на самом деле они были распылены по всему полуострову, увязнув в нескончаемых стычках с бесстрашными партизанами.
На протяжении 1811 и 1812 годов положение Жозефа неуклонно менялось к худшему. Месяц спустя после его назначения главнокомандующим Бадахоэ перешел в руки Веллингтона. 22 июля сражение под Саламанкой обернулось подлинной катастрофой; армия Мармона была разбита, сам маршал потерял руку и 7 тысяч солдат. Остатки того, что когда-то было пятидесятитысячной армией, спасло только наступление ночи. Затем Веллингтон двинулся на Мадрид и 12 июля под всеобщее ликование вошел в столицу. Король Жозеф спасся бегством всего двумя днями ранее. Вслед за Жозефом на телегах и повозках двигались его перепуганные до смерти прихлебатели. Процессия эта растянулась на несколько миль, пока не нашла убежище в Валенсии. Но силы Веллингтона были довольно ограничены, и поэтому французы, хотя временно и потеряли Центральную, Западную и Южную Испании, вскоре перегруппировались, а Массена прибыл, чтобы восстановить прежнюю ситуацию. В октябре на военном совете Сульт вынес предложение сконцентрировать несколько армий, чтобы тем самым нанести Веллингтону удар с тыла, пока он вовлечен в сражение с французской армией на севере у Бургоса. Этот план мог бы стать для англичан фатальным. Однако Жозеф, убежденный в собственном военном гении, и слышать о нем не желал, настаивая на скорейшем захвате столицы. Он вернулся туда 2 ноября 1812 года, хотя больше и не питал иллюзий по поводу своей популярности. В Мадриде ему было суждено провести еще только пять месяцев.