Зрелищность снимков Гитлера в период блицкрига и (по словам Геббельса) «опьяняющего времени побед», в значительной мере способствовала успеху работы Гоффманна, однако эти времена быстро прошли. «Образ фюрера» изменился. Фотографии верховного главнокомандующего должны были соответствовать военно-солдатскому духу. Внутриполитические темы отошли на второй план, и фотографии фюрера, окруженного ликующей толпой, уже не пользовались спросом. Да и любимая область Гоффманна, частная жизнь Гитлера, отошла на задний план ввиду активной деятельности «фюрера и полководца» на фронте и в штаб-квартире. Военные фоторепортажи с фронта оставались в ведомстве так называемых «компаний пропаганды». Фашистских фоторепортеров принуждали к созданию образа бравого Гитлера, что строго контролировала цензура. «Каждая новая фотография фюрера должна быть предоставлена на согласование ему лично, и этот фотограф Гоффманн теперь не исключение», — с триумфом заявлял Геббельс о ненавистном ему Гоффманне 49. Тот заупрямился, надеясь на высшую протекцию, и, не выполняя указаний, решил испытать судьбу и принес в газету «Дер иллюстрирте беобахтер» фотографии Гитлера с собакой: «Отдых от государственных дел. Адольф Гитлер в баварских горах»50. Министерство пропаганды отреагировало жестко: «Использование всех фотографий, изображающих Гитлера отдыхающим в Оберзальцбурге, нецелесообразно. Газеты… которые не покорятся распоряжениям, будут подвергнуты конфискации».
После поражения под Сталинградом и прекращения победного продвижения войск Гитлер мало появлялся на публике. Он перестал фотографироваться и стал недоступен даже для своего личного фотографа. Как ни просили у него фашистские фотоорганизации, Гоффманн не мог удовлетворить спрос на актуальную фотографию фюрера. Гоффманн стоял перед дилеммой — его модель от него ускользала. К тому же Гоффманна временно разместили в штаб-квартире фюрера, где ему даже оборудовали жилье. Там он мог фотографировать банальное вручение орденов, но в первую очередь он должен был развлекать Гитлера, который говорил: «Когда Гоффманна здесь нет, мне будто чего-то не хватает. Без Гоффманна мне просто не по себе!»51 Частые визиты резко прекратились осенью 1944 года, когда Мартин Борман, могущественный руководитель канцелярии партии, пытаясь изолировать Гитлера, распустил слух, что Гоффманн болен тифом. Фотографу удалось увидеться с Гитлером только в марте 1945 года.
22 апреля 1945 года вышел последний выпуск газеты «Берлинер иллюстрирте цайтунг», а Гоффманн создал циничный титульный лист «Связной нигде не пропадет».
Падение режима ознаменовало собой крах империи Гоффманна. Издательства в Мюнхене и Вене разбомбили, центральный фотоархив перевезли из Берлина в Верхнюю Баварию, где по окончании войны его конфисковала американская армия. Самого Гоффманна в мае 1945 года арестовала армия США, чтобы допросить об участии в фашистской торговле предметами искусства. В октябре 1945 года его привезли в «Дом свидетелей» международного военного трибунала в Нюрнберге, где он с помощью своего сына Генриха должен был подобрать доказательства для процесса о военных преступниках из материалов своего архива. Когда Гоффманн упорядочивал и классифицировал свой архив, ему удалось украсть много снимков. Одна газета писала о новой жизненной ситуации Гоффманна: «Столько чести, столько позора! Он сам в тюрьме, его зять [Бальдур фон Ширах] в тюрьме, фотографии фюрера лишены своего священного положения, Шпицвег и другую недвижимость у семьи Гоффманна отобрали»52. После заключения, которое длилось год, фотографа перевели в Баварию. В январе 1947 года дело о его денацификации в Мюнхенском III суде широко освещалось в прессе 53. Газета «Зюддойче цайтунг» в статье под названием «Профессор Гоффманн денацифицируется» изобразила его как «Самого жадного паразита чумы Гитлера», а также напечатала информацию о богатстве мультимиллионера 54.
Сам Гоффманн пытался представить себя маленьким фотографом, который не по своей воле попал под колеса большой политики. Казалось, он страдал значительными провалами в памяти. Он говорил, что вступил в партию только потому, что таким образом мог получить доступ на мероприятия НСДАП в качестве репортера. На вопрос, почему же он в результате посвятил себя созданию культа фюрера и национал-социализма, Гоффманн ответил: «До 1933 года я фотографировал в основном мероприятия НСДАП, потому что у других политических партий фотографировать было нечего». Он также утверждал, что лишь шапочно знаком с Гитлером, который в действительности с 1920 года регулярно с ним общался, и с которым он просиживал долгие ночи, отпраздновав бесчисленные личные праздники. До последнего момента вопрос о том, был ли обвиняемый фоторепортером или пропагандистом, приводил к сильным противоречиям в действиях защиты и обвинения. Говорили, что работу Гоффманна никак нельзя сравнивать с пропагандой Геббельса, а за тексты, сопровождавшие его фотографии, Гоффманн ответственности не несет. Эти умозаключения адвоката Гоффманна, доктора Альфреда Зейдля, представлявшего многих лидеров фашистского движения, а впоследствии ставшего министром внутренних дел Баварии, заканчивались такой фразой: «На самом деле обвиняемый не делал ничего, что не делали бы все фоторепортеры мира: он современными средствами запечатлевал события современности». Четким обвинениям противостояли абсурдные свидетельства о невиновности, ложные показания свидетелей и положительные характеристики, предоставленные защитой. 31 января 1947 года суд сделал такое заключение: «Своей пропагандистской деятельностью обвиняемый значительным образом способствовал приходу Гитлера к власти». Суд признал Гоффманна виновным и приговорил к десяти годам лагерей, конфискации всего имущества, запрету на профессиональную деятельность и отмене профессорского звания. Газеты писали: «Этот невероятный, опаснейший китчист с фотоаппаратом на десять лет выпал из обоймы».