Улыбчивый, круглолицый, уютный Бём никаких ассоциаций с трубами крематориев и убийством детей не вызывал, а вот Караян, с его точеными чертами, безжалостным честолюбием и нежеланием произнести хотя бы слово сожаления по поводу нацистских зверств, представлялся публике вполне похожим на злодея. «Мы все были нацистами — Фуртвенглер, Бём, я…» — говорил он, однако только его одного из дирижеров (заодно с сопрано Элизабет Шварцкопф) Рудольф Бинг не пустил в «Мет» — потому, что он, «как мне сказали, делал больше того, что было необходимо» (при нацистах).
Бруно Вальтер великодушно оправдывал своего «дорогого друга Бёма», как, впрочем, и большинство знакомых ему австрийцев. Пабло Касальс публично простил своего ставшего коллаборационистом пианиста Альфреда Корто. Иегуди Менухин вел кампанию по восстановлении доброго имени Фуртвенглера. У Караяна не было ни одного знаменитого сторонника, а между тем Фуртвенглер безжалостно интриговал против него. От одного лишь предположения, что Караян может снова дирижировать в Зальцбурге, лицо Фуртвенглера потемнело. В конце концов, он сказал: «Если этот человек, К. — он даже имени Караяна произносить не желал, — если этот человек, К., окажется здесь, я покажу им программу, от которой они на стену полезут».
Если бы Караяна удалось изобразить решительным нацистом, Фуртвенглер предстал бы в их конфликте героем, а все Бёмы этого мира выглядели бы не так постыдно. Вся эта междоусобица в сочетании с безупречно арийской внешностью Караяна в раннюю послевоенную эру очерняли его в сознании публики. Восприятие более глубокое, подсознательное, питаемое последовательностью его позиции и стремлений, создало надолго сохранившееся мнение, согласно которому Караян видел себя в музыке подобием фюрера. «Сам того не желая, — говорил продюсер компании „Декка“ Джон Калшоу, — он заполнял пустоту, оставленную смертью Гитлера в той части немецкого сознания, которая жаждала вождя. Его поведение более чем отвечало этой роли. Он был непредсказуем, беспощаден и прям. Человек исключительно умный, Караян очень и очень следил за своей внешностью; иными словами, его окружала аура, которая, будь она намеренно культивируемой или расчетливо продуманной, производила бы впечатление отталкивающее».
Караян определенно обладал общими с Гитлером чертами: замечательной способностью к сосредоточению, абсолютной преданностью своим долгосрочным целям и аскетической асексуальностью, которая равно влекла к нему и женщин, и мужчин. Особым женолюбием он не отличался, хоть и был три раза женат, не говоря уж о том, что ему приходилось, совершенно как поп-звезде, отбиваться от множества сомнительных исков по установлению отцовства. Его американский биограф описывает случай, когда красивая любовница одного богатого человека, войдя в свой гостиничный номер, обнаружила там лежавшего в ее постели Караяна. Он торопливо поднялся и покинул номер. «Ему вовсе не нужна была интимная близость с нею. Он сказал, что видит ее душу. Она была его романтическим идеалом».
Эту потребность в чарующей «возлюбленной» обнаруживает собрание любовных писем, которое через год после его смерти было продано на аукционе «Сотбис» за 7000 фунтов. Письма свидетельствуют о его страсти к журналистке из «Вог» Мэри Робли, которая в 1955-м (Караян состоял тогда во втором своем браке) брала у него интервью перед первыми гастролями в США. Концерт в «Карнеги-Холле», говорил Караян, был дан им исключительно для «моей дорогой Мэри». Когда она слушала его записи, он ощущал себя богом, спустившимся с Олимпа, чтобы посетить нимфу. Было несколько случаев, когда они оставались наедине, однако письма Караяна не содержат ни малейшего намека на плотские желания. Его отношения с женщинами были, по существу, бесполыми.
Он окружал себя плотным кольцом мужчин-геев, возглавляемым долго прослужившим у Караяна «секретарем» Андре фон Маттони, полным достоинства и аристократизма бывшим актером, который, согласно Калшоу, «никакой особой работы, насколько мы могли судить, не выполнял». Отношения их были, предположительно, товарищескими. Недоброжелатели утверждали, что «в Караяне очень сильна гомосексуальная сторона натуры, не признав это, невозможно даже приблизиться к его пониманию».