Чувство долга, приведшее Шолти в «Ковент-Гарден», было оскорблено обнаруженной здесь дирижером атмосферой беззаботной праздности. «Я пришел из немецкого театра, в котором Generalmusikdirektor это царь, — вспоминал он. — Никто не говорил мне „нет“. Я прихожу сюда, и вдруг выясняется, что этого делать нельзя и этого тоже нельзя. Я желал дисциплины, точности. Опера есть военная операция. Они называли меня „пруссаком“ — меня, венгерского еврея». Они называли его именами и куда менее лестными. В один из вечеров на сцену полетел кочан капусты, на котором было написано: «Шолти должен уйти!». Такая же надпись появилась на ветровом стекле его машины. Среди тех, кто желал ему зла, имелись и антисемиты; благодушный штатный дирижер Реджиналд Гудолл оказался сторонником Мосли, фашистом, и его пришлось уволить.
Среди правящих оперным театром представителей английских высших классов Шолти чувствовал себя не в своей тарелке, и его швейцарке-жене, Хеди, приходилось обучать мужа тонкостям процедуры чаепития. При всей его внешней самоуверенности, Шолти нуждался в непрестанных ободрениях лорда Дрогеда, издателя газет, жена которого брала уроки игры на фортепиано у одного из венгерских друзей дирижера. Дрогед оберегал Шолти от равнодушия Уэбстера и ворчания театрального персонала. «Время от времени, — говорил этот председатель правления театра, — кому-то приходилось давать по носу, но, по мне, лучше это, чем видеть, как все опускается несколько — а то и не несколько — ниже достойного уровня».
«Моя жизнь в Англии это целиком и полностью дело рук лорда Дрогеда» — подтверждал Шолти. Только решительность председателя правления помешала ему, недовольному отсутствием благоприятных для работы условий, враждебной обстановкой и тем, что «Ковент-Гарден» мало что делает для прославления его имени, уйти, проработав в театре три года, в отставку. Шолти мучила ненадежность положения человека вечно бездомного.
Жизнь его, жизнь кочевника, представляла собой череду превратностей. Не имеющий гроша за душой коррепетитор Будапештской оперы, он в 1937 году, в самый разгар эпидемии гриппа, приехал в Зальцбург с рекомендательным письмом к Тосканини. «Вы знаете „Волшебную флейту“?» — просил маэстро и, усадив его за фортепиано, принялся дирижировать одним пальцем. Через некоторое время Тосканини сказал: «Bene[‡‡‡‡‡‡‡‡‡‡‡]», — и с этого началась карьера Шолти.
Месяц спустя, во время второго акта его дебютного исполнения «Свадьбы Фигаро» он вдруг обнаружил, что будапештская публика его не слушает — до театра только что донеслась весть о вторжении Гитлера в сопредельную Австрию. Из театра Шолти, в соответствии с расистскими законами адмирала Хорти, уволили, и перед самым началом войны он поехал в Швейцарию, попросить работы у Тосканини, да так и застрял там на все военные годы. Тенор по имени Макс Гирцель «разрешил мне поселиться у него, чтобы я помог ему выучить партию Тристана, и я провел с ним полтора года. Он спас мне жизнь. Я Тристана выучил, он нет». Швейцарская полиция приказала Шолти вернуться в Венгрию, однако он не смог получить немецкую транзитную визу и ухитрился, тем временем, победить в Женеве на конкурсе пианистов и получить разрешение на работу. «Это было окончательным унижением — мне разрешили держать пять учеников, ни единым больше. Я выжил, кое-как сводя концы с концами. Как музыкант, я имел возможность говорить на понятном всем языке». В игре на фортепиано он продолжал упражняться — просто на всякий случай, — и долгое время после того, как стал дирижером, а в свои семьдесят вернулся за инстумент, играя в концертах дуэты Моцарта с Марри Перайя. «Сэр Георг недооценивает свои технические возможности, — говорил Перайя. — Он играет очень хорошо. Он человек на редкость храбрый».
Война закончилась, Шолти узнал, что бывший венгр, Эдуард Килени, отвечает за музыкальную жизнь оккупационных войск США в Баварии, и направил ему заявление с просьбой назначить его главным дирижером разбомбленного государственного оперного театра в Мюнхене. Он не стал упоминать о том, что оперой дирижировал только однажды — прерванным будапештским «Фигаро». «В Мюнхене лишь через несколько лет обнаружили, что каждой оперой я дирижирую в первый раз» — со смехом вспоминал Шолти. Рихард Штраус, присутствовавший на его репетициях «Кавалера розы», дал Шолти несколько профессиональных советов. «Вы слишком наслаждаетесь музыкой, — предостерег он дирижера, — пусть они ею наслаждаются, а не вы». Сберегайте энергию, сказал Штраус, относитесь ко всему полегче. «Почему вы всегда дирижируете обеими руками?». Однако поздно, уже на четвертом десятке лет, начавший Шолти слишком спешил, чтобы обращать на эти советы внимание. Он был безжалостно строг и к себе собой, и во всем, что касалось музыки; пулеобразная голова его совершала в оркестровой яме рывки вперед, напоминая стенобитное орудие.