Королева была абсолютно убеждена в непричастности сына к адюльтеру, но не могла не выразить своего возмущения самим фактом его «интимного знакомства с молодой замужней женщиной». Она не без оснований считала, что такая связь может бросить тень на наследника престола и породить сомнения в его честности среди представителей средних и низших классов общества. Кроме того, она резко осудила то общество, в котором он предпочитал проводить свое свободное время, упрекнув его в «фривольности, эгоистичности и стремлении к получению удовольствий любой ценой». Как выразился сэр Чарльз Дилк, «королевский двор единодушно поддерживал принца Уэльского, но придворное окружение королевы оказалось гораздо более щепетильным в подобных вопросах, чем окружение самого принца Уэльского».
Принц же тем временем пропадал на скачках, проводил время в театрах и, казалось, совершенно не обращал внимания на острые заметки и памфлеты, которые время от времени появлялись в столичных газетах и журналах. А когда королева, доведенная до отчаяния едкими насмешками и карикатурами, начала упрекать сына, тот ответил, что у нее самой грехов не меньше. «Если ты вернешься в Лондон из Виндзора, — писал он матери, — а потом отправишься на часок погулять в парк (где меньше шума городского), то услышишь там много интересного про себя... Мы живем в радикальное время, и чем чаще люди будут видеть своего монарха, тем лучше будет для страны и для народа». Примерно такого же мнения придерживался и весь королевский двор и в особенности Генри Понсонби.
Генри Понсонби, который был назначен одним из конюших королевы вскоре после смерти принца-консорта, часто помогал генералу Грею в делах и считался его наиболее вероятным преемником, поскольку обладал живым умом, хорошим воображением и быстрым пером. Однако это назначение не состоялось прежде всего из-за резкой оппозиции со стороны королевской семьи, которой не нравились его «крайне радикальные взгляды». Генерал Грей был убежденным либералом и одно время даже сидел в палате общин, где отстаивал интересы либеральной партии. Генри Понсонби придерживался радикальных взглядов, а политические предпочтения его супруги вообще выходили за рамки дозволенного. Мэри Понсонби была довольно умной женщиной, она часто писала злободневные статьи в «Пэлл-Мэлл газетт» и имела весьма своеобразные взгляды по каждому вопросу, что признавал и сам Генри Понсонби. В конце концов это привело к тому, что против назначения Понсонби резко выступили не только дети королевы, но и ее кузен герцог Кембриджский, а также ее зять принц Кристиан. Однако королева пренебрегла этими демонстрациями, как писал Генри Понсонби, и «все-таки остановила свой выбор на мне, намекнув в то же самое время через настоятеля Виндзора, чтобы я был более осторожен в выражениях и не позволял своей жене компрометировать меня своими бессмысленными речами». Когда этот разговор каким-то образом стал известен Мэри Понсонби, она была возмущена до глубины души и заявила, что сама «очень не хочет быть скомпрометированной своим согласием пойти на такие уступки и фактически подчиниться чиновникам королевского двора».
Несмотря на затрапезный вид Генри Понсонби, на его слишком длинные брюки и дурную привычку излишне громко смеяться в комнате конюших, за что он получал выговоры от королевы, тем не менее она любила его с самого начала службы при дворе и считала, что благодаря своим уникальным человеческим качествам он может стать исключительно полезным личным секретарем. Он действительно обладал способностью докапываться до сути вещей и при этом не тратил время на пустяки. Кроме того, он был человеком чрезвычайно начитанным, эрудированным, прекрасно разбирался в мировой политике, мог быстро оценить способности тех или иных людей, понимал их проблемы и к тому же отличался редким терпением и трудолюбием. Обладая превосходным чувством юмора, Генри Понсонби мог внимательно выслушать любого человека, даже если тот был намного глупее его, и при этом не демонстрировал абсолютно никакого превосходства, раздражения или самой обыкновенной скуки. Он мог доходчиво и ясно выражать свои мысли, причем как устно, так и письменно, умел поддерживать нужный разговор и добиваться желаемого результата. Хотя он не считал себя крупным лингвистом или просто знатоком родного языка, неплохо знал итальянский, спокойно общался на французском и немецком, несмотря на то что вся корреспонденция на этом языке поступала исключительно немецкому секретарю. Причем знание немецкого было предметом его особой гордости, он не упускал случая пообщаться с немецкими гостями на их родном языке.