Находясь в Виндзорском замке, он однажды вторгся в спальню одной из придворных дам королевы и попытался соблазнить ее. Джордж Энсон, который придерживался собственной точки зрения на это скандальное событие, утверждал, что лорд Пальмерстон раньше неоднократно бывал в этой комнате, но с другой придворной дамой, и вошел туда просто по привычке. Однако вне зависимости от истинных мотивов поступка королева считала этот случай позорным и не подлежащим забвению, в то время как принц Альберт находил его не подлежащим прощению.
До своей свадьбы, когда лорд Пальмерстон уже занимал пост министра иностранных дел в правительстве лорда Мельбурна, королева была очарована его личностью и в особенности тем усердием, с которым он знакомил неопытную в международных делах королеву со всеми формальностями и интригами мировой политики. Тем более что принц Альберт и даже барон Штокмар неоднократно подчеркивали, что королева просто обязана быть в курсе основных проблем международной жизни. Пальмерстон научил ее анализировать международные проблемы, правильно обращаться к своим коллегам-монархам из других стран и даже заканчивать официальные письма представителям правящих династий. В частности, он подсказал ей хорошую мысль, что все обращения нужно писать карандашом, чтобы потом можно было легко стереть одни слова и заменить их другими. Кроме того, он долго рассказывал ей, какие подарки следует дарить другим монархам и членам их семей. Словом, он познакомил ее со всеми тонкостями международных отношений и даже составил специальные карты и аннотированный «Готский альманах».
Королева посчитала такие уроки весьма полезными, информационно насыщенными и к тому же чрезвычайно интересными. А сам лорд Пальмерстон стал частым гостем в ее дворце и прослыл на редкость интересным собеседником и ценным советником. После одного из званых ужинов во дворце королева Виктория не без гордости заявила бельгийскому королю Леопольду, что все беседы с Пальмерстоном она находит «забавными и интересными».
В то время главной темой для бесед на международные темы стали проблемы Ближнего Востока. Королева, беременная тогда первенцем, даже выразила желание назвать ребенка «турецким египтянином». А когда лорд Пальмерстон вынужден был покинуть пост министра иностранных дел вместе с кабинетом лорда Мельбурна, королева отметила его «ценную службу», которую он выполнял с «восхитительной деликатностью» и которая оказалась чрезвычайно полезна всей стране в ее нелегких отношениях с другими европейскими государствами.
Однако со временем отношение королевы Виктории к лорду Пальмерстону стало меняться в худшую сторону. В декабре 1839 г. он женился на красивой сестре лорда Мельбурна Эмили, первый муж которой был пятым графом Каупером. Королева, которая всегда неодобрительно отзывалась, о втором замужестве вдов, призналась по секрету лорду Мельбурну, что «в результате этого события» не может уже относиться к лорду Пальмерстону с доверительностью и обожанием, характерными для нее в прошлом.
В качестве министра иностранных дел в правительстве Джона Рассела лорд Пальмерстон доставлял королеве массу неприятностей и часто вызывал у нее раздражение своими манерами. Вряд ли можно было отрицать, что он был знающим человеком, весьма компетентным и чрезвычайно работоспособным. Вместе с тем он действовал слишком поспешно, страстно желая укрепить могущество Великобритании, защитить ее законные права и сохранить влияние на мировую политику. Поэтому, не отличаясь особой дипломатичностью в достижении своих целей, часто допускал непростительную грубость. Порой он отправлял важные депеши еще до того, как их одобрит королева; все же необходимые бумаги собирал много дней, а потом присылал королеве в огромной коробке, и она не могла ознакомиться с ними быстра Конечно, он извинялся за эти ошибки и пытался свалить все на нерасторопных помощников в министерстве иностранных дел, однако Чарльз Гревилл неоднократно подчеркивал, что Пальмерстон установил в своем ведомстве режим «абсолютного деспотизма», при котором все подчинялись его приказам и никто не осмеливался ослушаться его.