Однако то удовлетворение, которое принц Альберт получал от ощущения своей растущей популярности и влияния, вскоре было почти полностью разрушено его беспокойством относительно политических симпатий и партийных предпочтений королевы. Правительство ее лучшего друга лорда Мельбурна оказалось в весьма сложном положении, когда летом 1841 г. тори одержали убедительную победу на всеобщих выборах. Во время выборов королева, которая сочла излишним сообщить ему о своих планах по поддержке вигов, опасаясь отрицательной реакции, привлекла его к поездке по домам наиболее влиятельных и богатых магнатов вигской партии с целью поддержания их убывающего влияния. Другими словами, она решила посетить те дома старой вигской аристократии, в которых ее так доброжелательно принимали еще до восшествия на трон. Как известно, тогда это вызвало неодобрительные отзывы со стороны правившего короля Вильгельма IV, который был против слишком активной партийной привязанности монархов. Они посетили Чатсворт и аббатство Уоберн, Пэнсхенджер — дом племянника лорда Мельбурна графа Купера, Брокет-Холл — дом самого Мельбурна.
Принц Альберт тоже был против такой поездки, поскольку не одобрял соперничество между различными политическими партиями, которое всегда сопровождалось грязными слухами, сплетнями и взаимными обвинениями. Но больше всего его беспокоил тот безрадостный факт, что грязная предвыборная борьба «деморализует низшие классы» общества и «развращает высшие классы». По его твердому убеждению, монархия должна быть выше партийной борьбы, и он часто напоминал королеве, что ее долг заключается именно в сохранении конструктивного нейтралитета».
И вcе же, когда тори одержали на всеобщих выборах убедительную победу, королева не смогла скрыть своего разочарования. Впрочем, она даже и не пыталась это сделать и во всеуслышание заявила, что не намерена встречаться с «этим плохим человеком Робертом Пилем, который так недостойно вел себя в прошлом». Более того, она отклонила официальное приглашение присутствовать при открытии первой сессии парламента и не выразила никакого желания принять в королевском дворце нового премьер-министра Роберта Пиля, который пришел на смену ее лучшему другу лорду Мельбурну и с которым она так охотно встречалась почти каждый божий день в течение последних четырех лет. «Эти одиннадцать последних дней, — писала она королю Леопольду, — были для меня самым длинным периодом времени, в течение которого я не видела его. Можете представить себе, что означают для меня все эти политические перемены». Она действительно привыкла к нему, выросла на его глазах и не могла сделать ни единого шага, не услышав от него мудрого совета. А сэр Роберт Пиль был слишком стеснительным и всегда смущался перед королевой. Как говорил Чарльз Гревилл, она могла бы найти с ним общий язык, если бы он твердо стоял на ногах.
Лорд Мельбурн пытался успокоить королеву и поддержать ее морально. Он пообещал, что будет регулярно писать ей и поддерживать с ней отношения в качестве, как он сам выразился, «очень полезного и ценного друга, находящегося вне кабинета министров». Какое-то время он действительно делал это, несмотря на недовольное ворчание как Роберта Пиля, так и барона Штокмара. Кстати сказать, последний не преминул упрекнуть в этом лорда Мельбурна, но тот послал его ко всем чертям. Но когда Штокмар предупредил его, что Роберт Пиль угрожает подать в отставку, а его близкая знакомая миссис Нортон распускает всяческие слухи о продолжающейся связи между бывшим премьер-министром и королевой, лорд Мельбурн стал писать Виктории все реже, а потом вообще перестал посылать письма с комментариями наиболее деликатных политических проблем.