До осознания всей серьезности болезни сына королева часто раздражалась из-за его поведения и относилась к нему без особых симпатий, однако позже, когда поняла всю опасность его положения, ее отношение к сыну заметно изменилось. «Бедное дитя, — писала она королю Леопольду, - он такой способный и такой умный, но с ним всегда случаются досадные приключения. Для других детей это вполне нормально, но для Леопольда любой такой случай может превратиться в серьезную проблему. Сейчас, например, он снова упал, и на лбу у него образовалась огромная шишка величиной с орех... К сожалению, наши врачи ничего не могут сказать по поводу возможного лечения... Он очень терпелив».
После самого серьезного приступа кашля, от которого у него началось кровотечение, в семье было решено отправить принца на некоторое время за границу, где климат намного теплее. 2 ноября 1861 г. принц Леопольд отбыл во Францию, попрощавшись на ступеньках Виндзорского дворца с отцом, которого ему не суждено будет уже увидеть. Вернувшись домой, принц услышал от убитой горем матери, что отныне он может делать что угодно, но пусть не старается заменить отца, поскольку это просто невозможно. При этом она, конечно же, очень надеялась, что Леопольд подрастет и с возрастом станет больше «похожим на отца как по характеру, так и по его отношению к работе. Во всяком случае, мог бы унаследовать его основные достоинства и взять на себя часть обязанностей покойного отца».
Королева души не чаяла в ребенке и делала все необходимое, чтобы уберечь его и дать ему возможность исполнить свою роль в жизни. Когда ему было уже восемь лет, она приказала Элфинстону следить за ним так же внимательно, как за маленьким Артуром. После обильного внутреннего кровотечения королева запретила сыну кататься верхом на лошади, участвовать в любых играх со сверстниками, в результате чего он мог бы получить рану, и вообще не находиться вне ноля зрения матери. В Балморале за Леопольдом тщательно присматривал брат Джона Брауна Арчибальд, который не отставал от парня ни на шаг и часто нес его на руках, когда тот не мог передвигаться сам. Кроме того, королева приставила к нему молодого гувернера из числа офицеров Королевской конной артиллерии по имени Уолтер Джордж Стерлинг. Она очень надеялась, что этот молодой и сильный офицер «позаботится о нашем бедном мальчике».
Принц Леопольд очень полюбил Стерлинга, как, впрочем, и королева, однако офицер не поладил с придворными-шотландцами, в особенности с Арчибальдом Брауном. После нескольких серьезных конфликтов летом 1866 г. королева нашла благовидный предлог и уволила Стерлинга, заявив при этом, что тот «не совсем подходил для столь важной должности и не имел достаточного опыта, чтобы вести себя с мальчиком как настоящий отец».
Леопольд был очень недоволен таким решением и разозлился на мать. Однажды во время обеда тринадцатилетний парень появился в столовой с «большим золотым кольцом на пальце». Естественно, мать сразу же поинтересовалась, откуда у него золотое кольцо, на что тот, густо покраснев, сказал после недолгих раздумий, что ему его подарил мистер Стерлинг. «Не могу выразить словами, — писал Стерлингу Леопольд, — как я скучаю без вас. Мне каждое утро кажется, что вы зайдете ко мне в комнату, а потом мы спустимся в столовую на завтрак, а Луиза будет смотреть на нас сверху вниз. Мне так не хватает вас».
Оставшись без своего любимого гувернера, Леопольд чуть было не потерял возможность общаться со своей сестрой Луизой, которая тоже ненавидела шотландских слуг. Мать запретила сыну заходить к ней в комнату и играть с нею во дворе. «Мне запретили заходить к Луизе, как раньше, — жаловался юноша одном из тайных писем Стерлингу, которые передавал бывшему гувернеру без ведома матери. — А сегодня утром я получил сообщение, что отныне мне категорически запрещено без разрешения мамы приглашать кого бы то ни было в свой железнодорожный вагон во время поездки в Шотландию».