Мистер Бёрч регулярно извещал родителей принца о его текущих успехах или недостатках, и, надо сказать откровенно, принц Альберт редко оставался доволен развитием сына: Мальчик делал неплохие успехи в изучении немецкого языка, к пяти годам мог практически свободно читать книги на немецком и довольно сносно поддерживать разговор, однако это мешало ему как следует усваивать английский язык, что вызывало у родителей острое недовольство. С целью улучшения английской речи родители пригласили в дом известного актера Джорджа Бартли, но уроки по изящной словесности не привели к исчезновению весьма заметного немецкого акцента. Принц Уэльский так и не смог до конца жизни избавиться от грубоватого немецкого произношения английской буквы «г». Успехи принца в изучении французского языка были менее заметны, и только в самом конце жизни он научился довольно свободно общаться на этом языке, что служило предметом его неиссякаемой гордости.
Обеспокоившись незавидными результатами обучении сына, принц Альберт обратился за помощью к ведущему френологу страны Джорджу Кумбу, который сам был одним из семнадцати детей в семье шотландского пивовара. Тот самым тщательным образом исследовал черепную коробку мальчика и отметил «некоторые особенности его темперамента и мозговой деятельности».
«Все органы, отвечающие за хвастовство, агрессию, переоценку собственной значимости и стремление к превосходству, развиты выше нормы, — угрюмо заметил Кумб. — Что же касается органов интеллектуального развития, то они совершенно явно недоразвиты».
«Мне стало интересно, откуда у него такие англосаксонские мозги, — сказал принц Альберт, прочитав отчет Кумба, - должно быть, он унаследовал их от Стюартов, поскольку после них все английские короли были германского происхождения».
Со временем у принца Альберта появилось недовольство политикой мистера Бёрча, который, как ему казалось, не проявляет должного усердия в воспитании юного принца. Кроме того, Бёрчу приходилось находиться с мальчиком «утром, днем и вечером» без выходных и праздников, и поэтому он сам предложил принцу Альберту подыскать человека, который более успешно справлялся бы с ролью воспитателя юного принца. Отношения между мистером Бёрчем и родителями принца Уэльского стали еще более натянутыми, когда тот выразил желание быть посвященным в духовный сан. Королева, которая решительно отвергала религиозные взгляды леди Литтлтон, столь же решительно заявила, что мистер Бёрч вряд ли сможет быть хорошим воспитателем, если станет священником. В конце концов она согласилась оставить его при дворе, но только при том непременном условии, что он не будет слишком «агрессивно» высказывать свои религиозные взгляды, а также если он станет посещать пресвитерианскую церковь во время пребывания королевской семьи в Шотландии. Кроме того, она выразила пожелание, чтобы мистер Бёрч не отрекался от таких «невинных забав», как танцы и охота. Что же до принца Альберта, то тот однозначно заявил, что если мистер Бёрч будет посвящен в духовный сан англиканской церкви, то уже не сможет выполнять свои обязанности по воспитанию сыновей. Однако он согласился не чинить никаких препятствий мистеру Бёрчу, пока тот сам не примет правильное решение. Таким образом, мистер Бёрч оставался воспитателем принцев крови вплоть до января 1852 г., когда подал в отставку в связи с посвящением в духовный сан.
К тому времени воспитатель уже успел привязаться к мальчику и даже сумел убедить его отца, что успехи того не такие уж и разочаровывающие, как привыкли думать родители. Разумеется, его письмо и орфография все еще оставляли желать лучшего, но «мы не должны забывать», говорил Бёрч, что в стране найдется не так уж много мальчиков такого возраста, которые при этом хорошо знают немецкий и французский или вообще отличаются начитанностью и эрудицией. Сами мальчики с сожалением узнали об уходе воспитателя, а принц Уэльский очень расстроился из-за того, что отец отказался продлить пребывание Генри Бёрча в доме. «Для принца Уэльского это было серьезным ударом, — писала леди Каннинг, — поскольку он сильно привязался к нему и очень болезненно отнесся к его уходу. Маленькие записки и подарки, которые мистер Бёрч находил на своей подушке, были очень трогательны».