Мистер Бёрч ни на минуту не оставлял принца без присмотра и следовал за ним во всех поездках королевской семьи. В августе 1849 г., например, принц Уэльский сопровождал родителей в поездке в Ирландию, и в костюме матроса его провезли в королевской карете по всем улицам ирландских городов. Но как только он возвращался в Вице-Ригел-Лодж или оказывался на борту королевской яхты «Фея», его тут же усаживали за учебники и заставляли выполнять всю программу. Не оставляли мальчика в покое и в замке Балморал, где он всегда надеялся хоть немного отдохнуть от книг. Мистер Бёрч полагал, что мальчика слишком нагружают учебой и поэтому ему вовсе не помешали бы редкие развлечения вроде охоты на оленей, пеших прогулок по окрестным живописным холмам или каких-либо других занятий на свежем воздухе. Но принц Альберт сказал, что поездки в Балморал «не должны восприниматься принцем как какой-то праздник».
Мистер Бёрч регулярно извещал родителей принца о его текущих успехах или недостатках, и, надо сказать откровенно, принц Альберт редко оставался доволен развитием сына: Мальчик делал неплохие успехи в изучении немецкого языка, к пяти годам мог практически свободно читать книги на немецком и довольно сносно поддерживать разговор, однако это мешало ему как следует усваивать английский язык, что вызывало у родителей острое недовольство. С целью улучшения английской речи родители пригласили в дом известного актера Джорджа Бартли, но уроки по изящной словесности не привели к исчезновению весьма заметного немецкого акцента. Принц Уэльский так и не смог до конца жизни избавиться от грубоватого немецкого произношения английской буквы «г». Успехи принца в изучении французского языка были менее заметны, и только в самом конце жизни он научился довольно свободно общаться на этом языке, что служило предметом его неиссякаемой гордости.
Обеспокоившись незавидными результатами обучении сына, принц Альберт обратился за помощью к ведущему френологу страны Джорджу Кумбу, который сам был одним из семнадцати детей в семье шотландского пивовара. Тот самым тщательным образом исследовал черепную коробку мальчика и отметил «некоторые особенности его темперамента и мозговой деятельности».
«Все органы, отвечающие за хвастовство, агрессию, переоценку собственной значимости и стремление к превосходству, развиты выше нормы, — угрюмо заметил Кумб. — Что же касается органов интеллектуального развития, то они совершенно явно недоразвиты».
«Мне стало интересно, откуда у него такие англосаксонские мозги, — сказал принц Альберт, прочитав отчет Кумба, - должно быть, он унаследовал их от Стюартов, поскольку после них все английские короли были германского происхождения».
Со временем у принца Альберта появилось недовольство политикой мистера Бёрча, который, как ему казалось, не проявляет должного усердия в воспитании юного принца. Кроме того, Бёрчу приходилось находиться с мальчиком «утром, днем и вечером» без выходных и праздников, и поэтому он сам предложил принцу Альберту подыскать человека, который более успешно справлялся бы с ролью воспитателя юного принца. Отношения между мистером Бёрчем и родителями принца Уэльского стали еще более натянутыми, когда тот выразил желание быть посвященным в духовный сан. Королева, которая решительно отвергала религиозные взгляды леди Литтлтон, столь же решительно заявила, что мистер Бёрч вряд ли сможет быть хорошим воспитателем, если станет священником. В конце концов она согласилась оставить его при дворе, но только при том непременном условии, что он не будет слишком «агрессивно» высказывать свои религиозные взгляды, а также если он станет посещать пресвитерианскую церковь во время пребывания королевской семьи в Шотландии. Кроме того, она выразила пожелание, чтобы мистер Бёрч не отрекался от таких «невинных забав», как танцы и охота. Что же до принца Альберта, то тот однозначно заявил, что если мистер Бёрч будет посвящен в духовный сан англиканской церкви, то уже не сможет выполнять свои обязанности по воспитанию сыновей. Однако он согласился не чинить никаких препятствий мистеру Бёрчу, пока тот сам не примет правильное решение. Таким образом, мистер Бёрч оставался воспитателем принцев крови вплоть до января 1852 г., когда подал в отставку в связи с посвящением в духовный сан.