Восторг герцога по поводу прибытия в Кенсингтонский дворец и рождения его маленького «карманного Геракла» разделяли далеко не все члены его семейства. Что касается принца Леопольда, регент не скрывал своей надежды на то, что его братец скоро снова отправится в Германию, прихватив с собой дражайшую супругу и недавно появившегося ребенка. Отношение регента к обряду крещения новорожденной было также далеко не братским. Он сразу же объявил, что эта церемония будет иметь исключительно частный характер и должна состояться 24 июня в три часа дня. Крестными родителями должны быть он сам, русский царь Александр, бабушка девочки — вдовствующая герцогиня Кобургская — и ее тетя Шарлотта, сестра ее отца и вдова короля Вюртембергского. Никто из вышеперечисленных особ, кроме, разумеется, самого регента, не должен был лично присутствовать на церемонии крещения, а их интересы должны были представлять герцог Йоркский и две другие тетушки ребенка — незамужняя принцесса Огаста и Мэри, герцогиня Глостерская. Кроме означенных лиц почтить церемонию своим присутствием смогли лишь кузен герцога Кентского, герцог Глостерский, герцогиня Йоркская и принц Леопольд.
Подчиняясь давно заведенным правилам, родители девочки послали регенту список имен, которыми они желали бы назвать своего ребенка, — Виктория (в честь матери), Джорджиана (в честь регента), Александрина (в честь русского царя Александра), Шарлотта или Августа (в честь своих тетушек). Регент долго хранил молчание и только за день до таинства крещения сообщил в письменном виде, что не может позволить назвать девочку Джорджиной, чтобы не ставить свое имя перед именем русского царя. Он также выразил неудовлетворение именами Шарлотта и Августа, сообщив напоследок, что выскажет свою точку зрения на церемонии крещения.
Крещение ребенка проходило в церкви Кенсингтонского дворца, стены которого по этому случаю были украшены темно-красной бархатной тканью. В торжественно обставленной комнате установили большую серебряную чашу, которую впервые использовали как купель в 1688 г. для крещения племянника короля Англии Карла II принца Якова Фрэнсиса Эдуарда Стюарта, «старого претендента» на королевский трон. Рядом в терпеливом ожидании стояли архиепископ Кентерберийский Чарльз Маннерс-Саттон, внук герцога Ретленда, и епископ Лондона Уильям Хоули, образованный, но, по словам Чарльза Гревилла, «очень ординарный человек», который сменит Маннерс-Саттона на посту архиепископа в 1828 г. В самом начале церемонии никто из присутствующих даже понятия не имел, какое имя уготовано новорожденной принцессе. Архиепископ держал девочку на руках и вопрошающе посматривал то на родителей, то на регента.
Наконец-то регент громко объявил: «Александрина». В комнате повисла гнетущая тишина. Отец ребенка нерешительно предложил назвать дочь Елизаветой. Регент недовольно поморщился, потом посмотрел на герцогиню Кентскую, которая была уже готова разрыдаться, и решительно добавил: «В таком случае дайте ей еще и имя матери, но оно не должно стоять впереди имени императора». Таким образом, девочку крестили под именем Александрина Виктория, и в течение первых лет жизни ее часто называли уменьшительно-ласкательным именем Дрина, что было производным от первого имени. За все время церемонии крещения регент не только не удосужился перекинуться хотя бы парой слов с герцогом Кентским, но и не счел необходимым пригласить на это важное событие своего другого брата, герцога Суссекского, с которым в очередной раз находился в ссоре. Тот жил в Кенсингтонском дворце и занимал апартаменты, обставленные полками с 50 тысячами книг и увешанные бесчисленным множеством настенных часов. Более того, регент не удостоил своим присутствием торжественный обед по случаю крещения девочки, а несколько недель спустя даже демонстративно повернулся к герцогу Кентскому спиной, когда встретил его на торжественном приеме в испанском посольстве. В конце того же месяца, увидев на военном параде герцога и герцогиню, которые, по его мнению, совершенно некстати взяли с собой маленькую дочь, регент недовольно поморщился и проворчал: «А что делает здесь этот ребенок?»
В этих условиях и речи не могло быть о финансовой помощи регента семье герцога, который, по обыкновению, был по уши в долгах и бездумно швырял огромные деньги на мебель и ремонт своих апартаментов во дворце Сент-Джеймс. Только на одни зеркала он потратил несколько тысяч фунтов стерлингов. Столь же большие суммы пошли на содержание его собственного загородного дома Касл-Хилл, что в Илинге. Вместе с мебелью и другими предметами обихода этот дом мог потянуть на 70 тысяч фунтов, однако когда герцог обратился с соответствующей просьбой в парламент, чтобы продать дом на аукционе, лидер палаты общин отказался даже обсуждать этот вопрос. Когда герцог захотел продать дом обычным способом, ему посоветовали подождать до весны, поскольку цены на загородную недвижимость повысятся. После этого герцог решил переехать на запад страны вместе с семьей и прислугой, где можно было бы вести скромный образ жизни, арендовать домик за весьма умеренную плату и где мать с ребенком будут «наслаждаться купанием в теплом море» и дышать благотворным чистым воздухом девонширского побережья.
Вместе со своим конюшим Джоном Конроем герцог Кентский отправился в Девоншир, остановился в Солсбери, где, хотя и сильно простудился, все же посетил кафедральный собор и даже повстречался с епископом Джоном Фишером, его юношеским наставником, который к тому же был дядей жены Джона Конроя Елизаветы — дочери генерал-майора Бенджамина Фишера. Из Солсбери он отправил письмо своей «любимой и дорогой женушке», которой писал практически каждый день.
В графстве Девоншир герцог и Конрой осмотрели немало домов на побережье, но ни один из них так и не устроил их. В конце концов они наткнулись в Сидмуте на очень приличный домик с готическими окнами и островерхой крышей. Герцог решил остановить свой выбор на этом доме, и перед Рождеством, когда земля уже покрылась снегом, все его семейство переехало на новое место жительства. Поначалу в доме было ужасно холодно и сыро. Герцогиня вместе с дочерью Феодорой часто выходили на свежий воздух и прогуливались вдоль берега, а герцог большую часть времени оставался дома и писал письма. Его часто беспокоил желудок, и тогда он жаловался, что это его организм «шарахается от местной воды, как черт от ладана».
В начале января 1820 г. герцог снова заболел, да так сильно, что герцогине пришлось срочно вызывать семейного врача доктора Уилсона. После тщательного осмотра тот высказал свою озабоченность здоровьем герцога. Вечером 12 января герцог пожаловался на резкую боль в груди и частые приступы тошноты. Вскоре после этого он впал в бессознательное состояние и стал бредить. Удрученная этим обстоятельством герцогиня ни на минуту не оставляла больного и даже послала сэру Дэвиду Дандесу в Лондон письмо с просьбой немедленно прибыть в Сидмут! Дандес был выдающимся медиком и непременно приехал бы к герцогу, но в то время он находился в Виндзорском дворце у постели умирающего короля Георга III. Вместо него в Сидмут прибыл доктор Мэйтон, личный врач королевы Шарлотты. Его приезд раздосадовал герцогиню. Тот весьма плохо говорил по-французски и еще хуже — по-немецки, а ее английский был еще не настолько хорош, чтобы легко общаться с врачом и выражать свое неудовольствие теми жестокими, как казалось, методами лечения, которые он, как и доктор Уилсон, предписывал своему беспомощному пациенту.
А состояние здоровья герцога ежедневно ухудшалось. Ему каждый божий день пускали кровь, ставили банки, делали горячие компрессы к груди и массу других процедур, однако его состояние не улучшалось. Осунувшаяся от отчаяния герцогиня писала своей подруге, что «на его теле уже не осталось ни единого живого места, на котором бы не ставили банки или не пускали кровь... Я не думаю, что для пациента это самое лучшее средство лечения. Он и так слаб, а тут еще такая потеря крови... Вчера он был невероятно истощен и ослаблен этими жестокими врачами». Находясь в полубессознательном состоянии, герцог все же смог подписать завещание, а после этого обессиленно повалился на подушку и снова утратил связь с реальностью. На следующее утро он тихо скончался, так и не придя в себя, Обожавшая мужа и убитая горем герцогиня стояла на коленях рядом с постелью и сжимала его холодеющую руку.