Несмотря на симпатии простых людей, британская аристократия относилась к Каролине без особой теплоты. Ее изоляция стала практически полной, после того как в 1811 году Георга Третьего объявили психически невменяемым. Принц Уэльский официально был провозглашен регентом при больном отце, что означало: каждый, кто хотел быть принят при дворе, не должен был быть замеченным в дружеских отношениях с Каролиной. К тому же принцесса совершила непростительное преступление с точки зрения утонченного английского светского общества: она превратилась в зануду. Ее несчастные фрейлины с трудом выносили бесконечные жалобы Каролины на ужасное отношение со стороны членов королевской семьи. Принцесса обожала распространяться насчет того, как она ненавидит всех своих родственников со стороны мужа и на какую ужасную казнь она обрекла бы их, будь на то ее воля. Иногда после ужина Каролина развлекалась тем, что втыкала булавки в восковую куклу, внешним видом напоминавшую мужа, после чего бросала ее в огонь. За это ее бы обезглавили, живи она во времена Анны Болейн. (Смотрите главу «Принцессы-ведьмы» на с. 85.)
В августе 1814 года Каролина покинула Англию и шесть лет провела в путешествиях. Оказавшись в октябре в Женеве, толстая и краснощекая женщина сорока шести лет поставила всех и саму себя в щекотливое положение, когда появилась на балу, который давали в ее честь, «одетая как Венера, то есть обнаженная до пояса». Спустя год английский аристократ, встретив Каролину в Генуе, писал, что это «толстая женщина пятидесяти лет», «низкорослая и краснолицая». На ней был «розовый корсет, едва прикрывающий грудь, и белая юбка, заканчивающаяся чуть ниже колен». Другой путешественник описывает черный парик и «белое платье», разрез которого доходил чуть ли не до живота.
Каролина колесила по Европе и по странам бассейна Средиземного моря. Иногда ее принимали в аристократических домах, но чаще пренебрегали обществом принцессы, особенно когда узнавали о ее странном поведении. К концу 1815 года Каролину покинули последние порядочные люди, которые прежде составляли ее свиту. Теперь принцессу окружал всякий сброд – прихлебатели, авантюристы, бродячие лицедеи, музыканты и темные личности самого низкого происхождения. Принцесса, не таясь, липла при свидетелях ко всем подряд, начиная с короля Неаполя (зятя Наполеона, а значит, врага Англии) и заканчивая лакеем-итальянцем. Так, по крайней мере, болтали между собой люди. Разрыв Каролины с королевским двором был настолько полным, что ей даже не сообщили о предстоящем замужестве ее дочери Шарлотты, которое состоялось 2 мая 1816 года. Когда Шарлотта умерла во время родов, ее мать жила на вилле в Италии, на берегу озера Комо. О смерти дочери Каролина узнала из газет.
В январе 1820 года умер сумасшедший бедолага Георг Третий. Щеголь стал их величеством Георгом Четвертым. Муж наотрез отказался признавать Каролину своей королевой. В июне того же года его министры предложили женщине астрономическое содержание в пятьдесят тысяч фунтов стерлингов в год (около шести миллионов долларов) за отказ от титула и согласие никогда не возвращаться в Англию. Вместо этого Каролина, пылая праведным гневом, устремилась обратно, истерично вопя о своих попранных правах.
У Каролины нашлись в Англии сторонники. Несмотря на длительное отсутствие принцессы, британцы полюбили ее еще больше, когда увидели, что эта женщина ничуть не считается с мнением всеми ненавидимой королевской семьи. Возвращение Каролины в Англию сопровождалось уличными выступлениями ее сторонников, большинство из которых вылились в массовые беспорядки. Толпа била камнями стекла во дворце короля и скандировала: «Нерон! Нерон!» Даже армия могла взбунтоваться в любую минуту. А тем временем две главные политические партии страны опоясались мечами. Виги, которые были в то время в оппозиции, приняли сторону Каролины. Тори, королевские любимчики и правящая партия, вступили с ними в полемику. Георг объявил, что скорее отречется от престола, чем позволит Каролине стать королевой.