Как мужчине Щеголю, без сомнения, было проще. Будучи представителем королевского дома, он просто не мог не иметь любовниц. Для Каролины же уличение в супружеской измене означало бы конец обеспеченной жизни, что являлось для нее весьма деликатной проблемой, усугубляющейся еще и тем, что она понятия не имела о том, что такое деликатность.
По дворам европейских монархов поползли нехорошие слухи, а поведение Каролины только еще больше усложняло ее положение. Она часто появлялась на людях с глубоким декольте, позволявшим видеть ее соски. Косметику принцесса накладывала особой лопаткой. Она была радушной хозяйкой, но при этом беззастенчиво флиртовала с мужчинами. Иногда она уединялась на несколько часов с мужчиной-другом, а остальным гостям приходилось вежливо «не замечать» ее отсутствия. Дальше больше… Каролина принялась, как говорят, открыто хвастаться тем, что принимает у себя в постели мужчин, когда ей заблагорассудится, а «принц все это оплачивает». Щедро удобренные подобного рода заявлениями, слухи разрослись и распространились. Поговаривали, что у Каролины есть несколько любовников. Некоторое время дело ограничивалось сплетнями, но Каролина довела ситуацию до скандала, вынудив принца Уэльского подать на развод.
У принцессы была странная привычка подбирать сироток. К ее чести надо заметить, что, судя по всему, ее главной целью было найти им хорошую семью, в которой они могли бы расти. В 1802 году, впрочем, Каролина усыновила младенца по имени Уильям Остин, которого впоследствии знали под фамилией Уилликин, и начала всем говорить, что это ее родной сын. Почему принцесса решила, что ее шутка покажется кому-то смешной, неизвестно. Скорее всего, она хотела устроить маленький скандальчик. Ее доброжелатели, включая свекра короля Георга Третьего, отнеслись к слухам о бастарде как к очередной небылице, а у недоброжелателей не было никаких доказательств.
В 1806 году Каролина совершила чудовищную ошибку, настроив против себя Дугласов, своих недавних друзей и соседей. Именно в обществе леди Дуглас принцесса впервые назвала Уилликина своим сыном. После нескольких месяцев близкой дружбы, однако, Каролине соседи надоели, и она более чем прохладно встретила приехавшую к ней однажды с визитом леди Дуглас. Когда же леди написала Каролине письмо, в котором намекала насчет того, что знает секреты, которые та не желала бы сделать объектом всеобщего внимания, Каролина повела себя как нельзя глупее. Она начала слать бывшей подруге непристойные, несколько истерические «анонимные» письма, содержащие плохо выполненные рисунки – леди Д. во время сексуальных забав. Дугласы не сомневались в том, кто именно автор этих писем. На одном из них, между прочим, был оттиск королевской печати.
Обиженные Дугласы, которые, кстати говоря, все время находились в стесненном финансовом положении, направились прямиком к принцу и дали понять, что готовы под присягой заявить, будто бы Уилликин незаконнорожденный ребенок Каролины. Ко всему прочему леди Дуглас обвинила принцессу в том, что та прикасалась к ней и пыталась поцеловать так, как этого делать не следует. Вооружившись их свидетельствами, принц Уэльский потребовал расследовать предполагаемую неверность живущей отдельно от него супруги. «Деликатное расследование», как оно официально именовалось, было возложено на тайный правительственный комитет. Допросили всех, начиная от ливрейного лакея Каролины и заканчивая Томасом Лоуренсом, писавшим с нее портрет. Родная мать Уилликина засвидетельствовала под присягой, что отдала своего сына принцессе, когда тому исполнилось четыре месяца. Комитету ничего не оставалось, как снять с Каролины все обвинения. Щеголю не удалось так легко заполучить развод.
Каролина выиграла и другой суд, суд общественного мнения. Хотя расследование должно было вестись втайне, информация о происходящем, как всегда в таких случаях, просочилась в придворные круги. В газетах печатались документы, каким-то образом украденные из комитета. Каролина завоевала симпатии английской публики, представ в роли оклеветанной жены и матери, которой не дают видеться с собственной дочерью. Но в большей мере поддержка объяснялась всеобщей неприязнью к Щеголю. Британский народ и пресса не питали симпатии к дуракам, а особенно к страдающих ожирением пьяницам-дуракам, которые транжирят деньги налогоплательщиков на любовниц и вино. Романистка Джейн Остин в 1813 году писала о Каролине: «Бедная женщина! Я буду всегда на ее стороне, потому что она женщина, а я ненавижу ее мужа».