Тя искаше да издействува за дъщеря си една среща с Байрон; лейди Оксфорд (много разумно) се противопостави. Уилиям Лам, като намери жена си обляна в сълзи, реши, че Байрон я е обидил, отказвайки да я приеме. „Това наистина е смешно: ако говоря с жена му, той се обижда, ако не й говоря, тя е обидената.“ Лейди Мелбърн го посъветва да приеме срещата в присъствието на свидетел, Байрон каза, че ще се съгласи само ако свидетелят бъде лейди Оксфорд.
Накрая срещата се осъществи от само себе си на един бал у лейди Хиткът. Присъствуваше и лейди Мелбърн, с големи пера, забодени в белите коси; тя беше тогава на шестдесет и една години и все още една от най-привлекателните жени на вечерта. Там беше и лорд Грей Шеридан. Светлината на свещите, отразена от големите кристални канделабри, моделираше меко красотата на жените. Изведнъж тълпата се разтвори, за да огледа с жив интерес пристигащия с накуцване Байрон, който изглеждаше блед и „почти зловещо красив“. Той се озова лице в лице с Каролайн, която го погледна с обезумели очи.
В този момент оркестърът засвири първите тактове на валс и домакинята, леко притеснена, каза: „Хайде, лейди Каролайн, трябва да откриете бала.“ — „О, разбира се — отвърна Каролайн, — аз съм в много весело настроение“ — и като се наведе към Байрон, прошепна: „Надявам се, че сега мога да танцувам?“ — „С всички тези мъже подред — отговори Байрон саркастично. — Вие винаги сте танцували валс по-добре от всеки и с голямо удоволствие ще Ви гледам.“ Тя танцува, после се почувствува зле и отиде в малката зала, където беше сложена вечерята. Лорд Байрон влезе с една дама под ръка и като я видя, каза: „Възхищавах се на грацията Ви.“ Тя грабна един нож. „Хайде, мила, хайде, но ако искате да разиграете римска трагедия, забийте го във Вашето сърце, а не в моето. Моето вече сте го ранили.“ Тя извика: „Байрон!“, избяга с ножа и никой не видя какво точно стана. Едни казаха, че се е ранила, други, че щяла да припадне, поискала чаша с вода, счупила я и се порязала със стъклените парчета. Така или иначе, тя цялата бе в кръв. Байрон вече бе минал в съседното помещение, когато дойдоха да му съобщят за случилото се. Той презрително каза: „Един от поредните й фокуси.“
Случката предизвика голям шум и един малък вестник, „Satirist“, публикува статия под заглавие „Scandalum Magnatum“. „Предпочитанието на лорд Б. към друг красив обект вбеси така силно лейди К. Л., че в пристъп на ревност тя грабна един нож и се прободе… Казват, че съпругът на дамата е за оплакване, защото опитът за самоубийство не е сполучил. Лейди К. Л. е още жива.“ Няколко седмици по-късно тя има смелостта да посети Байрон в дома му. Той беше излязъл, но тя накара да я пуснат, намери на масата една книга — „Ватек“ на Бекфорд — и написа на първата страница: „Спомняй си за мен.“ Когато се върна, Байрон намери книгата отворена и видя този толкова познат почерк. На един дъх написа:
Нищо по-типично за характера на Байрон от това свързване на любовника с мъжа в обвинението срещу жената, чието най-голямо — и всъщност наистина непростимо — престъпление беше, че го обича.
В действителност на него му бе дошло до гуша. Ако любовта трябваше да води до такива приключения, най-благоразумно беше да се избягват жените. Дори Чародейката, която беше толкова разумна, понякога го бе карала да страда. Непостоянна и свободолюбива, случваше й се да проявява внимание към друг мъж, като си оставаше в същото време приятелка на Байрон. Тогава лорд Оксфорд потъваше още по-навътре в гората, а Байрон се виждаше отстранен за известно време по един неприятно откровен начин. Той узнаваше всеки път от нея истината и ставаше все по-тъжен, че я губи, защото уважаваше жестоката й откровеност:
Тримата крояха приятни планове за едно пътуване в Сицилия, когато лорд Оксфорд, разтревожен от глупавите приказки на някакво семейство, реши — както обикновено става — да ревнува жена си от лорд Байрон точно тогава, когато той самият имаше пълни основания да бъде ревнив. Лейди Оксфорд бързо потуши бурята в душата на стареца с успокоителни лъжи, но бе взето решение, че тя ще отиде на пътешествие в Средиземно море сама с мъжа си и, както писа Байрон, „щели да бъдат много щастливи и да имат много деца“. Тя замина на 28 юни 1813. „Лейди Оксфорд отпътува вчера и сега, скъпа лейди Мелбърн, бъдете така добра да не ми говорите повече за нея. Ако трябва да ви кажа истината, чувствувам се много повече в положението на Каролайн, отколкото съм очаквал.“