Ако пропуснеше някой ден да отиде при нея, тя му изпращаше един от странните си малки пажове, с които се беше обкръжила. Понякога самата тя се обличаше като паж, за да му занесе няколко думи: „Сцена, достойна за «Фобла»80“, отбелязваше Байрон, който ненавиждаше екстравагантностите. Тя беше станала близка с Флетчър, на когото изпращаше бележки с молба да й отвори апартамента. Ако не беше поканена на някой бал, на който Байрон беше отишъл, тя го чакаше на улицата, без да се стеснява. „Вашата малка, приятелка Каро Уилиям — пишеше дукеса Девъншър, — върши какви ли не неразумни неща за него и с него… Байрон най-после ще тръгва за Наксос и съпрузите ще могат да си отдъхнат. Няма да се учудя, ако Каро Уилиям тръгне с него — тя е толкова луда и неблагоразумна.“
Това открито обожание, което би трябвало да трогне Байрон, всъщност го дразнеше; той считаше, че тя го прави за смях и дори проклинаше любовта, чийто обект бе той. В очите му на млад калвинист, закърмен с Библията, лейди Каролайн беше блудница. „Като Наполеон — пишеше той — аз винаги съм изпитвал презрение към жените и мнението си за тях не го създадох прибързано, а въз основа на своя фатален опит. Вярно е, че в това, което пиша, има стремеж към превъзнасяне на този пол; въображението ми винаги е издигало жените до красив идеал, но подобно на художника или скулптора и аз ги рисувам не такива, каквито са, а каквито би трябвало да бъдат… Тук у нас те водят неестествен начин на живот. Турците и ориенталците решават тези въпроси много по-добре. Държат жените затворени и те са по-щастливи. Дайте на жената огледало и няколко бонбона, и тя ще е доволна.“ Но Уилиям Лам не беше турски съпруг. Дневникът му ставаше тъжен: „Ужасното в брака е това, че нищо не е установено. Мнението на жените за мъжете им се подобрява или разваля според онова, което чуват за тях от другите, така че ние зависим от най-баналната забележка… След брака мъжът заема отбранително положение в обществото, докато преди това е имал преимуществото на нападател.“
Осведомена вече достатъчно, лейди Безбъро беше още по-неспокойна и от зет си. В младостта си тя бе изживяла бурни дни и връзката й с лорд Гранвил е била всеизвестна на времето. Но никога не бе стигала до положението на дъщеря си — да се преоблича като кочияш, за да може ненадейно да влезе при любимия си и да провери какво прави, или да го чака права на дъжда, докато излезе от някой бал. Отчаяна, лейди Безбъро покани на разговор Хобхаус, за да сподели тревогата си от тази злополучна връзка, която позореше две семейства. Хобхаус винаги бе готов да „чете морал“ на приятеля си, но какво зависеше от него прекъсването на връзката? Също като лейди Безбъро Байрон беше изморен от своеволията на Каролайн Лам. Той не го скриваше от лейди Мелбърн, която бе жена без предразсъдъци и като опитен психолог обсъждаше на драго сърце авантюрата на снаха си с нейния любовник. Той сто пъти предпочиташе компанията на Том Муър или на Хобхаус пред тази на една безсрамна жена.
Байрон имаше и по-сериозни развлечения — Анабела Милбанк го срещна на една сказка върху религията. „Той се въртеше странно на стола си всеки път, когато чуеше тази дума.“ Тя завършваше престоя си в Лондон, като посещаваше курс на тема гъстотата на земното население, по която си водеше научни бележки. Байрон считаше за смешна такава любов към науката у една жена и в разговорите си с лейди Мелбърн бе кръстил мис Милбанк „Принцесата на паралелограмите“. Въпреки това и сякаш пряко волята си той изпитваше към нея чувство на уважение. Тази добре сложена девойка, която говореше за гъстотата на земното население, поне беше непорочна.
Каролайн беше показала на Байрон няколко поеми на братовчедка си по нейна молба. Той ги бе намерил доста интересни: „Тя е наистина изключително момиче; кой би помислил, че под този спокоен външен вид се крие толкова сила и такава разнообразна мисъл?“ И беше добавил: „Нямам никакво желание да познавам по-отблизо мис Милбанк, тя е много добра за един грешник, и ако беше по-малко съвършена, сигурно щях да я обичам повече…“ Прекалено съвършена… Тя прочете това мнение, защото писмото бе предназначено да й бъде показано. Прие го със скромност и скрито самодоволство. Единственото й несъвършенство беше, че знаеше съвършенството си. Обожавана от родителите си като единствена дъщеря, получила предложение за брак от пет-шест млади мъже още при първото си появяване в обществото, тя се чувствуваше непогрешима. Великодушна и дори пламенна по душа, тя изглеждаше понякога пресметлива и студена, защото искаше да подчинява на разума всичките си постъпки. Преценките й бяха резки, строги. С ума си на добра математичка тя смяташе, че знае всичко с точност, та поетичните и повърхностни познания на една Каролайн Лам й изглеждаха без стойност. Детинщините на братовчедка й я дразнеха. Тя казваше за нея: „Новото й увлечение по Байроновата меланхолия разваля очарованието на обичайната й глупост“, както и: „Каро Лам е готова да предизвика общественото мнение, но не би имала смелостта да се откаже от вниманието и учудването на обществото, слизайки от ярките висини на Лудостта до скромната пътечка на Разума.“ Тя самата следваше пътеките на разума, но дали ги следваше скромно?