Перед этим Каролина Лемм от имени леди Мельбурн передает на суждение Байрона, без ведома автора, стихи некой молодой особы Анны Изабеллы Мильбенк и добивается мнения Байрона об ее творчестве. В мае 1812 года Байрон пишет Каролине Лемм следующее письмо: «Дорогая моя леди Каролина! Я прочел со вниманием стихотворения мисс Мильбенк. В них фантазия и чувство настолько хороши, что если немного практики, то появится навык и легкость выражений. Она бесспорно необыкновенная девушка. Кто мог бы подумать, что под этой спокойной внешностью таится такая сила и таксе разнообразие мысли? Однако я полагаю, что мисс Мильбенк нет необходимости выступать в качестве писательницы. Я вообще не считаю похвальным печатание произведения ни для мужчин, ни для женщин, я сам нередко стыжусь этого, хотя вы и не поверите мне. Но я без колебания говорю вам, — она обладает той мерой таланта, который может вырасти, если она будет его растить. Она может получить известность. Только что был здесь один из моих друзей (пятидесятилетний писатель… нет, нет не Роджерс). Под стихами нет подписи, я показал их моему другу. Его похвалы превышают даже мои». Письмо заканчивается своеобразным абзацем: «Я не питаю желания ближе познакомиться с мисс Мильбенк, она слишком хороша для падшего духа. Она больше нравилась бы мне, если бы меньше были ее совершенства».
Разрыв с Каролиной Лемм произошел. Через несколько лет эта покинутая женщина едва не стала писательницей. Она изобразила своего вероломного любовника в романе «Гленервон», причем осталась верна своему характеру. Герой, пожиратель сердец, он, конечно, мрачный, пиратообразный. Но каждая строчка Каролины Лемм, даже там, где она стремится ненавидеть Байрона, дышит настоящей любовью и говорит скорее о милых и детских чертах самого автора, чем о дурных свойствах изображаемого героя. Недаром, когда враги предполагали выпустить итальянское издание «Гленервона», а друзья хотели помешать этому выпуску, Байрон не только не помешал, но предложил издателю денежную помощь.
Что касается мисс Мильбенк, то она, не сделавшись знаменитым поэтом, в январе 1815 года сделалась женой Байрона. Этому предшествовал ее отказ на первое предложение со стороны Байрона. Легкость, с какой Байрон перенес этот отказ, убеждает нас в том, что он, как человек сильный, нашел наилучшую форму самоубеждения: он определил себя, как виновника отказа мисс Мильбенк. Письма тогдашнего времени полны уверений в том, что Байрон не считает себя достойным всех совершенств мисс Анабеллы. Он не только писал это, но он старался поведением доказать, что он действительно недостоин мисс Мильбенк. Он писал о себе в записках, которые называл «отрывочные мысли»: «Я любил общество денди, они всегда были очень предупредительны ко мне, но они недолюбливают литературу и делали неоднократно госпожу Сталь, Льюиса и других предметами жестокой мистификации. Сам я в молодости был склонен к дендизму и хотя рано отстал от него, но в двадцать четыре года у меня было еще достаточно старых привычек, чтобы примирить с собою дендизм. Я азартно играл, пил, играя, добился университетского диплома и вел очень рассеянный образ жизни. Я не был педантом, мне чуждо властолюбие, я мирно уживался со всеми денди. Я был почти со всеми знаком, они меня избрали членом великолепного Вотьеровского клуба, несмотря на то, что, кажется, я был у них единственным представителем презираемого литературного мира».
Продолжая вести светский образ жизни, Байрон встречался с трагическим актером Кином, с Вальтер Скоттом, с поэтом Роджерсом и очень сошелся с оратором и драматургом Шериданом. Невидимому колебания между двумя житейскими планами достигли своего апогея именно в этот год, после отказа мисс Мильбенк. Опять была сделана попытка оборвать мирное течение жизни-и броситься в чужие страны. Корабль «Бойн» уходил в дальнее плавание; Байрон выхлопотал себе разрешение на офицерскую каюту. Сохранилось письмо, в котором он назначает секретарю адмиралтейства последним сроком выезда «субботу». Но многие субботы прошли, а Байрон все оставался в Лондоне, ведя рассеянный образ жизни, — по одним биографическим сведениям, — заканчивая ориентальные поэмы в качестве послесловия к восточным мотивам «Чайльд Гарольда», — по другим биографическим сведениям. Очевидно, и то и другое характеризовало этот период жизни Байрона. И не только это, — необходимо отметить, что чередование светских безумств и поэтического творчества имело какой-то закономерный характер, и остается только удивляться слепоте некоторых биографов, которые не сумели или не желали отметить острых политических разочарований, приведших Байрона к таким конфликтам внешнего порядка, которые повлияли если не на его литературное творчество, то во всяком случае роковым образом сказались на его житейских обстоятельствах.