Тази тъй похвална въздържаност би трябвало да осигури на Байрон спокойно пребиваване. Но мъжете обикновено не виждат действителната същност на нещата. На мястото на истинския образ те виждат фиктивния, създаден от приказките. Ако Дон Жуан се въздържи да погледне някоя жена, приписват му се най-страшни намерения. Така и горкият Байрон пожела веднъж да уважи мира в едно приятелско семейство, здравето на една крехка жена и ето че съпругът стана нервен, раздразнителен и го заподозря — такова безразличие крие сигурно опасни планове.
Байрон до лейди Мелбърн:
Уебстър става нетърпим. Дразни се от италианските ми книги (Данте и Алфиери) и ме моли да не ги показвам на жена му, защото — дяволите да го вземат! — езикът им можел да й причини безкрайно зло!!! Питам го как са Станъпови, наши общи приятели, а той ми отговаря: „Я кажете, така ли питате и за жена ми другите хора?“ Както виждате, изглежда, че моята добродетел води със себе си възмездието — защото никога, нито с думи, нито с действия, не съм задирял жена му… Тя е хубава, но не е нещо изключително, прекалено слаба и безжизнена; но има добър характер и нещо интересно в маниерите и осанката; разбира се, аз никога не бих помислил за нея или за която и да било, ако останеше до мен, защото нямам нито търпението, нито самоувереността да пристъпя пръв, ако не ме пресрещнат по средата на пътя.
И наистина, понеже не беше самомнителен, Байрон никога не пристъпваше, ако не беше сигурен, че ще го пресрещнат. „Мога да заявя — беше казал той напълно честно, — че никога не съм съблазнил никоя жена.“ Той с изненада следеше любовните си успехи така, както и литературните. Леснодостъпността на жените продължаваше да го удивлява и в същото време дълбоко да го възмущава. Още с пристигането си в Астън Хол той беше убеден, че не представлява никакъв интерес за тази млада, спокойна, руса жена, която го гледаше доста хладно изпод дългите си мигли. Но както по-голямата част от Елвирите89, лейди Франсис беше готова да измине малко повече от средата на пътя. Тя уреди да останат сами с Байрон в залата за билярд.
„Преди това ние бяхме в приятелски отношения; спомням си, че ми беше задала странен въпрос: «Ако една жена харесва някой мъж, а той не го е разбрал, как да му даде знак?» Забелязах също, че играем билярд, без да броим ударите; това ме накара да предположа, че щом моите мисли не са погълнати от привидното ни занимание, то и мислите на партньорката ми също не са. Доволен от успеха си, но в желанието си да получа повече, предприех една непредпазлива стъпка — с перо и хартия, — написах едно послание в проза, доста нежно и доста сносно… Разбира се, поемах риск. Как да й го дам? Как ще бъде прието? То бе много добре прието и поставено недалече от сърцето, за което бе предназначено; в същия момент видях в стаята да влиза този, който трябваше по това време да бъде в Червено море, сатаната притежаваше поне малко вежливост. Тя запази самообладание, но и листа… Писъмцето ми успя — нещо повече дори (в този момент ме прекъсва il Marito90 и аз продължавам да пиша пред него; носи ми в ръкопис някакъв политически памфлет, написан от него, който трябва да разчета и да похваля — ще се задоволя с похвалите; ох, отиде си!), предизвиква отговор, не особено утвърдителен, но с много приказки за добродетелта и възвишената любов, която интересува най-вече душите — нещо, което не разбирам много добре, като лош метафизик; но обикновено всяка любов завършва и започва платонично и тъй като моят прозелит91 е само на двадесет години, имаме време да стигнем до нещо сериозно. Надявам се все пак, че духовният период няма да продължи много дълго: във всеки случай трябва да се опита… Спомням си, че при последното ми преживяване ходът на нещата беше съвсем обратен и както съветва майор О’Флаерти, «първо се сражавахме, после се обяснявахме». Засега положението е такова; безкрайни взаимни обяснения, меланхолично настроение; което за мое съжаление бе забелязано от Мавъра, и толкова доказателства за любов, колкото могат да се дадат за това време, на това място и при тези обстоятелства… Лека нощ, връщам се при билярда.“
И така, след този изненадващ ден Байрон, който бе дошъл със сърце, запълнено от друга, започна една от най-неочакваните авантюри (и което беше по-важно) — една платоническа авантюра. Лейди Франсис му беше казала, че каквото и чувство да изпълва сърцето й, той няма да получи друго доказателство освен това признание. Той й бе отговорил, че й е всецяло отдаден, че приема поставените условия и че никога без нейно съгласие няма да направи и най-малък опит да я отклони от обещанието й… Всецяло отдаден? Нима беше искрен? Толкова бързо ли бе забравил Огъста? И той самият се чудеше. Но наистина беше така и най-малко той можеше да се лъже. Тази млада крехка жена, почти момиче, го бе развълнувала. С целомъдрено сърце, защото не бе познавала дотогава друг мъж освен грубия си marito, тя напомняше на Байрон за Мери Чауърт — все още властвуваща в душата му тема. „Сладка като спомена за погребана любов.“ Един ден беше написал този стих. От всички гробове, сред които обичаше да живее, гробът на покойната му любов бе най-скъп на сърцето му. Сантиментален под маската на презрението, неизлекуван напълно от надеждата, той мразеше лицемерната чистота, която бяга само за да бъде гонена, но ценеше нежните чувства, щом усетеше, че са искрени. Свенливият вид, мълчанието, бледото лице имаха за него много по-голяма сила, отколкото страстните излияния на Каролайн Лам.