Да публикува поема за кръвосмесителна любов, беше опасно; да признае, че тази поема беше свързана със собствения му живот — още повече. Впрочем той писа на Голт: „Първата част е извлечена от наблюденията върху собствения ми живот“, а на лейди Мелбърн: „Новата ми турска история скоро излезе… По известни причини тя ще Ви заинтересува повече, от всеки друг… Искам да знам дали считате, че зад това, което пиша, прозирам аз, или не.“ Защо бяха тези самопризнания? Защо не си мълчеше?… Защо? Нима можеше да направи друго? Той далеч не беше в състояние като Огъста да забрави така лекомислено постъпките си. Непрекъснато преповтаряше грешките си, мислите си. „Вземам някоя книга и я захвърлям. Започнах една комедия и я изгорих, защото сюжетът отново засягаше действителността; започнах роман — пак същото нещо. В стиховете мога да се държа малко по-далеч от фактите, но тази мисъл се натрапва във всичко… да, във всичко.“
За успокоение след завръщането си той започна да си води дневник; вдъхновеният допир на Байроновия дух с реалното, суровата поетичност на сбитото изложение правеха от този дневник шедьовър. В него той на всеки ред постигаше онази магия, която в „Чайлд Харолд“ съществуваше само в няколко строфи — виждаше себе си изцяло. Неговата себичност, „неговата проклета себичност“ караше мислите му да се блъскат върху страниците със същата сила и искреност, както в съзнанието му. Животът му вече представляваше само дълъг диалог на Байрон с Байрон. Вечер, когато затваряше дневника си, Байрон пишеше на Байрон: „Започвам да се прозявам, тогава лека нощ, Байрон.“ Той регистрираше външните събития, но така, както би ги регистрирал някой наблюдател от висока скала, смесвайки със самонадеяно безразличие тигъра и слона, които бе видял в някаква менажерия, с Клеопатра на Шекспир, която го удивляваше „като обобщение на женския пол — любеща, жива, тъжна, закачлива, скромна, надменна, красива, проклетницата! — и кокетка докрай както с Антоний, така и с усойницата.“
Няма документ, който по-добре да е разкрил непроменливата му душа. След петнадесет години той все още въздишаше по своята любов към малката Мери Дъф: „Ако я видя сега, ще ми бъде мъчно; действителността, колкото и хубава да е, би могла да разруши или поне да направи по-смътни чертите на прекрасната Мери, която тогава съществуваше в нея и още живее в моето въображение.“ Привидно той водеше весел живот — вечеряше с Муър, с Шеридан, боксираше се с Джексън и бягаше от мадам дьо Стал, която го отегчаваше. Но чувствата са трудно доловими по външните белези. Той страдаше… Мисълта му се рееше… Какво да направи, за да забрави?… Да се заеме с нещо?… Може би там беше спасението му. Той винаги бе мислил, че е създаден за действие, а не за поезия. „Кой би писал, ако имаше какво по-добро да прави? «Действие, действие, действие» — казва Демостен. Действия, действия — казвам на свой ред и аз, и никакво писане, поне на стихове…“ Прозявайки се като голям див звяр, затворен в клетката на света, той ходеше от вечеря на бал и мислеше за мълчаливия Ориент. „Защо стоя тук? Не съм, нито някога съм бил, нито мога да бъда популярен… Никога не съм печелил хората — онова, което ми дадоха, е било само от каприз. Тук животът ми се прахосва; там бях непрекъснато в действие или поне в движение… Отвратен съм от живота на мекотело, който водя, и мразя цивилизацията.“
Образът на лейди Франсис първи бе прогонен. Тя му пишеше писма с твърде много душевни излияния в стил Каролайн — и това го уморяваше. „В крайна сметка, ако има хора, които искат да спрат на сегашното време на глагола обичам, не трябва да се учудват, когато спрежението завърши в друго време.“ „Колко бързо забравяте!“ — казваше му лейди Мелбърн. „Но в името на свети Франциск, в името на Пигмалион и неговата статуя — в случая какво толкова има да забравям? Няколко целувки, които не й сториха никакво зло, нито на мен — добро.“ Едно малко приключение — ето какво беше епизодът Уебстър, но той му потвърди схващането за жените. Безсъмнено лейди Франсис щеше да завърши с нов любовник, но по-смел от него. „Не е възможно тя да обича човек, който се е показал толкова слаб, какъвто бях аз към нея.“