След бурните сцени и разправии майка и син изпитваха угризения. Байрон търсеше извинения за майка си. „Със съжаление трябва да кажа, че старата дама и аз не се разбираме като агънца в една кошара, но мисля, че причината е в мен… Не желая да се разделям с нея напълно, защото вярвам, че ме обича; тя го показва с много неща и по-специално с парите, които никога не ми липсват… Но поведението й е толкова странно, капризите й са толкова невъзможни за задоволяване, че лошото натежава, за да може да се уравновеси с приятните й качества.“
Това редуване на великодушие с ярост играеше опасна роля при навлизането на младия човек в живота. Както укоряваше майка си, Байрон така и придобиваше навика да й подражава. Бурните кавги, в които се казваше всичко, от мъчение станаха за него навик. Той си даваше сметка за това. И се укоряваше с неумолимо ясно съзнание. Искаше му се да се раздели с тази жена. „Такава е, Огъста, ето такава е майка ми… Моята майка! От днес нататък се отричам от нея.“
Огъста се постара да помогне с каквото можеше. Написа на Хансън няколко писма, в които тактично и сдържано му обясни това, което ставаше, и изрази опасенията си, че мисис Байрон е започнала да пие и че й се струва желателно през следващата ваканция Байрон да бъде изпратен на друго място, например при самия Хансън, ако той би искал да го приеме. Отиде да поговори за положението и със своя приятел и братовчед лорд Карлайл. Той заяви, че е готов да даде разрешението си за всичко, стига само да не го принуждава да влиза в преки връзки с мисис Байрон, която продължаваше да му вдъхва ужас.
Краят на ваканцията беше тъжен. Мисис Байрон получи писмо от Шотландия, в което й съобщаваха за женитбата на Мери Дъф, хубавата братовчедка, която синът й бе обичал и бе галил така нежно, когато беше на девет години. Тя разказа със злорадство новината за тази женитба. Изпитваше скрито удоволствие да нарани тъй отчуждилия се от нея син, като не допускаше, че едно детско увлечение може да бъде толкова силно, че още да не е изгаснало. Начинът, по който Байрон реагира, я ужаси: „Не мога да опиша чувствата, които изпитах тогава, но те ме накараха да се гърча от болка, което така силно уплаши майка ми, че след като се съвзех, тя избягваше тази тема, поне пред мен, задоволявайки се да я разказва на всичките ни познати.“
Същата година той се сбогува с Мери Чауърт. По време на ваканцията, която прекарваше в Саутуел, на няколко пъти го бяха канили в имението Анзли, но притегателната му сила вече беше изчезнала; ясно беше, че този толкова хубав роман е бил за нея само игра… Ваканция на едно куцо момче. Всички знаеха, че е сгодена за Джак Мъстърс. Байрон още веднъж отиде да се разходи с нея на Хълма на диадемата. Този път й говори много сдържано. Беше сменил пламенния си, възторжен тон с пренебрежителен. „Следващият път, когато ще ви видя, предполагам, че ще бъдете мисис Чауърт?“ — „Надявам се“ — отговори тя.
Твърде груб отговор; но защо, питаше се тя, Байрон беше тъй ироничен? Тя беше проявила снизходителност към лудориите на един ученик, а ето как той я възнагради. Байрон й направи едно последно посещение. Чакаше я в параклиса. Беше блед, седна, надраска няколко реда на лист хартия и поклати отчаяно глава. Целият потръпваше. Тя влезе усмихната. Знаеше, че я обича, че е нещастен. Той стана, взе хладно ръката й, размениха още по една усмивка, после той изскочи навън, метна се на коня си и премина за последен път през голямата арка. Тя се омъжи в началото на следващата година. Един истински циник би станал приятел на брачната двойка и би чакал от бъдещето реванш, но Байрон твърде искрено бе обичал Мери Чауърт, за да бъде способен на сантиментален макиавелизъм спрямо нея. Освен Огъста и (кой знае?) може би мисис Байрон (защото тя разбираше повече, отколкото си даваше вид, горката Знатна вдовица, и искаше да успокоява, а знаеше само да наранява) никой не узна какви опасни промени предизвика в душата на Байрон тази женитба. Няколкото месеца, през които наивно бе вярвал, че може да се ожени за Мери Чауърт, бе мечтал само за кротка и идилична любов. Поражението го хвърли „сам в едно безбрежно море“. През 1804 година Огъста считаше брат си за въодушевен и нежен младеж; когато го видя отново през 1805 година, характерът му бе така напълно променен, че тя едва го позна.