Когато влизаше в Камарата на лордовете, минаващите го обиждаха; в самата зала никой не говореше с него освен лорд Холънд. Консерваторските вестници го сравняваха с Нерон, с Хелиогабал, с Хенри VIII и с дявола. Роджърс, по садистичната си природа събрат на Байрон, се бе натоварил да го държи в течение на най-злостните статии. „Сигурен съм — казваше той, влизайки в стаята на Байрон с вестник в ръка, — че и тук ще има нападки срещу Вас; не обръщайте никакво внимание.“ Той разгръщаше вестника и започваше да чете кратката статия, поглеждайки от време на време Байрон, за да види дали страда. Статията продължаваше: „Колкото до този дребен поет, до този неприятен индивид, мистър Самюъл Роджърс…“ Роджърс ставаше и хвърляше вестника. — „Това трябва да е от оня долен Крукър“ — казваше той и съветваше Байрон да предизвика автора на дуел.
Либералите не смееха да го защищават. Животът му не се различаваше от този на неговата класа и на неговото време, но той бе допуснал непростимата грешка да стане известен. Лейди Мелбърн някога го бе предпазвала от цинизма — сега тя вече не можеше да го спаси. Лейди Джързи, смелата приятелка, се опита да плува срещу течението и даде бал, на който покани Байрон и Огъста. При влизането на брата и сестрата салоните се изпразниха пред очите им. Горката лейди Джързи! Въпреки млечнобялото си лице, кораловите колиета, живите си очи, въпреки бъбривостта си и жестикулациите си, не можа този ден да победи омразата. Единствената жена освен нея, която се съгласи да говори с Байрон и Огъста, беше хубавата мис Елфинстън с червеникавата коса. Мъжете се показаха безпощадни; някои от тях се измъкнаха, за да избегнат ръкуването с Байрон. Той застана в един ъгъл, кръстоса ръце и загледа с презрение тази враждебна тълпа, наблюдавайки поведението на всеки поотделно. От тази вечер нататък той стана по-твърд. „Странно е, но всяко вълнение, от какъвто и вид да е, винаги събужда куража ми и за известно време ме изправя на крака.“ Големият му погром му носеше онова, от което най-много се нуждаеше — голямата роля, която той искаше да играе, та ако ще и гибелна да бъде. Имаше някаква красота в това отхвърляне от обществото. Прогонен от собствения си вътрешен рай, той се чувствуваше заточен от страната си по най-груб и очебиен начин. Така да бъде. След като Англия се разделяше така с него, той щеше отново да тръгне да странствува.
От всички, с които изгнанието щеше да го раздели, той съжаляваше само за една: Огъста. В неделя, на Великден, 14 април, тя дойде да се сбогува с него. Понеже отново щеше да ражда, тя трябваше час по-скоро да се върне у дома си. Двамата прекараха една тъжна вечер, през която той за първи път й говори за угризенията си и много дълго плака. След заминаването на мисис Ли за Сикс Майл Ботъм Байрон писа на Анабела, за да я помоли да се грижи за сестра му.
„Още няколко последни думи… кратки и такива, за които Вие ще си дадете сметка. Отговор не чакам, това няма голямо значение, но поне ме чуйте. Аз току-що се разделих с Огъста, последният човек, който ми оставихте за сбогуване… Където и да отида, а аз ще бъда далече, Вие и аз никога няма да се срещнем, нито на този, нито на онзи свят… Ако се случи нещо с мен, бъдете добра с Огъста; ако и тя изчезне — с децата й…“
Седмицата преди заминаването му беше запълнена с едно ново приключение, което не можа да намали презрението му към слабостите на жените. От известно време той беше обсипван от любовните писма на някаква непозната. Тези писма най-напред бяха подписани с измислени имена и два пъти прислужниците на Байрон бяха отказали да приемат непознатата. После тя се бе подписала с истинското си име — Клеър Клеърмонт. Тя искаше препоръка за театъра „Дръри Лейн“. Байрон най-напред я изпрати при Киниър. Това й даде смелост: „Казвате ми, че само някакво заслепение ме влече силно към Вас. Не може да е заслепение, след като цяла година мислите ми са при Вас в миговете на самота. Аз не очаквам да ме обичате; не съм достойна за Вашата любов… Имате ли нещо против следното предложение? В четвъртък вечерта може да излезем заедно, с дилижанс или пощенска кола, на десет или дванадесет километра от Лондон. Там ще бъдем свободни и никому известни; ще се върнем рано на другия ден…“ И няколко дни по-късно: „Къде да Ви срещна? Кога и как? Вие заминавате в понеделник за Италия, а аз — господ знае за къде… Моля Ви, отговорете ми мило и без саркастични думи. Но ако имате нужда от забавление и аз мога да Ви го доставя, не се колебайте. Готова съм да приема каквото и да е, само не и да Ви противореча.“ Той се отегчаваше. Жената беше млада. Имаше хубав глас. Той имаше нужда от някакво „преживяване“, за да забрави. Прие да прекара една нощ с нея.