„Но не може ли да ми се вярва, когато след всичко, което чухте, Ви казвам, че по сърце той винаги е бил едно по-издигнато и по-добро същество… същество, което той винаги предизвикваше, но никога не може да унищожи… Може би тогава това е било само някаква моя илюзия, плод на Любовта, но и сега убеждението ми по този въпрос остава неизменно.“
„Към края на неговия живот чувствата му към мен се смекчаваха… Ако бе живял, щеше да повярва, че аз съм била единствената му предана приятелка. Това обаче не е било съдено да стане!“
Явно, че и Анабела като Байрон си бе представяла една спокойна старост.
По отношение на Огъста тя писа следното на Робертсън: „Мислех мисис Ли за своя приятелка. Обичах я, обичам я още! Не мога да се въздържа. Ще я видя още веднъж на този свят, преди да сме умрели и двете. Хората казваха, че ми липсва сила, че ми липсват морални принципи, щом не мога да се откъсна от едно същество, което съм преценила като недостойно. Възможно е, но това е моята природа. Виновна ли съм?“
Те се видяха „още веднъж на този свят“. През 1851 година (лейди Байрон беше на петдесет и девет години, а Огъста на шестдесет и седем) Емили Ли, кръщелница на лейди Байрон, й описа мизерното състояние на мисис Ли — болна и потънала в дългове. Анабела предложи да се срещнат в „Уайт Харт Хотел“, в Райгит. Мисис Ли дойде на срещата. Лейди Байрон пристигна с бележник: „Къде… Кога… Линията на поведението ми…“ Но Огъста както винаги говореше неясно и объркано; те се разделиха, без да се сдобрят. Шест месеца по-късно, когато Огъста беше в агония (и толкова бедна, че продаваше някои от писмата на Байрон), Анабела се заинтересува за нея и й предложи пари: „Писах на Емили, която е сама до това смъртно легло, и я помолих да прошепне от мое име две мили думи, които от дълго време не бях употребявала: Dearest Augusta… Научих, че в отговор на това бликнали отново отдавна пресушените сълзи и че тя казала: «Радост… Най-голямата ми утеха…» и добавила едно поръчение, което останало неразбрано… Второ загубено поръчение!“
Последните години от живота на лейди Байрон бяха тъжни. През 1852 година тя изгуби единствената си дъщеря лейди Лъвлейс; следващата година своя доверител, пастора Робертсън. Върху посребрените си коси носеше прозрачно траурно боне на вдовица. Внуците й обичаха да четкат косите й — толкова дълги, че докосваха пода, когато беше седнала. Тя почина през 1860 година. Не пожела да бъде погребана нито в Хъкнъл, където бяха Байрон и дъщеря му, нито при собствените си прадеди в Къркби, а сама в едно гробище в Лондон.
Когато Ейда, дъщерята на Байрон, навърши петнадесет години, леля й Огъста й изпрати един хубаво подвързан молитвеник. Следващата година за първи път лейди Байрон й прочете поеми на нейния баща: „Гяур“, която тя хареса, и „Fare thee well“, която сметна за предвзета и неискрена. Впрочем тя нямаше склонност към поезията, а към метафизиката и математиката. Преведе и написа коментар към Бележките на Менабрея върху аналитичната машина на мистър Бабидж. Тя беше хубава, малко ексцентрична. Имаше мелодичния глас на баща си. На двадесет години се омъжи за лорд Кинг, който по-късно стана граф Лъвлейс.
Бабидж бе причина за нещастието й. Изучавайки теориите му, тя се залови с проекта на една безпогрешна система за обзалагане при конни състезания. Илюзията за безпогрешност беше наследствена черта. Тя не успя, продължи да упорствува и накрая изгуби такава огромна сума, че не посмя да каже на мъжа си. Майка й я спаси, но болна и отчаяна, Ейда почина през 1852 година, на тридесет и шест години и няколко месеца, като баща си. По нейна молба бе погребана до него в църквата на Хъкнъл.
Животът на Медора беше още по-тъжен. През 1826 година по-голямата й сестра Джорджина Ли се омъжи (както бе направила майка й и както правеха всички Байронови) за един свой братовчед, Хенри Тривъниън. Три години по-късно той съблазни хубавата си балдъза Медора и тя роди от него дете, което почина още кърмаче. Огъста, на която Тривъниън бе признал всичко, писа на Медора, че разбира „слабостта на човешката природа и силата на изкушенията й“, но че на тази връзка трябва да се сложи край.
Тривъниън и Медора заминаха за Франция и живяха известно време в Нормандия под името господин и госпожа Обен. После Медора, отчаяна, скъса със зет си и пожела да се оттегли в един бретански манастир, абатството Рьолек. Един месец преди влизането си в манастира тя разбра, че отново е бременна. Върна се тогава при Тривъниън в замъка Пеноа, в департамента Финистер, и роди там момиче, Мари, което бе кръстено от католически свещеник. Като баща си, лорд Байрон, Медора бе привлечена от строгите канони на Римската църква.