Колата премина през сечищата, през малката борова гора и изведнъж, понеже алеята завиваше, пред тримата пътници се откри Нюстед. На брега на едно голямо езеро, наполовина покрито с тръстики, се издигаше изящната готическа сграда на абатството, сива на сивото небе, спокойна, съвършена. Като всяко надарено с богато въображение дете, в мечтите си Байрон си бе създал своя представа за мястото, в което би желал да живее и владее. Нюстед се оказа по-красив от мечтите му.
Жените слязоха от колата; старият прислужник Джоу Мъри излезе да ги посрещне и ги поведе да разгледат къщата. Всичко беше порутено. Покриви, стени, подове не бяха поправяни от години. Безпорядъкът и мръсотията бяха невероятни. За да се оправдаят, прислужниците започнаха да разправят за безумствата на стария лорд. Малкото момче надаваше ухо. При разказа за странния начин на живот на този старец мизантроп, в душата му трепнаха непознати струнки. „Той винаги носеше оръжие, по един пистолет във всеки джоб…“ Как добре разбираше всичко това момчето; несигурно в краката си, то винаги се страхуваше, че при някое сбиване с другарите му тялото му можеше да му изневери; а пистолетът беше оръжието, с което се възстановяваше равновесието между него и силните. От седемгодишна възраст то носеше детски пистолети в джобовете си. Разказът за дуела с Чауърт му направи също силно впечатление… „И като насочил сабята, той го промушил…“ Ето че беше вярно. Старият Мъри им показа голямата алея, Сватбената, която водеше до къщата на Чауъртови, до Анзли. После им разказа за щурците: „След смъртта на милорда те напуснаха Нюстед — бяха толкова много, че цялото преддверие почерня и ние ги избивахме със стотици…“ Да, щурците бяха изгубили господаря си, странния, зъл магьосник, който ги дресираше със сламките… Колко мрачно и същевременно колко славно беше това негово семейство. Слушайки стария прислужник, докато се разхождаше с него из стаите („В тази има призраци; понякога тук са виждали монах с черна качулка… Тук е била трапезарията им, а тук кухнята… Тази глава на сарацин, гравирана на стената, напомня Рупърт Байрон, умрял при кръстоносен поход…“), Байрон усещаше, че влиза вече във владение на това наследство, по-реално от всякакви къщи и поля, по-важно от нечии сиво-сини очи и коси с меден цвят; усещаше неразривната връзка с прадедите си.
Още при тази първа среща Байрон така силно се привърза към Нюстед, както се бе привързал към Мери Дъф. Той обиколи и разгледа със стария Мъри сводестите коридори, манастира, алеите, потоците и изворите. Посади един жълъд в земята и заяви, че това ще бъде неговият дъб. Искаше му се никога вече да не напуска това приказно място, но мисис Байрон разбираше, че е невъзможно да се живее в тази разрушена къща. Да се възстанови абатството, беше трудна работа. Имуществото на Байрон, пер на Англия, тъй като беше още малолетен, се намираше под разпореждането на кралските власти и майката не можеше да се впуска в големи разходи. Освен това богатството се състоеше в недвижими имоти, а не в налични пари. Докато не бъдеха проверени всички сметки, мисис Байрон, въпреки че беше майка на млад благородник, щеше да продължава да живее само със своите сто и петдесет лири. Тя повери делата на сина си на адвоката от Лондон Хансън, който някога, по време на раждането на детето, се бе грижил за нея, и след няколко дни напусна Нюстед, за да се пресели в Нотингам.
Мисис Байрон се настани в аристократичната част на града, близо до замъка, на една тясна и мрачна улица. Апартаментът бе твърде малък и не по-хубав от жилището им в Абърдийн. Това бе голямо разочарование за детето: палатът от вълшебните приказки се бе превърнал в тиква. В този непознат град то бе по-нещастно, отколкото в Шотландия. Мисис Байрон трябваше да пътува многократно до Лондон, за да прави постъпки пред краля за пенсия на младия лорд до навършване на пълнолетието му. Оставяше го в Нотингам на грижите на Мей Грей. Но Мей Грей не заслужаваше това доверие. Хансън, който пристигна от Лондон, за да се запознае с младия лорд, своя клиент, веднага се привърза към детето. Той разпита съседите и остана възмутен от онова, което научи. „Уверявам Ви, госпожо — писа той на мисис Байрон, — че не бих си позволил да се меся в семейните Ви работи, ако не считах за абсолютно необходимо да Ви информирам за поведението на Вашата прислужница, мисис Грей… Моят уважаем малък приятел, въпреки склонността си към сдържаност, не можа да се стърпи да не ми се оплаче от лошите й обноски с него… Каза ми, че тя непрестанно го бие, понякога така жестоко, че чак костите го болели, че води в апартамента хора от най-долна среда, че излиза късно вечер и често го оставя да си ляга сам, че се качва в пощенската кола и спира във всяка кръчма, за да пие заедно с кочияшите… Аз силно се привързах към лорд Байрон и се надявам, че няма да ме считате само за негов адвокат, а и за негов приятел. Представих го на лорд Грантли и на брат му, генерал Нортън, които останаха очаровани от него, както впрочем и всички хора, и ще ми бъде много мъчно да гледам благородния си малък приятел изложен на недопустимо грубото отношение на една слугиня. Той притежава интелигентност, пъргав ум и точност в преценките, твърде рядка за едно тъй младо същество. Напълно достоен е да общува с възрастни хора и трябва много грижливо да се подбират онези, които ще живеят с него.“