Хансън имаше право. Малкият лорд показваше умствени способности, твърде редки за дете на неговата възраст. Трудният живот често ускорява умственото развитие. Щастливото дете живее спокойно и просто приема истината от родителите си, но дете, което е отрасло сред шума на кавгите, започва да съди родителите си и да си изгражда само̀ представа за света, която често пъти е твърде груба и реалистична. Мей Грей му беше разправяла, че лошите хора са обречени на вечни мъки. Ако тя наистина го вярваше, щеше ли да смее да води такъв живот? Без съмнение всичко това беше лъжа. Измислица за възрастни хора. Но може би Мей Грей беше обречена на вечни мъки като Каин? Ако беше така, нито кочияши на пощенски коли, нито кръчми можеха да променят нещата. Но тогава господ беше несправедлив. В кое да вярва? Защо той, невинният, страдаше? Откак синът й бе станал лорд Байрон, мисис Байрон се чувствуваше по-угнетена от куцането му. Бяха й препоръчали един знахар от Нотингам на име Лавиндър и тя му повери недъгавото момче. Този Лавиндър беше грубиян. Цялото му лечение се състоеше в насилствено извиване на стъпалата на детето и стягането им в някакъв дървен уред. Докато траеха лечебните процедури, Байрон вземаше уроци по латински от един американец, мистър Роджърс, милостив човек, който, докато четеше заедно с ученика си Вергилий и Цицерон, се измъчваше, като виждаше болезнения израз върху личицето на детето, причинен от инструментите за изтезание на Лавиндър. „Мъчно ми е, милорд, като Ви гледам да страдате.“ — „Не се безпокойте, мистър Роджърс, ще се старая да не показвам много, че ме боли.“
И Роджърс, като Хансън, веднага се бе привързал към това смело дете. Не беше обикновено нещо да срещнеш ученик на десет години, който иска да учи повече от определеното. „Мистър Роджърс — писа Байрон на майка си — би могъл да ми дава урок всяка вечер… Препоръчвам Ви да се съгласите с този мой план, защото иначе ще бъда наречен или по-скоро белязан с името мързелив ученик, което Вие добре знаете, че никога не ще понеса.“ Дори съседите страдаха при вида на това дете с пламенна душа, оставено в ръцете на Мей Грей и на Лавиндър. Той пък по време на сеансите с масажа се забавляваше да изпраща малкия лорд да му купува бира. Цял Нотингам с възмущение гледаше как господарят на Нюстед, накуцвайки, пресича улиците и носи предпазливо еднолитровата бира на лечителя.
Въпреки всичко Байрон оставаше весел. Дори на мъчителя си отмъщаваше със закачки. Лавиндър, надут невежа, претендираше, че знае всички езици. Един ден детето надраска върху лист хартия буквите от азбуката, като ги разположи наслуки във форма на изречение, постави написаното пред грубиянина и го запита кой език е това. „Италиански“ — отговори лечителят и Байрон избухна в победоносен смях. Измамници, ето какво представляваха и Лавиндър, и Мей Грей. Омразата към лицемерието ставаше едно от най-силните чувства на Байрон.
Най-после мисис Байрон получи от краля пенсия за сина си от триста лири, която щеше да й позволи да живее заедно с него в Лондон. Джон Хансън потърси подходящо за Байрон училище; избра това на доктор Глени и успя да убеди лорд Карлайл, братовчед на Байрон (майка му беше сестра на адмирала) да стане настойник на детето. Лорд Карлайл беше на младини необикновен денди, който отиваше специално до Лион, за да си купува жилетки от бродирана коприна; беше публикувал оди, трагедии; после, след като се бе оженил, бе започнал сериозна политическа кариера и беше станал генерал-губернатор на Ирландия, а след това и министър. Може би той щеше да вземе присърце настойничеството на Байрон, ако мисис Байрон беше по-различна. Но още първата среща на изтънчения елегантен аристократ с тази шумна, раздразнителна и малко смешна жена бе достатъчна, за да определи отношенията им. Мисис Байрон сметна Карлайл за надменен позьор и побърза да го причисли към „неприятелите“ си, а благородният лорд съжали за доброто си намерение и реши да се среща колкото може по-рядко с тази жена, която миришеше на уиски, обличаше се лошо и говореше английски с твърд акцент.