Въпреки гнева си мисис Байрон трябваше да се откаже от намерението да изпрати сина си в аристократическо училище и го остави да продължи учението си в абърдийнското училище. Всъщност то бе училище със здрави традиции, основано още през 1256 година — безсъмнено едно от най-старите в трите кралства. Старинните сгради бяха със сламени покриви. Там се изучаваше най-вече латински език — по пет часа на ден. Почти всички ученици бяха доста бедни; не разполагаха с повече от пени на седмица. Джордж Байрон си спечели бързо славата на отличен играч на топчета. Другарчетата му го обичаха, макар че в началото ги бе стреснал с чувствителния си и буен характер. Портиерът на училището често мъмреше това момче с червени коси и червено палто, което, накуцвайки, идваше да му се подиграва. Хората от града го наричаха „куцото дяволче на мисис Байрон“. „Много умно момче — казваше един от учителите му, — но трудно се води.“ Въпреки недъга си той беше много смел, „винаги по-готов нанася удари, отколкото да получава“. Макар че краката му бързо се уморяваха, той се бе научил да издържа на дълъг бой, изправен на пръсти. Веднъж едно момче го беше обидило и малкият Байрон му обеща, че ще му го върне, защото не можеше веднага да се сбие с него. Следващата седмица го спря на улицата и здравата го наби. Като се прибра в къщи, Мей Грей го запита защо е запъхтян, а той отговори, че е изпълнил едно свое обещание, защото е Байрон и защото девизът на семейството му е Crede Biron. Извън заниманията в училище той взимаше уроци по писане и по френски език без особен успех. Но четеше много повече от другарите си. „Никога не ме виждаха, когато четях, а все когато скитах, правех бели или играех. Всъщност аз четях, докато се хранех, четях в леглото и в часовете, в които никой не четеше, но бях прочел всичко, което можеше да се прочете на петгодишна възраст.“ Библията бе развила у него влечение към Ориента и той особено много обичаше да чете „Хиляда и една нощ“, спомените на барон дьо Тот за посланичеството му в Турция, писмата на лейди Мери Уъртли Монтъгю и „Зелуко“ на доктор Муър.
„Зелуко“ беше моден роман, чийто герой бе държал в напрежение Джордж Байрон немалко безсънни нощи. Като него Зелуко изгубил баща си още в своето детство. Останал сирак, той бил „избухлив като барут и отговарял с гръм и мълнии на най-малкото предизвикателство“. Зелуко отглеждал едно опитомено врабче, обичал го и въпреки това един ден го убил. Накрая Зелуко, станал вече мъж, удушил и собственото си дете. Тази история и очароваше, и плашеше Байрон. Той се страхуваше да не би самият да е като Зелуко и изпитваше удоволствие от такъв страх. Някои Гордънови са били чудовища, страшни като Зелуко.
Когато учителят му по немски го накара да преведе „Смъртта на Авел“ от Геснер9, той се зарадва, че ще прочете отново онази мрачна история за Каин, която не го оставяше на мира. Трагедията се оказа скучна и докато я превеждаше, Байрон мислеше, че освобождаването на света от такъв глупав човек, какъвто беше Геснеровият Авел, не можеше да бъде престъпление. Но въпросът за „Каин“ продължаваше да го измъчва. Малкият, жаден за справедливост мозък жалеше прокълнатия. Защо господ беше позволил на Каин да убие брат си? Защо господ позволяваше и на Джордж Байрон да изпитва понякога желание да бъде жесток, безбожен? Мислеше непрекъснато за червените пламъци на ада. Имаше живо въображение. В училище другарите му на драго сърце го слушаха, когато импровизираше разни истории, които черпеше от книгите. Веднъж през зимата снежен ураган задържа учениците под един случаен подслон, но те забравиха за студа, когато Байрон взе да им разказва приказки от „Хиляда и една нощ“.
През 1796 година, след като бе преболедувал от скарлатина, майка му го заведе да прекара няколко дни в един чифлик. Малкият Байрон хареса потъналите в синя мъгла планини, дивата хубост на долината Дий и на самотната планина Локнъгар, чийто връх понякога сякаш се извисяваше над снежнобелите облаци. Той обичаше да скита, куцукайки с усилие, сред скалите с причудливи форми в подножията на водопадите и караше местните хора да му разказват за неговите буйни и размирни прадеди. Самият той тогава ходеше облечен с шотландско карирано наметало и шотландско кепе на главата. Чувствуваше се истински шотландец. Една детска любов към дъщерята на чифликчията го привързваше още повече към тази долина. Любимата му се наричаше Мери и имаше дълги златисти къдрици. В нейно присъствие той изпитваше сладостно вълнение. Чувствеността му беше силна и преждевременно развита като неговата свръхчувствителност.