В Абърдийн мисис Байрон намери срещу умерена цена един мебелиран апартамент. Настани се в него заедно с шотландските си прислужнички — двете сестри Агнес и Мей Грей, които се занимаваха и с отглеждането на малкия Джордж или, както го наричаха в Шотландия — Джорди. Детето имаше красивото лице на баща си, но когато проходи, майка му с ужас забеляза, че куца. Краката му бяха нормални по форма, еднакво дълги, но щом стъпеше на земята, глезените му се извиваха. Можеше да стои право само на пръсти. Лекарите, които го преглеждаха, отдаваха това на неправилно акуширане, което се дължало на крайната свенливост на мисис Байрон. Както изглежда, имаше парализа на глезенните сухожилия. Абърдийнският лекар писа на един от известните акушери в Лондон, който поръча специални обувки за детето и ги изпрати в Шотландия, но малкият Байрон продължи да куцука до Мей Грей по улиците на Абърдийн.
Детето беше много умно, чувствително, но с буен характер. Когато се ядосаше, можеше да се сърди като майка си. Още почти бебе, бе разкъсало с безмълвен гняв една своя нова дрешка, гледайки предизвикателно бавачката, защото го бяха смъмрили, че я е изцапало. Възгледите на едно дете за живота се създават още в първите му години. А какво виждаше това дете? Баща му и майка му се бяха опитали да живеят заедно, но се бяха отказали. Озлобена от нещастието, мисис Байрон беше станала силно раздразнителна. „Тя е приятна отдалеч — бе писал мъжът й, — но Ви уверявам, че нито Вие, нито който и да било светец не би могъл да живее с нея дори и два месеца и че единствено аз можех да я понасям. Но боят до добро не води.“ Известно време родителите на Байрон живяха в Абърдийн в отделни апартаменти — единият на Куин стрийт, другият на Брод стрийт, — ходейки си на гости, за да пият заедно чай. Мисис Байрон продължаваше да не устоява пред красивите очи на мъжа си; той успя отново да я убеди да му осигури заем от триста лири, чиято лихва тя плати, и така намали рентата си на сто тридесет и пет лири. С тях тя живееше без стотинка дълг, все така горда като Луцифер, но понякога изпадаше в страшна ярост. Тогава из цялата къща хвърчеше порцелан.
Детето наблюдаваше родителите си с мрачно любопитство. Другите момченца имаха бащи и майки, които живееха заедно, които се обичаха. А неговото съзнание се формираше сред шума на кавгите, упреците и оплакванията. То виждаше, че прислужничките смятаха родителите му за луди същества — опасни, понякога смешни. Но не толкова семейството му го караше да се чувствува различен от другите деца, колкото недъгът му. Защо краката му се кривяха? Толкова се срамуваше от това, че никога не питаше. Един ден на улицата някаква жена се обърна към Мей Грей: „Какво хубаво момченце е този Байрон. И колко жалко, че има такива крака!“ Детето я удари с камшичето си и извика: „Не говорете за това!“ Вечер трябваше да търпи мъчителни процедури, защото се надяваха, че ще го излекуват, като пристягаха краката му с превръзки.
Към края на 1790 година Джон Байрон успя да получи от жена си и от сестра си, мисис Ли, малко пари и да избяга във Франция. Мисис Ли имаше къща във Валансиен. Там и отиде да живее изпадналият в немилост капитан, забъркан във Френската революция, без да я разбира, като продължаваше да задиря прислужничките по странноприемниците и да живее във вечно безпаричие. Няколко писма до мисис Ли разкриват последните подвизи на тази отрепка:
„Валансиен, 1 декември 1790 година… Колкото до мен, аз съм тук, и то влюбен в кого мислите? В една актриса, пристигнала от Париж. Тя е красива и снощи я гледах на сцената… Що се отнася до мадам Шонер, тя наистина ми каза, че ме обича, но беше пияна и аз не знам какво да правя… Тук не се появяват съдия-изпълнители, защото Фани ги хапе, а аз никога не съм в къщи. Всички сме добре, а Жозефина си гледа работата — получава малко пари и много обиди, но това е единственият начин на обноска с нея… Има една нова пиеса, наречена «Раул дьо Креки», в която се казва: «Спасих своя крал, но умирам доволен.» Всички завикаха: «Бис! Да живее кралят! Да живее нацията!», а аз под въздействието на виното и спомняйки си, че прадедите ми са били французи, виках силно колкото другите и сега всички казват: «Този англичанин е голям аристократ.»… Колкото до любовта — вече не се влюбвам, макар тукашните хора да казват, че съм много влюбчив, но непостоянен. Меня ги една след друга, така че поне една трета от жените на Валансиен са били мои; особено ми хареса едно момиче от «Червеният орел», където вечерях една дъждовна вечер… Тя е едра и хубава и още не ми е омръзнала.“ През лятото на 1791 писмата станаха трагични: „Нямам вече нито една риза… Нямам стотинка.“ Бакалинът и месарят отказвали да го хранят. „Имам само една дреха на гърба, и то дрипава… Предпочитам да съм каторжник…“ „Нямам вече нито риза, нито дреха на гърба си, защото тази, която имах, е напълно износена…“ Няколко дни по-късно той починал. Казват, че се самоубил.