Всъщност никой от приятелите на скараните не можеше да счита убиеца за престъпник, защото мистър Чауърт беше известен като побойник и скандалджия. Победителят запази до смъртта си, окачена на стената в своята спалня, сабята, с която бе убил братовчед си. Но в околността, където без друго отдавна го наричаха Лошия лорд, това убийство затвърди престъпната му слава. Разправяха ужасни истории, някои от които не бяха верни. Не беше вярно, че в изблик на ярост застрелял кочияша си и поставил после трупа му до жена си, а той самият седнал да вози зловещата двойка; не беше вярно, че хвърлил жена си в едно от езерата на манастира, за да я удави. Но беше вярно, че имаше жесток нрав, че носеше постоянно пистолети и бе направил лейди Байрон толкова нещастна, че тя се реши да избяга от Нюстед, а той я замени с една прислужница, която селяните наричаха лейди Бети.
По време на злополучното господаруване на лейди Бети манастирът бе направо опустошен. Прислужницата-господарка направи от готическия параклис обор, а някои от хубавите сводести зали превърна в конюшни. Колкото до Лошия лорд, бракът на единствения му син с една първа братовчедка, брак, сключен против бащината воля, го накара напълно да се откъсне от хората. От този момент нататък той стана съвсем саможив. Постара се да не остави нищо на наследниците си. Плати дълговете си от комар с дъбовете от парка, отсече дървета за пет хиляди лири и обезлеси почти напълно тази великолепна гора. Уолпоул, който минавал оттам по онова време, пише: „Нюстед ме очарова; това е наистина смесица от изящество и готика.“ Но той добавя, че настоящият лорд бил луд, изсякъл всичките си дървета „и насадил на тяхно място борчета, които приличат на ратаи, навлечени в стари семейни ливреи за пред гости“. За да обезнаследи окончателно сина си, лорд Байрон уби две хиляди и седемстотин елена в парка и даде под наем за двадесет и една години срещу нищожната цена от шестдесет лири годишно имотите в Рочдейл, където наскоро бяха открити каменовъглени залежи.
Забавляваше се като пакостливо дете. Нощем ходеше да отваря шлюзите на потоците, за да руши текстилните фабрики, пресушаваше езерата на съседите си, а на брега на своето езеро беше построил две малки каменни укрепления и една флота от кораби-играчки. Прекарваше там по цели дни; ръководеше сражения между корабите и укрепленията с миниатюрни оръдия. Лорд Байрон стоеше в едно от укрепленията, а камериерът му, Джоу Мъри, излегнат в един кораб, командуваше флотата. Понякога негова милост лягаше на покрития с плочки под на манастирската кухня и се забавляваше да организира върху собственото си тяло надбягвания между полски щурци, като ги подбутваше с дълги сламки, когато се бавеха. Слугите казваха, че тези щурци познавали господаря си и го слушали.
Животът на по-малкия му брат беше също толкова драматичен. Този Байрон (дядо на нашия) беше мореплавател, смел, но злочест и приятелите му го наричаха Джак Лошото време, защото нямаше случай да излезе в морето, без да се извие буря. През 1740 година той отплува като мичман на кораба „Уейджър“, който трябваше да вземе участие в едно нападение срещу испанските колонии, но заседна на риф близо до чилийския бряг. Това беше страшна злополука: огромни вълни заливаха останките на разбития кораб, един моряк полудя, екипажът се разбунтува, капитанът трябваше да стреля срещу хората си в упор. В това време младият Байрон съчиняваше разказ за корабокрушението, който по-късно публикува под заглавие „Корабокрушението на «Уейджър»“, „разказ за големите нещастия, които той и другарите му преживели на брега на Патагония“. Този разказ има известен успех и стана нещо като морска класика.
През 1764 година капитанът на фрегата Байрон получи заповед да направи околосветско пътуване с изследователска цел на кораба „Дофин“. Той прекоси Магелановия пролив, видя отново Патагония и завърши обиколката си на света толкова бързо, че не откри никаква земя извън Островите на разочарованието. „Всъщност — казва неговият биограф — по пътя му е имало толкова непознати и неоткрити земи, че трябва да му е било много трудно да ги избегне.“ След завръщането си този скромен изследовател бе назначен за губернатор на Нюфъндланд, после адмирал, а през време на американските войни през 1778 г. той командуваше една флота със задачата да спре френската флота на граф д’Естен. При първото излизане в морето адмирал Байрон бе посрещнат от буря, която потопи един от съдовете му, а голяма част от останалите лиши от въоръжение. Втория път той откри д’Естен, но верен на традициите на семейството си, избърза с нападението и бе победен. След това повече не му поверяваха командуване и той почина като вицеадмирал през 1786 година.