Мери Шели беше натоварена да осигури жилището — обичайната роля за семейството Шели. Тя бе наела две къщи в предградието Албаро, на един хълм, който се издигаше над залива; една голяма казарма с четиридесет стаи за нея и семейство Хънт, а за Байрон — една разкошна розова вила, Каза Салуцо. В доста обширната градина имаше беседка и една алея с кипариси, под чиято сянка Байрон свикна да чете; изгледът към морето беше възхитителен. Флетчър получи нареждане да закачи в спалнята един малък портрет на Ейда и една гравюра на самия Байрон. На горния етаж беше настанена графиня Гичоли, nata Гамба, и цялото й семейство.
За Байрон Каза Салуцо, както и Палацо Ланфранки, беше къща на нещастието. Още първите дни той пожела да преплува Генуезкия залив под палещите лъчи на слънцето; от тази експедиция се разболя, кожата му се обели и той не можеше да се възстанови. В Англия първият брой на „Либерал“ бе предизвикал скандал. Хобхаус и Киниър му изпратиха писма, пълни с упреци. Имаше скандали, които бяха желателни — защото предизвикваха успех. Този само будеше смях. Муър, Киниър, Хобхаус, които бяха либерали по убеждения, но в същото време и хора от светското общество, бяха вдигнали рамене. Оскърбен, Байрон им обясни, че е направил това от състрадание, защото Хънт, след смъртта на Шели, беше изцяло на негова издръжка и че бедното момче има жена и шест деца. За да защити автора си, Мъри беше показал това писмо. Съдържанието му обаче беше стигнало чак до Хънт. Цялата къща с четиридесетте стаи се нахвърли върху нещастния Байрон.
Мери Шели му писа с една дразнеща смесица от мила снизходителност и смътен упрек: „Как искате да успее едно списание, когато единият от съдружниците го обезценява в Лондон, представяйки го като благотворително дело?“ Наистина за Байрон това cant191 беше непоносимо. Той естествено не беше имал никакво намерение да обижда Хънт заради бедността му; Байрон бе познал бедността, той я уважаваше. Но въпреки това трябваше да се каже истината; би ли правил списание с Хънт, ако той беше богат? Очевидно не… „Винаги съм се отнасял към него толкова внимателно, че не си позволявах дори да му давам съвети, от страх да не ги отнесе към онова, което наричат възползуване от положението на даден човек.“ Той беше прав, но Хънт не му прости. Ако скъсването между тях не беше пълно (защото Хънт имаше нужда от Байрон), то поне срещите им станаха редки и мъчителни.
Хънт се разхождаше тъжен по насипаните с камъчета алеи и мислеше за Шели. Те вече нямаха никакви теми за разговор с Байрон, освен за доктор Джонсън. Байрон обичаше да имитира Джонсън и да казва „Why, sir!“192, гледайки надменно около себе си — изтъркана шега, която дразнеше Хънт почти толкова, колкото ариите на Росини, които Байрон пееше в банята си. Посещенията в Каза Салуцо станаха много редки. Хънт предпочиташе почти винаги чрез писмо да иска пари и то с ехиден и ироничен тон: „Трябва да Ви досаждам отново, искайки Ви нови сто крони, и се страхувам, че скоро ще трябва да Ви искам повече.“ Той се бе отказал от обръщението „мой скъпи Байрон“, като го бе заменил със „скъпи лорд Байрон“. „Скъпи лорд Хънт“ му беше отговорил Байрон. После преките общувания престанаха и кроните се връчваха всяка седмица на семейство Хънт от иконома на Байрон, Лега Замбела. Нова беда.
Животът в Каза Салуцо беше лишен от силни и вълнуващи преживявания. Байрон беше обичал Тереза Гичоли, и то най-вече в онзи период в Равена, когато ходеше да я вижда на кон, не без риск, между посещението на някой конспиратор и убийството на някой полицай. Малко по-късно, при изгнанието в Монтенеро, тя бе станала за него жертва на Свободата. Когато Ли Хънт я видя за първи път, „убедена, че за целия свят тя е една героиня, която върви рамо до рамо с поета, тя се намираше в такова възбудено състояние, че то й придаваше донякъде израза, подобаващ на тази роля“. За няколко месеца, от Пиза до Генуа, тя се промени и изведнъж се състари; лицето й изгуби вида на възторжена наивност; тя изглеждаше смазана от някаква скрита тъга. Любовникът й беше още „под нейната необикновена власт и под здравата й ръка“, но вече се бе уморил. Струваше му се, че животът е станал още по-сив от времето, когато беше сам и неизвестен и се затваряше в Нюстед, за да размишлява. Тогава той не познаваше други на света освен Хансън и Далъс, роднината и адвоката, двете последни връзки на всеки човек с човечеството. После стана „лъвът“ на Лондон, най-известният писател на света; можеше да се каже, без да звучи смешно, „Наполеон и Байрон“. Малко по малко кръгът от очаровани почитатели се разпръсваше, оставяйки го сам да осъзнава суровостта на нещата. Кривата на живота му бе започнала с усамотение и се затваряше с усамотение.