Понеже Франция бе затворена за тях, те слязоха към Швейцария през долината на Мозел и Рейн. Императорската кола на Байрон привличаше просяците. „Дайте ни нещичко, господин командир на батальон! Едно су, господин кралю на Хановер!“ Титлите забавляваха Байрон и изпълваха с радост сърцето на неговия лекар. „Аз съм на равна нога с него — навсякъде, по време на пътуването, към нас се отнасят еднакво.“ „В края на краищата — попита той един ден Байрон — какво повече можете да правите от мен?“ — „Понеже ме принуждавате, ще ви кажа — отговори Байрон, — мисля, че има три неща, които аз мога, а вие не можете да правите.“ И понеже Полидори го предизвика да ги посочи: „Мога — каза Байрон — да прекося тази река чрез плуване; мога да изгася свещ с пистолетен изстрел от двадесет крачки разстояние; и съм написал една поема, от която продадоха четиринадесет хиляди екземпляра в един ден.“ Колкото до начетения Флетчър, както го наричаше Хобхаус, той беше във възторг, защото Рейнската долина между Кобленц и Майнц му напомняше за някои долини в Албания, но тук храната беше по-добра. Той дебелееше.
Пътниците навсякъде намираха следи, оставени от Императора. „Кой е построил паметник, прокарал този път, прокопал този канал?“ — питаха те. „Наполеон“ — отговаряха селяните. Байрон, който обичаше съвпаденията, с радост откриваше върху всички постройки инициалите Н. Б. — Ноуъл Байрон.
Осеяни със замъци скалисти хълмове, покрити с лозя баири… Тези живописни пейзажи от долината на Рейн му напомняха за Огъста. В митичния свят на Байрон тя беше Верността в Нещастието. Той й пишеше пропити от нежност писма. Съчини за нея една поема: „Канарата, със замък украсена…“ Казваше й, че би искал с нея да живее на това място, което би станало едно от най-хубавите на света:
Той й изпрати поемата с цветя, които бе изсушил за нея. Но Огъста толкова се беше вече отдалечила от него, колкото той не предполагаше.
Те прекосиха бойното поле при Морат, където швейцарците бяха разбили Шарл Бургундски. Костите на мъртвите още се търкаляха по полето; Байрон, с присъщите на Хамлетовия гробар мисли за славата, взе няколко за Мъри. Най-после, на 25 май 1816 година, той пристигна на брега на Женевското езеро и отседна в хотел „Дежан“ в Сешрон. В книгата за регистриране на пътниците той написа своята възраст; сто години.
В същия този хотел беше отседнала няколко дни по-рано младата жена, която беше последната любовница на Байрон в Англия — Клеър Клеърмонт. Придружаваха я дъщерята на втория съпруг на майка й, Мери Годуин, и един млад мъж, любовник на тази „сестра“, който беше самият Пърси Биш Шели. Байрон не беше виждал досега Шели, но беше чел една негова поема — „Кралица Маб“ — и я беше харесал. Клеър запозна двамата мъже. Полидори пише в дневника си: „Срещнахме Пърси Шели, автора на «Queen Mab» — скромен, срамежлив, туберкулозно болен, двадесет и една годишен; разделен с жена си, поддържа двете момичета на Годуин, които прилагат на практика неговите теории; едната от тях има връзка с лорд Байрон.“
Шели и Байрон бързо станаха близки. И двамата обичаха света на идеите, и двамата имаха либерални политически разбирания и считаха Ватерлоо за начало на една ужасно реакционна ера. Те имаха общи вкусове и за по-обикновени неща, които може би още повече обединяваха хората. Обичаха да живеят върху водата. Шели вече бе наел една лодка. Всяка вечер Полидори, двамата поети и двете млади жени отиваха да гребат на езерото. Неспокоен и нещастен, Байрон се наслаждаваше на спокойните води, в които при здрача се отразяваха сивите планини и първите звезди. Една вечер, когато течението беше бързо и вълните на езерото опасни, той се оживи и каза: „Ще ви изпея една албанска песен, настройте се сантиментално и ме слушайте внимателно.“ Той нададе един груб гърлен вик и като се смееше на разочарованите жени, които бяха очаквали някаква ориенталска монотонна песен, заяви, че това е най-точното възпроизвеждане на песните на албанските планинци. Тази същата вечер Клеър и Мери го нарекоха Албе и този прякор му остана в малката компания до края. Но в повечето случаи той се навеждаше над водата и се вглеждаше в нея, без да говори. Обичаше тази прелестна тишина, при която се чува само: