Этот внезапный зигзаг истории не меняет, однако, жизненных планов нашего «миланца»: дав такую оценку наполеоновским «Ста дням», он сам не собирается возвращаться в Париж. Да и под каким предлогом он мог бы поехать туда? И главное — на какие средства, если с каждым разом он вынужден перебираться на этаж выше в своем жилище по причине облегчения своего кошелька? «Я вернусь, только если узурпатор назначит мне жалованье. Он этого не сделает, а я не буду просить. Так что я остаюсь. После смерти мадам Дарю меня ничто не влечет в Париж». Он даже подписывает свое письмо Полине «Дон Флегма».
30 мая его сестра Зинаида вышла замуж за его друга Александра Маллеина. Брат отреагировал на это единственным комментарием: «Я узнал, что мой отец дал Зинаиде 30 000 к свадьбе. Как он оправдается в глазах порядочных людей — ведь он третирует своего уже поседевшего старшего сына больше, чем одну из своих дочерей? Мой единственный источник дохода — дом. Но, похоже, интриги моего отца всем внушают страх, и никто не отваживается подать руку помощи отсутствующему бедняге». Его здоровье в очередной раз ухудшается, и ему снова делают несколько кровопусканий.
18 июня 1815 года в половине десятого вечера французская армия потерпела окончательное поражение в битве при Ватерлоо. Армия упорядоченно отступила; армии коалиции против «узурпатора» перешли французскую границу. 22 июня Наполеон, вновь побежденный, подписал второй акт о своем отречении и выехал из столицы в Рошфор. Его обращение к английскому правительству с просьбой об убежище имело следствием его высылку на остров Святой Елены. 3 июля войска Веллингтона и Блюхера заняли Париж, была подписана капитуляция. Анри узнал об этом «в печальной падуанской дыре», где он встретился с Анжелой, и отметил по этому историческому поводу: «…все потеряно, даже честь». Его ненависть к королевской власти остается неизменной, хотя он, конечно, не отказался бы от хорошей должности и при режиме Людовика XVIII.
Когда Людовик вновь занял трон — так началась Вторая реставрация Бурбонов, — Анри в это самое время открыл для себя прелести «жизни по-венециански, с женщинами в кафе и светской жизнью до двух часов утра». Он надеется в скором времени с приятностью пожить в Венеции вместе со своей любовницей, но не может не выразить и свою политическую позицию: «Партия мракобесов торжествует». И немного позже: «Конец династии Бурбонов был бы очень полезен Франции». Того же мнения был и парнишка-сапожник Этьен Лувель, когда пятью годами позже попытался положить конец правящей династии.
22 июля Анри приехал в Венецию один — падая от усталости, раздраженный. Он снял комнату в отеле «Реджина Ингильтерра», считавшемся одним из лучших в городе, — по той причине, вероятно, что в нем не было ножа для очинки перьев. Он открывает для себя красоту этого города дожей, его кафе, салоны, свободу нравов: «По нынешнему времени это самый веселый город в Европе. Легкость, с которой здесь можно завести знакомство, просто поразительна. Садишься рядом с женщиной, завязываешь разговор без всяких церемоний, повторяешь эту процедуру три-четыре раза. Если вы друг другу нравитесь — идешь к ней в гости. Через пару недель, в первый же раз оказавшись с ней в гондоле, ты ее имеешь». Теперь счастье для него сводится к возможности «бродить одному по большому городу, а вечера проводить в обществе хорошей любовницы». Чтобы вполне достичь его, он изо всех сил уповает на приезд Анжелы. Впрочем, в любом случае жизнь в Венеции более всего соответствует его темпераменту. Он серьезно подумывает о том, чтобы остаться здесь жить — тем более что его страсть к перемене мест поуменьшилась: «Новизна уже не захватывает меня всего, как раньше». Это и понятно: в постоянных переездах нельзя всерьез заниматься литературной работой. Участие в наполеоновских кампаниях также охладило его: «То грязное обличье, в котором предстает человечество в тяжелых ситуациях — к примеру, то, что я видел в России, — отвратило меня от путешествий хоть сколько-нибудь опасных. Никакой Америки, в крайнем случае — Константинополь. В Италии я не видел только Феррару. Могу посмотреть Швейцарию — когда-нибудь, по дороге в Париж. Из того, что более значительно, я не бывал только в Англии. Но я не стремлюсь в эту страну пуритан». Одно он знает точно: во Францию он вернется нескоро — «это страна без свободы и без славы».
Когда Анри в августе вернулся в Милан, их разрыв с Анжелой стал очевидным. После краткого примирения произошло неизбежное: «Любовь была убита 15 октября 1815 года». Подавленный, он ищет прибежища в упорной работе над своей «Историей итальянской живописи» — невзирая на состояние здоровья. 1 декабря любовники расстались окончательно.