Благодаря именно таким литературным занятиям император стремился отвлечься от скуки своей продолжительной ссылки на скале Святой Елены.
Год 1819-й прошел для императора в чередующихся периодах хорошего и плохого состояния его здоровья. У него стало привычкой прогуливаться то в одном, то в другом из своих маленьких садов, уход за которыми был обязанностью Новерраза. Находившиеся под окнами апартаментов императора, они были окружены небольшим деревянным забором. Набросив на себя утром халат или одевшись днем, император мог выйти в сады прямо из своих апартаментов. Дежурный офицер считал это обстоятельство благоприятным для себя, поскольку ему было намного легче удостовериться в присутствии императора в Лонгвуде, не осуществляя специального наблюдения, которое досаждало императору, и таким образом успокоить губернатора, чья голова всегда была занята навязчивой идеей о побеге императора с острова Святой Елены. В этом году губернатор даже позволил расширить границы охраняемой зоны, позволив Его Величеству совершать прогулки верхом на коне, но император пользовался этим только для того, чтобы разведать местность.
1 января 1820 года император принял, как и в предыдущие годы, новогодние пожелания от гофмаршала и его семьи, от графа де Монтолона, священников и от д-ра Антоммарки. Все они были приглашены на праздничный обед, включая детей, которых по этому случаю император обычно одаривал несколькими золотыми наполеонами с изображением его профиля.
Объявление о прибытии кораблей из Европы всегда было для него счастливой минутой, так как он мог получить новости из Франции. Это было радостным событием и для всей колонии: газеты прочитывались с большим интересом. Однажды граф де Монтолон, просматривая их, сказал императору, что в Париже собираются снести фонтан на Королевской площади, чтобы на его месте воздвигнуть статую Людовика XIII. «Они только знают то, как совершать глупые вещи, — ответил император, — зачем разрушать общественно полезную вещь ради того, чтобы поставить на ее месте статую ничтожного короля?» В другой статье императора упрекали в том, что он имел слабость окружать себя знатью. «Мармон и Фуше не принадлежали к знатному роду, — возразил император, — Талейран не отправился в изгнание; я вручил свою судьбу Мармону, направив его в Париж, а он отправился туда только для того, чтобы довершить мою гибель».
Через несколько дней он продолжил прерванный разговор о своей судьбе: «Мои действия и события сами по себе отвечают на все клеветнические заявления, высказанные против меня. Я не обременен обычными преступлениями, присущими главам династий. Мне незачем бояться последующих поколений; история, возможно, даже обвинит меня в том, что я был слишком добр. Монтолон, сын мой, — обратился он к генералу, хватая его за ухо, — я могу с уверенностью предстать перед Божьим судом».
По мысли императора каждый должен умереть, придерживаясь той религии, в которой он был рожден: а именно религии предков. Он заявлял, что существует судьба, которой мы все должны подчиняться.
В течение некоторого времени император говорил о расширении садов под его окнами. Он считал, что ему необходимо укрыться от ветров с помощью выступа из взращенной высокой травы. В расширении садов он видел не только средство, чтобы занять время для себя и для всей колонии, но и выгодную возможность дальнейшего отделения дома от линии часовых, занимавших свои посты каждый вечер в 9 часов. Как только все замеры были сделаны и приняты, каждый из нас должен был участвовать в работе. Император занялся физическими упражнениями, полезными для его здоровья. Вся эта работа, как он сказал мне, была также средством, которое бы содействовало выздоровлению графа де Монтолона, а также обеспечило бы тень для дома, который был ее лишен. Он также считал, что, прогуливаясь, он получит возможность избежать наблюдения со стороны дежурного офицера. Граф де Монтолон не догадывался о тех замыслах, которыми руководствовался император: он согласился с идеей Его Величества только потому, что видел в ней способ улучшения явно ухудшавшегося здоровья императора.