Они уехали в марте 1834 года вдвоем.
И всю дорогу от Петровска до Енисейска, куда им указано было выйти на поселение, она молилась, и перед глазами ее стоял маленький, заметенный февральским снегом холмик на склоне кладбищенской горы, маленький холмик рядом с могилой Александрины Муравьевой.
"Енисейск, — вспоминает Мария Францева, — довольно большой и красивый город. В нем много церквей, два монастыря, один мужской, другой женский, много каменных домов и прекрасная набережная… Общества почти никакого; круг чиновников тогда был очень неразвитый, грубый. Все удовольствия для них заключались в вине и картах. Бывало, празднуют именины дня три, пьют и кутят целые ночи, уезжают домой на несколько часов, а потом опять возвращаются и кутят. Порядочному человеку, попавшему в их круг, становится невыносимо".
Жизнь в Енисейске была однообразна и скучна. Город к тому времени уж и позабыл, что некогда был столицей гигантского края, едва покинули его чиновники и высокопоставленные власти, как он затих, обмелел, стал типичным уездным городком с пьянством, картами, с редкими танцевальными вечерами, с нередкими убийствами и пожарами, о которых рассуждали по году, а то и по два, находя все новые подробности, насмехаясь над чужим горем, завидуя чужой радости.
К Фонвизиным тянулась молодежь, у них было как бы просторнее, чище. Рассказы немолодого уже генерала о военных операциях, вдохновенные речи "дамы в черном" (так енисейцы прозвали Наталью Дмитриевну за пристрастие к темным одеждам) — все это было необычно, привлекало, заставляло с ужасом глядеть на окружающую действительность.
Наталья Дмитриевна тяжело переносила северный климат, она все время недомогала, нездоровье больно отозвалось в их судьбе, два ребенка родились мертвыми. Они ждали третьего…
"Когда после шестилетней каторги, — пишет Францева, — Фонвизины были поселены (в Енисейске), то в отдаленном уездном городе неразвитые и грубые уездные власти с высокомерием стали обращаться с ними. Особенной невежественностью отличался непосредственный его начальник некто Т-ов. Все получаемые письма из России доставлялись не иначе, как через него, он их прежде сам прочитывал, а потом уже передавал кому следует. Михаил Александрович должен был ходить за ними к нему, и он не удостаивал даже своеручно их передавать, а только указывал рукой на лежащие на столе письма, тот брал их и уходил. Грубое это обращение продолжалось до приезда из Красноярска губернатора, который, как только приехал, тотчас же посетил сам Фонвизиных, и Михаил Александрович передал ему, как грубо власти обращались с ним. Губернатор пригласил Михаила Александровича на официальный к себе обед, за которым посадил его около себя и большей частью разговаривал во время обеда с ним, что немало изумило властей. Т-ов после отъезда губернатора совершенно изменился в своем обращении с Михаилом Александровичем, и чтобы выказать свое благорасположение, стал зазывать и поить его силой на своих пьяных пирушках. Михаил Александрович перестал бывать у него, но начальник не унимался, желая, вероятно, загладить свое прежнее грубое обращение; зазвав его однажды к себе, велел запереть ворота и не выпустил от себя до самого утра другого дня".
Больная, слабая Наталья Дмитриевна провела ночь в тревоге за мужа: где он? что с ним? жив ли?
Михаил Александрович любил детей. Даже в нежности его к жене был оттенок отцовский. Он привязался, как к родной, к дочери енисейского исправника Францева — Машеньке, которой тогда было шесть лет. Она на всю жизнь сохранила доброе чувство к благородному генералу, ее любовь к Фонвизиным была столь велика, что когда их перевели в Тобольск — ее отец согласился не уезжать из Тобольска, остаться там в должности прокурора, чтобы не разлучаться со своими друзьями и воспитателями его дочери. Марии Дмитриевне Францевой обязаны мы знанием многих страниц жизни декабристов в Сибири и особенно семьи Фонвизиных.
Плохое состояние здоровья Натальи Дмитриевны заставило Ивана Александровича Фонвизина собрать в Москве консилиум из трех известных докторов, которые обсудили все представленные им сведения о заболеваниях Фонвизиной и пришли к выводу, что дальнейшая жизнь в северных широтах может убить их заочную пациентку.
Только после этого, в марте 1835 года Фонвизиным разрешено было переехать в Красноярск, а еще через три года — в Тобольск.
"Мы приехали в Тобольск, — вспоминала Наталья Дмитриевна в письме к протоиерею Стефану Знаменскому. — И приехали в ночь, в грязь, слякоть, и выехали с горы, и въехали в темный, унылый и низкий дом, который и на тебя произвел такое тягостное впечатление в последний твой приезд…"