Послание это Александра сохранила на всю жизнь.
Незаметно пробежали годы. Владимир Федосеевич по-прежнему занимался винным выкупом, жил в основном на Александровском винокуренном заводе, где имел свой собственный домик. К семье в Олонки приезжал по воскресеньям и праздничным дням.
Никогда, ни при каких обстоятельствах Раевский не терял интереса к общественной жизни. Он был в курсе всех событий. Ему были близки взгляды польских революционеров, петрашевцев, а также революционеров-разночинцев, сосланных в Сибирь в 1860 году. С одним из них, Станкевичем, часто встречался, снабжал его газетами и журналами. Чем мог помогал не только ссыльным, но и молодым ученым-сибирякам. В письме к видному сановнику Вельтману просил помочь молодым иркутским инженерам Баснину и Разгильдяеву, которые должны уехать «за границу с ученой целью и не напрасно — как ездят наши «сверчки и тараканы». На Раевского постоянно шли тайные доносы, обвиняя его то во «вредных разговорах», то в каких-то других непозволительных делах. Делалось это ему в отместку за то, что разоблачал жуликов и проходимцев, состоящих на государственной службе. Они ему мстили, как могли. Анонимные доносы были их главным оружием. На каждый донос полагалось писать объяснение начальнику III отделения Главного управления Восточной Сибири Успенскому. Тому самому, который при аресте Лунина в 1841 году, увидев, как Лунин сделал движение в сторону охотничьего ружья, висевшего у него на стене, сильно побледнел и задрожал. Лунин заметил это, поспешил успокоить его: «Таких людей как вы, не убивают, а бьют».
На последний донос Раевский написал объяснение прямо генерал-губернатору. «Наконец-то не только в домашний быт, в мою прислугу, но и в мои откупные занятия вмешиваются доносчики. Если я имею врагов, я не виноват. Это общая участь людей, у которых есть собственные правила и независимые убеждения. В мои лета они измениться не могут».
В 1858 году Владимир Федосеевич решил продолжить писать свои воспоминания, которые начал еще в 1840 году, но тогда был арестован Лунин и конфискованы его бумаги, и он вновь решил оставить их до лучших времен. «Крепость Замостье и разговор с цесаревичем Константином Павловичем» и «Крепость Замостье и конфирмация» были написаны ранее. Теперь он готовит еще три очерка: о поездке в ссылку в Сибирь, о деятельности его в тайном обществе, о поездке в европейскую часть России в 1858 году. Написал очерк о смертной казни пяти декабристов. Раевский видел эту казнь из окна своего каземата. Весь обряд казни прошел перед его глазами и запомнился на всю жизнь.
«…Через полчаса из этого дома вышли один за одним 5 человек, осужденных на смерть. Они шли один после другого под конвоем с обеих сторон солдат Павловского полка. Все они были одеты в белые длинные саваны. У каждого на груди была привешена черная доска с надписью: преступник такой-то. Они взошли на вал и потом на платформу. На перекладине было привязано пять веревок с петлями. Внизу стояла скамейка. Осужденные были в ножных кандалах, им очень трудно было стать на скамейку, но им помогли… Через полчаса трупы сняли, сложили на телегу и увезли…»
Естественно, для написания воспоминаний у Раевского было очень мало свободного времени. Писал урывками и часто в ночное время. Иногда случалось, что, написав что-либо, Владимир Федосеевич прочитывал Авдотье Моисеевне, которая, удивляясь, говорила:
— Ты мне об этом никогда не говорил, первый раз слышу.
— Не все сразу, — шутил Раевский, — я еще ни слова не написал, как мы обвенчались.
— Думаешь, кому-то интересно будет знать?
— Детям нашим, а еще больше внукам, ведь свадьба наша была необычная…
Когда старшие дети уже были пристроены и расходы уменьшились, Владимир Федосеевич решил бросить работу по откупу. Об этом узнали крестьяне, услугами которых он все время пользовался, что являлось их единственным заработком. Крестьяне умоляли его не бросать работу, ибо знали, что никто иной не сумеет защитить их интересы так, как он. Сотни крестьян имели приличные заработки потому, что Раевский не допускал вмешательства чиновников, а сам не брал от них ни гроша.
Годы брали свое. Раевскому становилось трудно часто ездить от винокуренного завода до Олонков. Поэтому на заводе построил для себя маленький домик. На Александровском винокуренном заводе отбывали каторжные работы осужденные за разные провинности. Там были и ссыльные поляки, которые в лице Раевского видели своего защитника. С некоторого времени на завод привезли соратника Чернышевского Обручева. Раевский сразу подружился с ним, помогал ему. Иногда Обручев бывал в доме Раевского.