У Жемчужникова всегда были с детьми понимание и доверие. Он воспитывал у них страстное желание бороться с несправедливостью и произволом. Часто рассказывал им о своем адъютанстве у Аракчеева.
«Нередко слыхивал я в детские лета рассказы о творце военных поселений. Вот он действительно казарменный был гений... Дух аракчеевский, дух дикий произвола, средь детских игр пугал меня не раз», — писал Алексей Жемчужников много лет спустя, а Владимир Жемчужников вспоминал рассказы отца о том, как тому довелось встретиться с родным братом всесильного Аракчеева :
«После кампании за границей, отец мой квартировал с своею батареей в западной России, переходя из города в город, из местечка в местечко.
В Слониме отец мой желал представиться Аракчееву, брату знаменитого. Ходя по улице, он услышал вдали стон. «Где живет генерал Аракчеев?» — «В доме, что напротив, ваше высокородие». Чем ближе подходил он к указанному дому, тем явственнее становились стоны. Наконец можно было разобрать умоляющие возгласы: «Пощадите! Ваше превосходительство! Батюшка! Простите! Пощадите! » Вслед за этими стонами послышался какой-то дико-злобный, задыхающийся голос: «Сделай милость, не проси! не проси! Пожалуйста, не проси!» За этими словами и умолениями послышался какой-то глухой стук, довольно частый. «Что за странность?!»—подумал отец. Сильно любопытствуя узнать, что происходит в доме, он вошел в сени и отворил дверь в ту комнату, откуда слышались стоны. Глазам его представилась картина времен Иоанна Грозного: двое держали одного человека за вытянутые в стороны руки; другие били его палками. Он мучился и стонал: «Пощадите, ваше превосходительство! Батюшка! Простите! Пощадите!» Перед этим мучеником стоял на коленях человек среднего роста; на нем была шерстяная фуфайка; он отвечал на жалобные стоны мученика дикими, задыхающимися стонами: «Сделай милость, не проси! не проси! не проси! пожалуйста, не проси! дай мне убить тебя! Дай мне замучить тебя! Сделай милость, не проси!» В человеке, стоявшем на коленях, отец мой узнал Аракчеева и захлопнул дверь. Не имея необходимости представляться Аракчееву, он пошел отыскивать его адъютанта. Адъютант сидел на гауптвахте. Отец мой пришел к нему: «Лучше не представляйтесь генералу,— сказал адъютант,— он такой скверный человек, такой взбалмошный! Ни с того, ни с сего, пожалуй, рассердится на вас и посадит на гауптвахту, как меня».— «А за что он посадил вас?» — «Ему надо было ехать явиться к Паскевичу, он оделся в мундир и уже был готов. В это время, за какую-то безделицу, рассердился на писаря и начал его бить. Тот долго терпел; наконец отвернулся и пустился бежать ; Аракчеев — за ним в парадном мундире. А я должен был бежать за Аракчеевым; так мы бежали часть города, лазая через заборы, по развалинам домов, в глазах всех жителей. Наконец писарь вскарабкался на печку развалившегося дома. Аракчеев нагнал его в это время и уже хотел сам лезть на печь за писарем, но я, жалея писаря, удержал Аракчеева за фалду. Этим я спас писаря, который успел убежать, и за это я посажен на гауптвахту». — «Если так, — сказал отец мой, — то я расскажу вам, что я видел в доме Аракчеева. Я уже заходил к нему; но не хотел вам сказывать прежде»... Отец мой рассказал ему все им виденное. Догадавшись по описанию, что Аракчеев бил того самого писаря, за которым гонялся, адъютант вскричал: «Ну, несчастный! Ведь Аракчеев убьет его!..»10
Никакого особенного свободомыслия у старшего Жемчужникова не было, но, исполнительный на службе, он оставался человеком порядочным, с чувством собственного достоинства и известной широтой взглядов.
В 1831 году он был назначен генерал-гевальдигером, то есть начальником военной полиции, в армию, действовавшую в Польше, и надолго покинул родные края.
Дети были на попечении Ольги Алексеевны и Екатерины Николаевны, сестры отца, которую они все звали «Тикованна», даже повзрослев и умея выговаривать правильно ее трудное для малышей имя. Их выводили гулять в сад с разросшейся липовой аллеей. По вечерам в гостиной, уставленной старинной мебелью карельской березы, на столике в углу уютно пел самовар, а пугающая чернота окон была завешена шторами, разрисованными клеевыми красками, с изображением швейцарских видов, с водопадами, хижинами и горами.