В 1889 году Столыпин, по собственной инициативе вновь переведенный в Министерство внутренних дел, был назначен ковенским уездным предводителем дворянства (в девяти губерниях Западного края, в бывших польских губерниях, предводители дворянства не избирались). Сменив столицу на провинцию, Петр Аркадьевич возвратился в Ковенскую губернию уже со своей семьей.
В течение десяти лет Столыпин – предводитель дворянства Ковенского уезда. В 1899 году Петр Аркадьевич был назначен губернским предводителем дворянства, заняв во властной иерархии Ковенской губернии вторую по значимости – после губернатора – должность. Семья ежегодно около пяти месяцев жила в городе Ковно, переселяясь после Пасхи в Колноберже. Поэтому летом Столыпин постоянно курсировал между Ковно и имением, где проводил половину недели. На землях Западного края предводитель дворянства помимо обычных представительских функций должен был проявлять и способности дипломата, смягчая по возможности противоречия между русскими властями и польской шляхтой. И Столыпину, усердно и добросовестно исполнявшему обязанности предводителя, судя по всему, это удалось. Как вспоминала Мария, старшая дочь Столыпина, отец, не ограничиваясь лишь своими непосредственными обязанностями предводителя, стремился создавать в губернии «что-нибудь новое».
«Любимым его детищем было Сельскохозяйственное общество, на устройство которого он положил много времени и сил и работа которого вполне оправдала его надежды, – отмечала М. П. Бок (Столыпина). – Был при нем склад сельскохозяйственных орудий, устройство которого особенно увлекало папа́. Молодой, энергичный и деятельный мой отец рьяно принялся за работу с первого же дня своей службы и до последнего дня… Кроме Сельскохозяйственного общества и склада, по его почину был построен в Ковне Народный дом, и много времени он проводил там, следя за устройством ночлежного отделения, чайной, за правильной постановкой чтения для рабочих и народа вообще; за устройством представлений и народных балов. Мои родители всегда ездили на эти представления, и помню, с каким энтузиазмом они рассказывали о первом представлении кинематографа, об этих „удивительных движущихся картинах“… Но вообще, вечера, когда родители уезжали из дому, были редки. Кроме посещения нескольких представлений за зиму в Народном доме, они изредка бывали в городском театре, но почти исключительно на гастролях проезжавших через Ковну знаменитостей. Ковна лежала по дороге из Петербурга в Берлин, и случалось, что ездившие в турне артисты оставались на один-два дня у нас, и тогда, конечно, маленький ковенский театр бывал битком набит публикой»6.
Тем не менее в этот период, особенно до назначения губернским предводителем дворянства, основным делом Петра Аркадьевича было занятие собственным хозяйством – прежде всего в Колоноберже и примыкавших к нему фольварках Петровском и Ольгино. Увлеченный этим делом, он смог превратить имение в образцовое хозяйство с многопольным севооборотом и развитым животноводством. К началу ХХ столетия в руках семейства Столыпиных, с учетом полученных наследств, покупок и продаж имущества, было 7450 десятин земли в различных губерниях, что обеспечивало Петру Аркадьевичу заметное место в среде поместного дворянства7.
Столыпин занимался в ковенский период и самообразованием. Изучал современную литературу по праву, экономике, финансам, уделяя внимание западноевропейскому опыту и его применению в российских реалиях. Эти знания находили отражение в докладах и записках, которые Столыпин готовил как председатель Ковенского общества сельского хозяйства и представлял в Министерство внутренних дел. Так, в составленной в 1901–1902 годах «Записке о рабочем страховании» поднималась совершенно новая для России тема социального страхования именно сельскохозяйственных рабочих. Проанализировав законодательство и опыт европейских стран, Петр Аркадьевич считал необходимым и в России развивать страхование для сельскохозяйственных рабочих, улучшая тем самым условия труда и жизни. Обращение к этому вопросу диктовалось отнюдь не теоретическим интересом, а вполне практическими соображениями, актуальными для Ковенской губернии. Местных помещиков сильно беспокоило, что сельскохозяйственные рабочие – батраки и поденщики, недовольные условиями найма, – массово уходят на заработки в Германию. Считая бесполезной и вредной борьбу с трудовой миграцией путем запретов (хотя за это высказывались многие крупные ковенские землевладельцы), Столыпин полагал, что важнее улучшать положение рабочих, в том числе с помощью социального страхования8.