Державину было, чем похвастать перед просвещённой царицей: в городе открылся театр, появилось народное училище с четырёхгодичным сроком обучения. Много сил губернатор приложил для развития судоходства по Цне, а предложенное им шлюзование реки позволило доставлять в Тамбов лес и строительный камень.
В письме генерал-губернатору Державин указывал на слабость судебной власти в губернии: «Я примечаю, что обвиняются здесь всегда малые чины, а большие, коих из дел сих изволите увидеть, оправдываются. По мнению моему, закрывать в искании и в приговоре винного не есть человеколюбие, но напротив, зло, вредящее обществу».
В Тамбове не нашлось даже правовой литературы — ни одного сборника законов! Суды работали произвольно, «на честном слове», — не суды, а сплошная прореха. Возможно ли в таких условиях искоренить чиновничью круговую поруку?
Тамбовские тюрьмы до Державина пребывали в страшном запустении: тесный полуподвальный смердящий хлев, в который загнали 200 человек обоего пола, — вот что представляла собой тамбовская тюрьма. Молодые воришки, которых ещё можно было вразумить, теснились вместе с душегубами и умалишёнными. Получалось не тюремное заключение, а смертная казнь, да и только.
Державин писал:
«При обозрении моем губернских тюрем в ужас меня привело гибельное состояние сих несчастных… Более 150 человек, а бывает, как сказывают, нередко и до 200, повержены и заперты без различия вин, пола и состояния в смердящие и опустившиеся в землю, без света, без печей, избы, или, лучше сказать, скверные хлевы. Нары, подмощённые от потолка не более ¾ разстоянием, помещают сие число узников, следовательно согревает их одна только теснота, а освещает между собою одно осязание». Державин не просто критиковал, он уже готовил строительство нового острога. А нерасторопных юристов предлагал наказывать оригинальным способом: «Признаюсь я вашему высокопревосходительству, что господам уголовным судьям, между разговорами, приятельски советовал я взять способ к скорейшему решению их распри и разноголосицы тот; чтоб они, хотя когда из любопытства, один раз заглянули в тюрьму и увидели, как страждут там люди».
Словом, Державин сделал всё для того, чтобы Лермонтов через полвека сумел написать о Тамбове:
Впечатляющее здание острога — это уж точно заслуга Державина. Устройством тюрем Державин всегда интересовался особо. Наказания должны исправлять, а не уничтожать провинившегося — по крайней мере в идеале, к которому Державин стремился.
С удивлением поглядывали тамбовчане на строительство острога, а Державин приказал ещё и обустроить отдельный дом для умалишённых.
Где выискать верных и достойных соратников?.. В Петрозаводске оставался старший советник правления Свистунов — Державин доверял ему, хотел перевести в Тамбов. В Тамбов Свистунова устроить не удалось, но верный товарищ помог Державину продать новому олонецкому губернатору мебель, оставшуюся в Петрозаводске. А Свистунов, с которым Державин надолго сохранил дружеские отношения, вскоре оказался в столицах.
И всё-таки наладить работу бюрократического аппарата энергичному управленцу было проще, чем урезонить крепостников, которых ни на хромой козе, ни на губернаторской лошадке не объедешь.
«Я приехал сюда с твёрдым намерением действовать, как я должность свою понимаю, всё, что делается нами, на пользу Отечеству служить должно. Глубокую надежду питаю, что общие наши усилия да труды на благо государства и во имя процветания края Тамбовского, коль скоро сделается мне опорой, и подмогой, не напрасны будут. А пуще всего с беззакониями бороться. Соблюдение законов — первейший долг наш. Неправедности и гнусности не потерплю. А посему должны господа служители правления Свод законов Российской Империи изучить прилежно, дабы все дела в соответствии отправлять…» — таково губернаторское кредо. Чтобы исполнять законы, их нужно знать и понимать. И Державин занялся правоведческим просвещением: выписывал книги, экзаменовал чиновников.