Губернский прокурор мог быть, если хотел, влиятельным лицом и в тюремном управлении. Ровинский предавался этой стороне своей служебной деятельности с горячим усердием и любовью. Пример трогательного человеколюбца, тюремного доктора Федора Петровича Гааза, отдавшегося всецело делу помощи заключенным, утешению их и заботе о них, вызывал в Ровинском глубоко сочувственное к себе отношение и в слове, и в деле. Впоследствии, в официальных записках по поводу тюремной реформы и судебного преобразования, он не раз с особым уважением указывал на деятельность Гааза, девизом которого были удивительные по своей простоте и глубине слова: «Спешите делать добро!». Еще будучи губернским стряпчим, Ровинский, постоянно посещая заседания тюремного комитета , был очевидцем замечательного и памятного ему столкновения Гааза с председателем комитета, знаменитым митрополитом Филаретом, из-за арестантов. Филарету наскучили постоянные и, быть может, не всегда строго проверенные, но вполне понятные при старом строе суда, ходатайства Гааза о предстательстве комитета за «невинно осужденных» арестантов. «Вы все говорите, Федор Петрович, — сказал Филарет, — о невинно осужденных… Таких нет. Если человек подвергнут каре — значит, есть за ним вина»… Вспыльчивый и сангвинический Гааз вскочил с своего места… «Да вы о Христе позабыли, владыка!» — вскричал он, указывая тем и на черствость подобного заявления в устах архипастыря и на евангельское событие — осуждение невинного… Все смутились и замерли на месте: таких вещей Филарету, стоявшему в исключительно влиятельном положении, никогда еще и никто не дерзал говорить в глаза! Но глубина ума Филарета была равносильна сердечной глубине Гааза. Он поник головой и замолчал, а затем, после нескольких минут томительной тишины, встал и, сказав: «Нет, Федор Петрович! Когда я произнес мои поспешные слова, не я о Христе позабыл — Христос меня позабыл!..» — благословил всех и вышел.
Каждую субботу и праздник объезжал Ровинский разнообразные московские тюремные помещения и тщательно обходил пересыльную тюрьму и губернский замок в сопровождении стряпчих и секретарей местных — уголовной палаты, магистрата и надворного суда, разрешая жалобы арестантов, пробуя их пищу и тут же, на месте, наводя справки по делам и ускоряя последние. Простота в обращении привязывала к нему всех, а по отношению к должностным лицам его настойчивые просьбы («батюшка! ну, сделайте это для меня, — двиньте вы это дело в личное для меня одолжение», — говаривал влиятельный прокурор секретарям судов) приобретали характер требований, которых нельзя было не исполнить. В эпоху взяточничества и всякого темного своекорыстия личность московского губернского прокурора, всегда скромно и почти бедно одетого, вечно занятого живым делом, а не отписками у себя в камере, все знающего и «видящего насквозь», производила глубокое нравственное впечатление на окружающих. Ему было трудно отказать в его просьбах, его было совестно не слушаться, да и «втереть ему очки» нечего было и думать… Верный заветам Гааза, Ровинский с успехом продолжал хлопоты о сокращении числа лиц, подвергаемых тягостному бритью половины головы в предупреждение побегов; из его записки о тюремных помещениях Московской губернии, проникнутой человечностью, сквозит, несмотря на крайнюю скромность автора, ряд облегчительных мер, предпринятых по его распоряжению с целью улучшить быт арестантов, выведя их из пагубной праздности и вооружив их для последующей жизни хоть каким-нибудь практическим знанием… Особенное внимание обращал он на «частные дома» с их так называемыми «съезжими». Там почти постоянно можно было найти арестованных без всякого законного основания; там было место применения личной расправы с людьми, отпускаемыми затем без всякого суда, — там, наконец, производилась знаменитая, глубоко вошедшая в тогдашние нравы «секуция». «В доброе старое время, — вспоминает Ровинский в „Русских народных картинках”,— „секуция” производилась в частных домах по утрам; части Городская и Тверская, в Москве, славились своими исполнителями; пороли всех без разбора: и крепостному лакею за то, что не накормил вовремя барынину собачку, всыплют сотню, и расфранченной барышниной камердинерше за то, что барин делает ей глазки — и той всыплют сотню: — барыня де особенно попросила частного; никому не было спуска, да и не спрашивали даже, в чем кто виноват, — прислан поучить, значит, и виноват — ну и дери кожу. Хорошее было время: стон и крики стояли в воздухе кругом часто целое утро; своего рода хижина дяди Тома, — да не одна, а целые десятки». Если Городская и Тверская части приобрели себе особенную славу по части телесных наказаний, то Басманный частный дом отличился в другом отношении. Там негодующий Ровинский нашел семь, немедленно им уничтоженных, подвальных темниц, куда никогда не проникал луч света. Они назывались «могилами», и в них расстраивали себе зрение и даже слепли (между прочими— почетный гражданин Сопов) люди, числившиеся «за приставом». В другой из московских частей непрошеная любознательность губернского прокурора открыла специальный «клоповник» для арестованных со всеми его необходимыми принадлежностями.
Немало тревожных забот доставляли Ровинскому и дела о крестьянах и дворовых. Иго крепостного рабства, которым, по выражению Хомякова, была клеймена Россия, давило в начале пятидесятых годов всей своею тяжестью и оказывало свое растлевающее влияние на все общественное здание. В Московской губернии постоянно возникали дела о злоупотреблениях помещичьей власти, и хотя Закревский сурово относился в этих случаях к виновным, но в то же время был, по замечанию Ровинского, ярым защитником крепостного права, не допускавшим и мысли о ненормальности создаваемых этим правом отношений. Кроме всесильного генерал-губернатора на беспощадной страже этого права стоял и уголовный закон, подвергавший, на основании ст. 1983 тома IX Свода законов, крестьян, непокорных не только своим господам, но даже и тем, кому последние передали, вполне или с ограничениями, свою власть, — наказанию, установленному за восстание против властей, т. е. каторжной работе на очень длинные сроки и плетям. Понятно, как легко, при таких условиях, могли быть возбуждаемы, по самым ничтожным поводам, в сущности сводившимся лишь к недоразумениям, дела о восстаниях крестьян и какому одностороннему разрешению они подвергались, особенно если иметь в виду, что по ст. 221 второй части XV тома крепостные люди подсудимых могли быть допрашиваемы при следствии лишь за недостатком других свидетелей. Ровинскому приходилось часто и горячо отстаивать и пред Закревским, и в уголовной палате спокойный и трезвый взгляд на дела о «восстаниях» крепостных и, лавируя в узком проливе между формальными доказательствами, отыскивать в деле трудно и неохотно добытые данные, правдиво рисующие житейскую его сторону. А это было необходимо, чтобы убедить графа Закревского в том, что там, где предполагалось «дерзкое колебание коренных основ общества», было подчас вопиющее злоупотребление власти над ближним, и что обиженная в своих правах и безмятежности «жертва» была иногда сама злобною и изобретательною мучительницею, — и тем обратить его гнев на действительно виновную сторону. Нужно было много выдержки, спокойствия, знания и безупречной чистоты в действиях, чтобы выходить победителем при разрешении подобных задач. Хотя это и удавалось Ровинскому, но оставило горький осадок в его душе, отразившийся впоследствии, между прочим, и на его пред-ставленных в Государственную канцелярию, в 1860 году рассуждениях о необходимости «различать бессвязные волнения от того, что еще так недавно возводилось на степень государственного преступления…».