Непреходящим бедствием для Костромы и губернии являлись пожары, для борьбы с которыми требовались срочные меры, и 13 декабря 1864 года губернатор направил городским головам губернии циркуляр с требованием улучшить техническую оснащенность пожарных команд, а в случае необходимости «пригласить жителей города, как купцов, так и мещан, гг. дворян и чиновников к подписке на приобретение необходимых инструментов». Костромскому городскому голове, в частности, он предложил «увеличить инструмент для разломки зданий и вскрытия крыш, приобретение парусов и щитов» для защиты от огня соседних зданий и т. д. и распорядился, чтобы «все это было заведено немедленно». Пожарная команда Костромы, таким образом, по отзывам современников, своим «отличным сравнительно с прошлым» положением была обязана губернатору.
Постепенно восстанавливалось и разрушенное пожаром. 12 мая 1864 года начались строительные работы в Богоявленско-Анастасиином монастыре, а 4 сентября 1866 года в Богоявленском соборе были заложены приделы в честь Феодоровской иконы Богоматери и во имя преподобного Иосифа Песнописца и благоверного великого князя Александра Невского. В 1866 году вновь было отстроено здание театра, пострадавшее от пожаров 1863 и 1865 годов.
В Ипатьевском монастыре в 1862 году был отстроен теплый Богородице- рождественский храм и перестроен архиерейский дом с новой Крестовою домовою церковью, а 28 сентября 1863 года состоялось освящение Романовских палат, отреставрированных распоряжением Александра II, посетившего монастырь в 1858 году, по образцу московских XVII века.
Необходимость улучшения руководства медицинскими учреждениями в губернии определила создание в 1865 году при губернском правлении врачебного отделения, которым в конце года были предприняты предупредительные меры на случай появления холеры и в здании, где ранее помещалось училище для детей канцелярских служащих, была устроена больница для холерных больных. Н. А. Рудзевичем, кроме того, оказывалась материальная помощь Мариинскому детскому приюту, попечительницей которого являлась супруга губернатора Елена Михайловна.
При Рудзевиче были открыты также городское полицейское управление (01.06.1862) и губернское казначейство (16.12.1865), Болынесольское начальное (08.09.1861) и Судиславское приходское (1863) Костромского уезда, Макарьевское уездное (1863) и Костромское приходское трехклассное женское (20.08.1864) училища. Важным событием общественной жизни губернии было и открытие Костромского общественного клуба (27.02.1865), членами которого «могли быть лица всех сословий обоих полов». Губернатор, ходатайствовавший об утверждении устава клуба, был одним из «строгих его блюстителей», подчиняясь уставу «до мельчайших деталей».
За время губернаторства Н. А. Рудзевич дважды принимал высочайших особ — в 1863 году наследника-цесаревича Николая Александровича, который «неоднократно выражал свое удовольствие начальнику губернии», а при отъезде из Костромы подарил губернскому присутствию экземпляр «Положения 19 февраля», и в 1866 году — наследников-цесаревичей Александра Александровича и Владимира Александровича.
3 декабря того же года «Костромские губернские ведомости» известили о том, что «начальник губернии оставляет губернию», а 19 декабря в зале Дворянского собрания земскими гласными и представителями дворянства в честь губернатора был дан обед. «Уездные гласные, — как сообщалось, — не хотели уезжать из Костромы, не заявив своего сочувствия оставляющему губернию губернатору». Во второй день января нового года в общественном клубе состоялся еще один обед в его честь, устроенный городским обществом. Вручая ему альбом с фотографиями присутствовавших на обеде, фабрикант В. А. Зотов заявил: «Костромское общество расстается с тем, в ком оно привыкло видеть не только начальника, но и того, для которого интересы общества постоянно составляли его собственные интересы». Последними знаками уважения и благодарности были звания почетного гражданина Костромы и почетного члена общественного клуба.
Последний председатель Государственного Совета, а при Рудзевиче — мировой посредник Кинешемского уезда Костромской губернии А. Н. Куломзин, однако, писал: «Раньше Рудзевич служил в Варшавской жандармской администрации, был женат на варшавской же балерине и обладал хорошею галереею редких мастеров, составленною путем скупки у варшавских евреев картин, расхищенных из замков галицийских панов во время бывших в Австрии в 1848 году беспорядков. Человеком он был добрым, чрезвычайно приветливым, но не деловым. Когда мы наезжали в губернский город, стоило нам обратиться к нему за каким-нибудь разъяснением, как немедленно он нас подводил к окну и показывал одно из редких растений, которых он разводил массу, будучи большим любителем комнатной культуры всяких цветов, и тем дело кончалось».