Практически одновременно с Сенатом и в качестве его дочернего учреждения был создан также орган надзора за аппаратом управления — ведомство обер-фискала, под началом которого находились фискалы, определенные во все государственные учреждения, в губернии и города. На них возлагалась обязанность следить за исполнением законов чиновниками всех рангов, включая неправильные судебные решения, казнокрадство и взяточничество. Деятельность фискалов должна была осуществляться в тайне, и они объявлялись полностью независимыми от местных властей. Освобождались фискалы и от ответственности за ложные доносы, а собственно доносительство было их основной функцией, причем за раскрытие преступления они получали четверть суммы штрафа по возбужденному делу. Позднее, в 1723 г. была учреждена должность генерал-фискала и специальная Фискальная канцелярия.
На протяжении царствования Петра I было немало случаев наказания чиновников разного уровня на основании доносов фискалов. Однако, поскольку вся система фискалитета была подчинена Сенату, который должен был рассматривать доносы фискалов, между ними и сенаторами сложились довольно напряженные отношения, и царь нередко вынужден был лично вмешиваться в возникавшие споры. В целом, однако, первая попытка Петра создать органы надзора оказалась самой неудачной и недолговечной из его административных реформ. Деятельность фискалов вызывала не только страх и ненависть чиновников, но и всего населения. Не случайно само слово «фискал» стало в русском языке синонимом наушника, ябедника, тайного и подлого шпиона.
В 1722 г. Петр предпринял вторую, более удачную попытку создания системы надзора, учредив органы прокуратуры. В Сенат были назначены генерал-прокурор и обер-прокурор, а в созданные к тому времени коллегии — прокуроры. О должности генерал-прокурора сам царь писал, что «оной чин есть око и сердце всего государства». Однако, наблюдая за деятельностью Сената и присутствуя на его заседаниях, более того, руководя прениями в нем, генерал-прокурор получил право вмешиваться в выносимые сенаторами решения и приостанавливать их исполнение, при необходимости донося о важнейших делах государю. Таким образом, он должен был стать главным связующим звеном, посредником между государем и Сенатом и его фактическим руководителем. Позднее на протяжении столетия объем властных полномочий генерал-прокурора менялся в зависимости от изменений статуса Сената, а также от личности того, кто занимал эту должность. С 1729 г. все функции надзора полностью перешли к прокуратуре. Еще одним органом контроля, учрежденным Петром, стала созданная в 1720 г. Канцелярия рекетмейстерских дел при Сенате во главе с генерал-рекетмейстером. Ей вменялось в обязанность принимать жалобы населения на неправильное решение дел в государственных учреждениях.
Следующим этапом административной реформы Петра I стало создание коллежской системы, т. е. системы центральных ведомств с отраслевыми функциями. История этой реформы наиболее ярко демонстрирует особенности второго этапа преобразовательной деятельности царя, когда решения принимались уже не спонтанно, но долго и тщательно прорабатывались и обсуждались. При создании коллегий за образец была взята шведская система центрального управления, основанная на принципах популярного в то время учения о камерализме. Согласно этому учению, каждое ведомство наделялось функциями управления в строго определенной сфере государственной жизни, причем его власть распространялась на всю территорию страны. Все вопросы в ведомствах решались коллегиально, что, по мысли Петра I, должно было уничтожить самоуправство прежних приказных судей, имевших единоличную власть. Для каждого учреждения составлялось штатное расписание, т. е. вводился фиксированный состав служащих с фиксированным же жалованьем. «Присутствие» коллегии состояло из президента, вице-президента и трех членов. Функции всех чиновников, от самых низших до высших, жестко регламентировались, а само ведомство получало собственный регламент, в котором определялись его функции, сфера компетенции и ответственности.
Коллежская реформа началась в конце 1717 — начале 1718 г. Поначалу были созданы 9 коллегий: Иностранных дел, Военная, Адмиралтейская, Камер-коллегия, Штатс-контор-коллегия, Ревизион-коллегия, Юстиц-коллегия, Коммерц-коллегия и Берг-мануфактур-коллегия. Первые три (в системе коллегий они занимали особое место, будучи подотчетны непосредственно государю) возникли на основе еще ранее созданных Петром учреждений, заменивших собой старые приказы. Принципиально новым для России было создание специальных финансовых ведомств. Поступлением денег в казну и его планированием ведала Камер-коллегия, государственными расходами — Штатс-контор-коллегия, а общий контроль и за приходом и за расходами осуществляла Ревизион-коллегия, в то время как прежде каждый приказ осуществлял все три функции.