Следующим местом службы П.З. Ермакова стали 20-е Кавалерийские Екатеринбургские Подготовительные Курсы РККА, на которых он также занимал должность Комиссара до весны 1922 года, после чего опять был направлен на 24-е кавкурсы, которые стали последним местом службы в его военной карьере.
Но сидеть без работы П.З. Ермакову долго не пришлось.
Решив окончательно порвать с военно-политической карьерой, он к июлю 1923 года добивается через своих знакомых и в первую очередь через А.Г. Белобородова (назначенного в августе 1923 г. на пост Наркома Внутренних Дел РСФСР) назначения на начальствующую должность в Рабоче-Крестьянской Милиции (РКМ) Западной Сибири. Вот только на какую, опять-таки неясно, так как в одной из своих биографий он указывает: «г. Омск (Приурново) Вр. назначен по борьбе с уголовн. бандитизмом омской губ. милиции» {104} , а в другой – «В апреле 1923 г. был назначен начальником губмилиции города Омска, где возглавил ликвидацию групп уголовного бандитизма» {105} . А так как РКМ в то время имела самостоятельные управления как городского, так и губернского уровней, то становится не совсем понятным: в каком из них именно он проходил службу? И остается только предполагать, что, по всей видимости, он все же был Вр.и.о. начальника РКМ г. Омска.
Ровно через год П.З. Ермакова отзывают назад в родной город, где назначают на вакантную должность помощника Начальника Горно-промышленной Милиции Екатеринбургского губернского отделения РКМ, и в течение года он занимает поочередно должности начальника Административного отдела Екатеринбургской губернской РКМ и Зам. начальника Горно-промышленной милиции Екатеринбургского Округа.
Видимо, не потянув столь высокую для него должность, П.З. Ермаков в июле 1924 года переводится в Челябинск, где получает место Начальника охраны Административного Отдела НКВД Челябинского Округа. Зарекомендовав себя на этой работе с положительной стороны, он в начале ноября 1925 года командируется в Златоуст, где вступает в должность Начальника Административного Отдела НКВД Златоустовского Округа {106} .
Проработав на этом месте до апреля 1926 года, П.З. Ермаков переводится на аналогичную должность в город Усолье Верхнее-Камского Округа. Но прежде чем покинуть прежнее место службы, командный и строевой состав милиции Златоустовского Административного Отдела НКВД устраивает ему прощальную встречу, во время которой вручает памятный адрес и шашку с дарственной надписью, изготовленную на Златоустовском оружейном заводе.
В новую должность П.З. Ермаков вступил 10 мая 1926 года и проработал на ней до 17 сентября 1927 года, после чего был выведен в резерв комсостава НКВД.
Но буквально через два месяца он был вновь принят на службу в это ведомство и 22 ноября приступил к обязанностям помощника начальника Административного Отдела Административного Управления ОГПУ по Уральской области (ОБЛАУ ОГПУ).
Позднее, вступая в ВОСБ и отвечая на вопрос анкеты: «После Октябрьской Революции подвергались ли Вы партийному и Советскому суду и за что», Петр Захарович укажет, что: «Подвергался Контр. Комиссией за грубое отношение с заключен. после расследования Комиссии факт не подтвердился было ложное донесение. Контрольная комиссия вынесла [решение] дело прекратить» {107} .
В чем заключалось это грубое отношение, думается, пояснять не надо. Ибо, зная уркаганскую натуру П.З. Ермакова и его барско-паханские замашки, можно не сомневаться, что донесение это не было ложным. А что касается его грубого отношения к человеческой личности, то таковое, думается, коснулось не только одного заключенного… Или заключенных… Ибо «к месту» поставленная точка лишает автора сделать какие-либо определенные выводы в этом вопросе.
15 июля 1929 года, в годовщину «освобождения Урала и его революционной столицы – Свердловска от контрреволюционных банд адмирала Колчака» Президиум Свердловского {108} Окрисполкома вручил П.З. Ермакову Почетную Грамоту, в которой выразил надежду, что он «…на всех этапах развития революции, как и в годы борьбы с колчаковщиной, будет в первой шеренге бойцов за социализм и мировую республику советов».
В 1928 году П.З. Ермаков выходит на пенсию, но работу свою не оставляет, продолжая служить по упомянутому чекистскому ведомству. Начиная с января 1931 года он занимает должности Зам. начальника Уральского ОБЛАУ {109} ОГПУ, а с сентября этого же года – начальника Уральского ОБЛАУ ОГПУ, с поста которого он все же уходит в 1935 г. по состоянию здоровья {110} .