С 1945 года — начальник УКР Смерш Южной группы войск, а с ноября 1947-го — Управления КР МГБ ГСоВг. В ноябре 1949-го назначен начальником Управления КР МГБ Ленинградского ВО.
В 1951 году стал заместителем начальника 3-го Главного управления МГБ СССР, с сентября 1952-го — министр ГБ УССР, с марта 1953-го — заместитель министра внутренних дел УССР. С июля 1953 года по март 1954-го — вновь заместитель начальника 3-го управления МВД.
С июня 1954 года — заместитель председателя КГБ при СМ СССР. В январе 1956-го назначен первым заместителем председателя КГБ.
В 1962 году руководил следственной группой, направленной Президиумом ЦК КПСС в Новочеркасск. В марте 1963-го назначен начальником ГРУ — заместителем начальника Генштаба ВС СССР. Он был практически 50 лет на службе. Четверть века отдал работе в органах ГБ и столько же времени — службе в ГРУ.
Автор этих строк считает за счастье, что ему довелось служить в подразделении ВКР по оперативному обслуживанию ГРУ Генштаба ВС СССР с 1974 по 1987 год, когда военную разведку возглавлял легендарный человек — генерал армии П. И. Ивашутин, которому он посвятил три книги: «Император ГРУ», «Маршал военной разведки» и «Из Смерша в ГРУ».
О деятельности П. И. Ивашутина можно писать много и долго. Пройдемся только по некоторым его служебным вехам. После прихода в органы ГБ в 1939 году его тут же назначили руководителем военной контрразведки 23-го стрелкового корпуса, принимавшего участие в советско-финской войне 1939–1940 годов.
Именно здесь П. И. Ивашутин зарекомендовал себя как смелый и решительный руководитель. Когда оперативный состав ему докладывал о фактах массовой гибели наших солдат, одетых в серые шинели и становящихся для противника хорошими мишенями на снегу, он несколько раз информировал командование о необходимости белых маскхалатов. Но дело не двигалось. Когда на позиции прибыла делегация партийных работников во главе со Ждановым, он доложил об этом ее руководителю. На следующий день все бойцы были переодеты. И число погибших от финских снайперов резко снизилось…
Во время службы в должности заместителя Особого отдела НКВД Крымского фронта, который понес большие потери в конце 1941-го и начале 1942 года, Ивашутин доложил своему непосредственному руководству, что виной керченской трагедии были паникерское поведение уполномоченного Ставки ВГК Маршала Советского Союза Г. И. Кулика и волюнтаризм заместителя наркома обороны армейского комиссара 1-го ранга Л. З. Мехлиса, которые упорно убеждали И. В. Сталина, что все поставленные задачи они выполняли правильно. Но результат оказался трагичен — жертв было море. Когда Мехлис явился с докладом к Сталину, тот, не пожелав слушать его, сказал только одну фразу: «Будьте вы прокляты!» и вышел из кабинета.
В 1942 году П. И. Ивашутин назначается начальником Особого отдела НКВД Юго-Западного фронта (ЮЗФ) второго формирования (25.10.1942 — 20.10.1943), который участвовал в операциях «Уран» — контрнаступление под Сталинградом, Среднедонской, Острогожско-Россошанской, третьей битве за Харьков, Изюм-Барвенковской наступательной операции, Донбасской стратегической операции, Запорожской. Военный контрразведчик пользовался уважением у командующих фронтом генералов армии Н. Ф. Ватутина и Р. Я. Малиновского.
20 октября 1943 года ЮЗФ на основании приказа Ставки ВГК от 16 октября того же года был переименован в 3-й Украинский фронт (УФ), который участвовал в битве за Днепр, освобождении Днепропетровска и Днепродзержинска, в осуществлении Никопольско-Криворожской, Одесской, Ясско-Кишиневской, Белградской, Будапештской и Балатонской операций и освобождении Румынии и части Австрии со столицей Веной. С 15 мая 1944 по 15 июня 1945 года 3-м Украинским фронтом командовал Маршал Советского Союза Ф. И. Толбухин.
После Ясско-Кишиневской операции встал вопрос о разгроме одного из сателлитов Германии — Румынии. УКР фронта во главе с П. И. Ивашутиным и вместе с военными разведчиками разработали операцию по выведению Румынии из войны мирным путем. Интенсивно шли переговоры с румынским королем Михаем Первым.
В это время в штаб фронта прибыл Г. К. Жуков, который приказал Ф. И. Толбухину срочно подготовить и провести операцию по разгрому румынской армии. В кабинете присутствовал Ивашутин. Он корректно стал объяснять представителю Ставки, что готовится срочная операция по выведению Румынии из войны.