В октябре 1941 — декабре 1942 года Ивашутин служил заместителем начальника Особого отдела НКВД Крымского и Северо-Кавказского фронтов, на той же должности в Черноморской группе войск (декабрь 1942 — март 1943), возглавил контрразведку 47-й армии (март — апрель 1943), Управление контрразведки СМЕРШ Юго-Западного, 3-го Украинского фронтов (апрель 1943 — июль 1945). Об одной из операций, которой в апреле 1944-го руководил Петр Иванович, рассказал в одесской газете «Слово» ее участник И. Трегубенко. Четырем офицерам военной разведки 5-й ударной армии начальник контрразведки фронта Ивашутин обрисовал ситуацию и дал задание. «Состояло задание в следующем. Наши войска подошли вплотную к Одессе, немцы и румыны покидали город. Вместе с ними должны были уйти на запад нелегалы, служившие в абвере, СС, сигуранце. Уйти, чтобы продолжать работу… Глубоко законспирированные разведчики срочно нуждались в новых шифрах. Старший лейтенант Трегубенко и еще трое офицеров должны были доставить эти шифры в Одессу до того, как ее возьмут наши». По легенде, разработанной начальником контрразведки, Трегубенко должен был изображать пленного советского офицера, двое других разведчиков — эсэсовцев, а четвертый — румынского жандарма.
Все они были хорошо вооружены. В ночь с 8 на 9 апреля их перевели через линию фронта, и они без происшествий просочились в город, в условиях эвакуации никому до них не было дела. На явочной квартире разведчики получили адреса нелегалов и передали им шифры. В полдень 10 апреля генерал Ивашутин прислал за ними свой «виллис» и поблагодарил за успешное выполнение задания.
Герой Советского Союза С. Иванов, в годы войны начальник штаба ряда фронтов, писал: «Петр Иванович принимал непосредственное участие в подготовке и проведении наступательных операций 3-го Украинского фронта. Особенно много сил и энергии вложил он в подготовку и осуществление Ясско-Кишеневской, Будапештской, Венской операций, обеспечение успеха боевых действий войск фронта по освобождению Румынии, Болгарии, Югославии, Венгрии. Войну П.И. Ивашутин закончил в Австрии. Там встретил и День Победы».
Когда закончилась война, Петр Иванович командовал военной контрразведкой Южной группы войск (июль 1945 — ноябрь 1947), Группы советских войск в Германии (ноябрь 1947 — ноябрь 1949). В ноябре 1949 — декабре 1951 года он был начальником Управления контрразведки Ленинградского военного округа, заместителем начальника 3-го Главного управления МГБ СССР (декабрь 1951 — сентябрь 1952), министром госбезопасности Украинской ССР (сентябрь 1952 — март 1953), заместителем министра внутренних дел УССР по оперативной работе (март — июнь 1953).
После смерти Сталина, когда прошли большие перемены в органах госбезопасности и МВД его назначили заместителем начальника 3-го Главного управления (военная контрразведка) МВД СССР (июль 1953 — март 1954), а с образованием Комитета государственной безопасности при Совете министров СССР он стал начальником 5-го (экономического) управления Комитета, но пробыл в этой должности недолго (март — июнь 1954).
В том же году в июне П.И. Ивашутин стал заместителем председателя КГБ при СМ СССР, а в 1956-м — 1-м заместителем председателя КГБ СССР. Он рассказывал, что вся работа в КГБ лежала на нем, как на заместителе председателя Комитета. Приходили и уходили, как Петр Иванович выразился, «комсомольцы» (Шелепин, Семичастный), люди политически зрелые, но мало что понимающие в контрразведке. Ивашутину приходилось ездить с Хрущевым по миру, обеспечивая его безопасность. Словом, он устал и сказал об этом в отделе административных органов ЦК. А в это время разразился скандал с Пеньковским. ГРУ подверглось серьезной проверке ЦК, от занимаемых должностей освободили Серова, припомнив ему прежние дела с выселением народов, его первого заместителя А. Рогова, начальника управления кадров И. Смоликова. Были наказаны и уволены из армии офицеры, допустившие серьезные нарушения в работе с кадрами.
Начальником ГРУ 18 марта 1963 года назначили генерала Ивашутина. Представлял его личному составу начальник Генерального штаба Маршал Советского Союза С. Бирюзов.
Через много лет в некрологе генералу армии, Герою Советского Союза П.И. Ивашутину напишут:
«Большой жизненный, фронтовой и служебный опыт, высокие организаторские способности и талант крупного военного руководителя в полной мере проявились у П.И. Ивашутина в годы работы в Главном разведывательном управлении, которое он возглавлял четверть века. Под его руководством Главное разведывательное управление последывательно и целеустремленно проводило в жизнь комплексную программу по совершенствованию организационной структуры военной разведки, внедрению новейших технических средств, обеспечивавших качественное выполнение заданий военнополитического руководства страны».