В феврале 1932 г. переведен на работу в центральный аппарат ОГПУ — инспектором, а с января 1933 г. — старшим инспектором 1-го отделения отдела кадров ОГПУ, курировал кадры ИНО.
Вскоре и сам П. А. Судоплатов был зачислен в аппарат ИНО ОГПУ: с апреля 1933 г. он оперуполномоченный 5-го, затем 8-го отделения. С октября 1933 г. — в резерве отдела кадров ОГПУ в связи со спецкомандировкой за рубеж. 1 июня 1934 г., по возвращении в СССР, зачислен оперуполномоченным в ИНО ОГПУ. С ноября 1934 г. — оперуполномоченный 7-го отделения ИНО ГУГБ НКВД.
В 1935 г. под прикрытием представителя украинского антисоветского подполья П. А. Судоплатов (псевдоним Андрей) был внедрен в руководство ОУН в Берлине. Ему удалось попасть на учебу в специальную партийную школу НСДАП в Лейпциге. Завоевав расположение лидера ОУН полковника Евгения Коновальца, разведчик вошел в его ближайшее окружение и сопровождал Коновальца в инспекционных поездках в Париж и Вену. В 1937—1938 гг. Андрей выезжал в Западную Европу в качестве нелегального курьера под прикрытием радиста грузового судна.
По возвращении в СССР — оперуполномоченный ИНО, затем помощник начальника отделения 7-го отдела ГУГБ НКВД СССР.
23 августа 1938 г. в Роттердаме, по личному поручению И. В. Сталина П. А. Судоплатов осуществил ликвидацию лидера ОУН Е. Коновальца.
С сентября 1938г. — и.о. помощника начальника 4-го (испанского) отделения 5-го отдела ГУГБ НКВД. После ареста руководителей разведки 3. И. Пассова и С. М. Шпигельглаза в ноябре — декабре 1938 г. исполнял обязанности начальника 5-го отдела ГУГБ НКВД.
В конце декабря 1938 г. П. А. Судоплатов был отстранен от дел и исключен из ВКП(б) первичной парторганизацией отдела за «связь с врагами народа». Однако благодаря вмешательству руководства НКВД это решение не было утверждено парткомом Наркомата, а П. А. Судоплатов 16 января 1939 г. получил должность заместителя начальника 4-го отделения.
С 10 мая 1939 г. он заместитель начальника 5-го отдела ГУГБ НКВД СССР. Руководил подготовкой операции «Утка» (ликвидация Л. Д. Троцкого), успешно осуществленной 20 августа 1940 г. в Мексике Н, И. Эйтингоном и Р. Меркадером.
С 25 февраля 1941г. П. А. Судоплатов заместитель начальника 1-го (разведывательного) управления НКГБ СССР.
После начала Великой Отечественной войны П. А. Судоплатов с 5 июля 1941г. начальник Особой группы при наркоме внутренних дел СССР, с 3 октября 1941г.— 2-го отдела НКВД СССР. Одновременно с 30 ноября 1941 г. по 1 июня 1942 г. он заместитель начальника 1-го управления НКВД СССР.
С 18 января 1942 г. — начальник 4-го управления НКВД СССР, которое было создано на базе 2-го отдела. Руководил партизанскими и разведывательно-диверсионными операциями в ближних и дальних тылах противника, координировал работу агентурной сети на территории Германии и ее союзников. С 21 ноября 1942 г. по совместительству — заместитель начальника 1-го управления НКВД СССР. С 11 мая 1943 г. — начальник 4-го управления НКГБ СССР.
С февраля 1944 г. П. А. Судоплатов начальник группы «С» при наркоме внутренних дел СССР, руководил переводом и обобщением материалов по атомной проблематике, полученных агентурным путем. С мая по август 1945 ґ. по совместительству — начальник отдела «Ф» НКВД СССР. Этот отдел был создан для работы на территории стран, освобожденных Красной Армией от противника, а также для сбора информации от граждан СССР, побывавших в плену или интернированных в странах Европы.
В 1945—1947 гг. под фамилией П. Матвеев и прикрытием должности советника НКИД участвовал в подготовке и проведении конфиденциальных переговоров наркоминдела СССР В. М. Молотова с чрезвычайным и полномочным послом США в СССР А. Гарриманом и лидером курдского национального движения М. Барзани.
С 27 сентября 1945 г. П. А. Судоплатов начальник созданного на базе группы «С» самостоятельного отдела «С» НКВД (с 10 января 1946 г.- НКГБ) СССР. Одновременно начальник Объединенного разведывательного бюро Специального комитета при СНК-СМ СССР по проблеме № 1 (создание атомного оружия). Отвечал за координацию обеспечения разведывательными материалами руководителей и ведущих ученых советского ядерного проекта.
С ноября 1945 г. по совместительству — начальник отдела «К» НКГБ СССР, созданного для оперобслуживания атомных спецобъектов. С мая 1945 г. также являлся начальником Особого бюро — информационно-аналитической службы при наркоме внутренних дел СССР. С января 1946 г. эта служба подчинялась наркому, позднее — министру госбезопасности СССР.
После образования в марте 1946 г. МГБ СССР П. А, Судоплатов совмещал должности руководителя 4-го управления (до его упразднения 15 октября 1946 г.) и отдела «С» (с 4 мая 1946г. по 30 мая 1947г.).