Непродолжительное время им руководил Я. Давтян (Давыдов), а затем его сменил С. Могилевский. В 1922 году только‑только встававшую на ноги советскую разведку возглавил и до конца 1920‑х годов направлял ее деятельность профессиональный революционер, хорошо знакомый с методами разведывательной и контрразведывательной работы, М. Трилиссер. С 1901 года и вплоть до начала Первой мировой войны он занимался преимущественно выявлением агентов охранного отделения и полиции в большевистской среде.
С его приходом к руководству ИНО разведывательная работа приобрела более системный, масштабный и наступательный характер. Основными объектами ее устремлений являлись органы управления враждебных молодому советскому государству армий и различные белоэмигрантские организации и движения. Первоочередными задачами ИНО являлись получение упреждающей информации о военных приготовлениях, в первую очередь Польши и Японии, а также выявление замыслов лидеров белого движения по инспирированию в стране восстаний и организации «саботажнических действий».
Динамика внешней политической ситуации и образование Союза ССР привели к очередной реорганизации органов государственной безопасности. В июле 1923 года ГПУ было преобразовано в Объединенное государственное политическое управление (ОГПУ) СССР. Но ИНО не только сохранился в составе Секретно‑оперативного управления, но и существенно укрепился. В 1925 году в его составе наряду с традиционными отделениями — легальной и нелегальной разведками — появились другие, в том числе ставшее впоследствии знаменитым 8‑е отделение, занимавшееся сбором за границей информации о перспективных научных и технических разработках. Именно его сотрудники и их агентура первыми вышли на секреты атомного проекта США.
В феврале 1925 года Мелитопольский окружной комитет комсомола рекомендовал на службу в органы государственной безопасности будущего выдающегося организатора разведывательно‑диверсионной деятельности, первого и бессменного руководителя знаменитого 4‑го Управления НКВД — НКГБ СССР Павла Анатольевича Судоплатова. Жизнь этого безусловно талантливого и цельного человека, надежного и верного товарища, непревзойденного мастера разведывательных и контрразведывательных операций достаточно подробно описана в художественной и научно‑популярной литературе. К его общеизвестному образу можно добавить лишь два штриха, которые, пожалуй, наиболее полно отражают незаурядную личность Павла Анатольевича — это верность избранным идеалам, своим друзьям и душевная щедрость.
В далеком 1919 году, прочитав от корки до корки «Азбуку революции», написанную Н. Бухариным, он двенадцатилетним подростком ушел из дома на фронт и стал бойцом 1‑го Мелитопольского рабоче‑крестьянского полка. Позже в автобиографии, написанной 14 ноября 1945 года (при назначении на должность начальника отдела «С» МГБ СССР), Павел Анатольевич так вспоминал об этом:
«26.06.1919, когда белая армия приближалась к Мелитополю, многие рабочие города, активно участвовавшие в борьбе за установление советской власти, уходили из города вместе с отступающими частями Красной армии. Я, до этого дважды удиравший из дома с целью поступления в Красную армию (один раз сам вернулся, другой раз меня вернули), решил еще раз попытать счастье и снова удрал из дома. На этот раз я ушел из города вместе с уходящими мелитопольскими рабочими. Километрах в 30 от города, в селе Веселое, комиссар сделал было попытку вернуть меня домой, но из этого ничего не получилось. Я удрал от него в роту, и бойцы оставили меня у себя».
Приняв идеалы революции, Павел Анатольевич остался им верен до конца. Его не смогли сломить ни враги, среди которых он провел не один год, выполняя разведывательные задания; ни малодушие своих коллег, предавших его в 1938 году, когда советская разведка подверглась репрессиям; ни позже в 1953 году, он, оказавшись в числе участников «заговора Берия», провел пятнадцать лет в тюрьмах.
Другой эпизод, раскрывающий высокие человеческие качества Павла Анатольевича, относится к 1930 году. В тот год уже зрелый оперативный сотрудник Судоплатов вместо повышения по службе получил неожиданное назначение — стал заведующим культурно‑воспитательной части, а через некоторое время — комиссаром трудовой коммуны (спецколонии) ГПУ Украины для малолетних преступников и беспризорников.