Для объединения работы всех оперативных подразделений в январе 1921 года было организовано Секретно-оперативное управление (СОУ) ВЧК.
На ВЧК также возлагались охрана границы республики, борьба с бандитизмом, охрана правительства и некоторые другие функции.
Основные направления деятельности советской госбезопасности нашли свое структурное воплощение еще в период существования ВЧК. В это время (1918–1921 гг.) в ВЧК были организованы: Особый отдел для борьбы со шпионажем и контроля военных ведомств и армии; Транспортный отдел для борьбы с "враждебными элементами" на железнодорожном и водном транспорте и надзоре за его деятельностью; Экономическое управление для борьбы с "экономическим шпионажем, вредительством и диверсиями" в народном хозяйстве; Иностранный отдел для ведения разведки за границей; Секретный отдел (впоследствии получивший название "секретно-политический отдел") для борьбы с "антисоветскими партиями, политическими группами и организациями", а также для слежки за интеллигенцией и духовенством.
Эти направления деятельности или сферы интересов советских органов государственной безопасности впоследствии оставались неизменными (менялись лишь названия) и всегда находили свое оформление в том или ином структурном подразделении Центрального аппарата госбезопасности (отдел, управление или главное управление).
ОГПУ 1922 г. — 1934 г
В связи с окончанием гражданской войны и укреплением Советской власти, на основании постановления 9-го Всероссийского съезда Советов от 28.12.1921 г. и постановления ВЦИК от 06.02.1922 г. ВЧК была реорганизована в Государственное политическое управление (ГПУ) при НКВД РСФСР.
Структура ГПУ в основном не отличалась от структуры упраздненной ВЧК. Главными задачами ГПУ при НКВД РСФСР были:
— борьба с контрреволюцией и бандитизмом;
— борьба со шпионажем;
— охрана железнодорожных и водный путей сообщения;
— охрана границы РСФСР;
— борьба с контрабандой.
В апреле 1922 года был организован Восточный отдел ГПУ, в мае 1922 года был организован Контрразведывательный отдел (КРО) ГПУ, в августе того же года — Юридический отдел ГПУ.
В связи с образованием 30.12.1922 г. Союза ССР на базе ГПУ было организовано Объединенное государственное управление (ОГПУ) при СНК СССР с теми же функциями, что и ГПУ. В сентябре 1923 года была утверждена коллегия ОГПУ. 15 ноября 1923 г. было утверждено Положение об Объединенном государственном политическом управлении СССР и его органах. Создание ОГПУ объяснялось целями "объединения революционных усилий республик по борьбе с политической и экономической контрреволюцией, шпионажем и бандитизмом".
ОГПУ ведало:
— деятельностью республиканских и местных ГПУ, транспортных органов Государственных политических управлений на железных дорогах и водных путях сообщения;
— особыми отделами фронтов и армий;
— охраной границы Союза ССР;
— осуществляло "непосредственную оперативную работу в общесоюзном масштабе".
ОГПУ располагало собственными воинскими формированиями, аппаратом уполномоченных при Советах Народных Комиссаров союзных республик, представителем в Верховном Суде Союза ССР.
28 марта 1924 г. ЦК СССР утвердил Положение о правах ОГПУ в части административных высылок, ссылок и заключений в концентрационный лагерь людей, обвиненных в контрреволюционной деятельности, шпионаже, контрабанде, спекуляции золотом и валютой. Согласно этому документу, ОГПУ получило право без суда ссылать обвиненных на срок до трех лет, заключать в концентрационный лагерь, высылать за пределы Государственной границы Союза ССР.
Решения о ссылках принимало Особое совещание в составе трех членов Коллегии ОГПУ.
Право высылки за границу Союза ССР и заключения в концентрационный лагерь принадлежало Особому совещанию при ОГПУ.
К 1927 году структура Центрального аппарата ОГПУ была следующей:
— Коллегия ОГПУ;
— Административно-организационное управление (АОУ);
— Секретно-оперативное управление (СОУ);
— Экономическое управление;
— Главное управление пограничной охраны и войск ОГПУ;
— Спецотдел (шифровальный);
— Особоуполномоченный при коллегии;
— Особое совещание при коллегии;
— Судебная коллегия.