Систему особых отделов в вооруженных силах страны сформировал Вячеслав Рудольфович Менжинский, который после смерти Дзержинского (с осени 1926-го по май 1934 года) руководил всеми органами госбезопасности.
«Борьба с контрреволюционными элементами в армии» первоначально была поручена отделу по борьбе с контрреволюцией ВЧК. Потом возникли фронтовые чрезвычайные комиссии. А в Наркомате по военным и морским делам существовала своя контрразведка, именовавшаяся Военным контролем.
19 декабря 1918 года ЦК решил объединить всех военных контрразведчиков в рамках особого отдела ВЧК. Задача — бороться со «шпионажем, изменой Родине и другими контрреволюционными преступлениями в частях и учреждениях Красной армии». А в феврале 1919 года президиум ВЧК принял положение об особом отделе ВЧК и его органах на местах. В каждом фронтовом управлении и в каждой армии создавался особый отдел, в дивизиях — особые отделения.
В сентябре 1919 года в особый отдел ВЧК пришел Менжинский. Через полгода он уже заместитель начальника отдела, а еще через несколько месяцев возглавил всех особистов. До конца своих дней он сохранил особый интерес к чекистской работе в армии и сам ее направлял.
Первоначально особым отделам поручили борьбу со шпионажем и контрразведку в армии. В 1922 году в ГПУ образовали самостоятельный контрразведывательный отдел, который взял на себя борьбу со шпионажем, антисоветскими заговорами и подрывной работой эмиграции.
Особистам остался только контроль над вооруженными силами. Зато особые отделы изначально получили большую долю самостоятельности, чем другие подразделения госбезопасности.
9 марта 1922 года политбюро утвердило положение об особых отделах Госполитуправления, в которых перечислялись их задачи:
«а) Борьба с контрреволюцией и разложением в Красной армии и во флоте.
б) Борьба со шпионажем во всех его видах (разведывательным и вредительским), направленным против интересов РСФСР как со стороны окружающих республику государств и их отдельных партий, так и со стороны русских контрреволюционных партий и групп.
в) Борьба с открытыми контрреволюционными выступлениями и вспышками (бандитизмом) путем разведки сил противника и разложения его рядов.
г) Охрана границ РСФСР и борьба с политической и экономической контрабандой и незаконным переходом границ.
д) Выполнение специальных заданий Реввоенсовета Республики и Реввоенсоветов фронтов, армий и военных округов...»
За Реввоенсоветом Республики закреплялось право предлагать своих кандидатов на должности начальников особых отделов фронтов, армий и военных округов.
Особые отделы создавали «агентурно-осведомительный аппарат в армии, на флоте и среди гражданского населения, имеющего непосредственное соприкосновение с войсковыми частями». Сами особисты вели следствие «по делам о контрреволюции, шпионаже, диверсии, измене Родине, вредительстве в РККА и Военно-Морском флоте, войсках НКВД и среди указанного выше гражданского населения». Сами проводили обыски и аресты.
В конце января 1925 года в Москве прошел второй съезд особых отделов. Выступали Дзержинский, его заместитель Генрих Григорьевич Ягода, начальник контрразведывательного отдела Артур Христианович Артузов, заместитель начальника особого отдела ВЧК Роман Александрович Пилляр.
Пилляр был дальним родственником Дзержинского, поэтому Феликс Эдмундович его отличал. Настоящее его имя — Ромуальд фон Пильхау, но в юности он порвал с отцом-бароном. Учился в Виленской гимназии и в реальном училище в Цюрихе. Во время революции сражался с польскими легионерами, которые захватили Вильно. В безвыходной ситуации решил застрелиться, но остался жив. Долго лежал в больнице, потом попал в тюрьму. Москва его выменяла. С 1920 года он служил в ВЧК.
Карьера Пилляра продолжалась и после смерти Дзержинского. Он был наркомом внутренних дел Белоруссии, начальником управления НКВД по Средней Азии. Комиссара госбезопасности 2-го ранга Пилляра, начальника УНКВД Саратовской области, арестовали в мае 1937 года, в сентябре расстреляли как «польского шпиона»...
На съезде особых отделов обсуждался и вопрос о разграничении функций с контрразведывательным отделом. Роман Пилляр объяснил коллегам: особисты должны сосредоточиться на изучении армейской среды и борьбе с контрреволюцией в армии. Поэтому за особистами и утвердилась репутация надсмотрщиков, и армейские офицеры их не любили.