В конце 1919 года Менжинский был утвержден заместителем председателя Особого отдела и членом президиума ВЧК. Этот отдел занимался борьбой со шпионажем и «контрреволюцией» в армии и на фронте. Осенью 1923 года Менжинский был назначен первым заместителем председателя ОГПУ. В 1926 году, после смерти Дзержинского, Менжинский становится председателем ОГПУ.
Командный состав ВЧК формировался из бывших политкаторжан. Казалось бы, люди, испытавшие на себе ужасы полицейского произвола, не должны были использовать те же методы насилия, которые применялись к ним. Но случилось обратное, они наполнили арсенал ВЧК именно тем, против чего боролись. Произошла преемственность беззакония. По уровню произвола и жестокости, по количеству жертв преемники оставили своих предшественников далеко позади.
Пытаясь объяснить превращение советских правоохранительных органов в машину произвола и насилия, некоторые исследователи связывают его с работой в них бывших царских охранников. Приведу свидетельство жандармского генерала А. И. Спиридовича: «В рядах большевистского правительства нет ни одного жандармского имени. Их нет там, хотя там находятся представители всех сословий, служб, профессий, степеней, рангов и чинов прежней России. Бывший жандармский полковник Комиссаров, покинувший ряды Корпуса еще при царском режиме, — единственное исключение». Спиридович допустил неточность — в ВЧК помощником Ф. Э. Дзержинского служил Джунковский, но Джунковский, честный порядочный человек, был одним из лучших представителей царской политической полиции. Но не в бывших жандармах дело. Дело в преемственности жандармского произвола.
Мы не разрушили произвол, мы разрушили то немногое, чего добились прогрессивные силы во второй половине XIX века. Неразборчивость в выборе средств для достижения непроверенных целей, непростительные ошибки наших предшественников обернулись для нас возмездием. Мы позволили людям, увлеченным построением социализма, перекрашивать историю чужой кровью, нашей кровью.
Бежавший на Запад личный секретарь Сталина Борис Бажанов писал: «ГПУ… Как много в этом слове для сердца русского слилось.
В год, когда я вступал в коммунистическую партию (1919), в моем родном городе была власть большевиков. В апреле в день Пасхи вышел номер ежедневной коммунистической газеты с широким заголовком «Христос воскресе». Редактором газеты был коммунист Сонин. Настоящая фамилия его была Крымерман, он был местный еврей, молодой и добродушный. Этот пример религиозной терпимости и даже доброжелательности мне очень понравился, и я его записал коммунистам в актив. Когда через несколько месяцев в город прибыли чекисты и начали расстрелы, я был возмущен, и для меня само собой образовалось деление коммунистов на доброжелательных, «идейных», желающих построения какого-то человеческого общества, и других, представляющих злобу, ненависть и жестокость, убийц и садистов, так что дело не в людях, а в системе.
Во время моего последующего пребывания на Украине я узнал много фактов о жестоком кровавом терроре, проводимом чекистами. В Москву я приехал с чрезвычайно враждебными чувствами по отношению к этому ведомству. Но мне практически не пришлось с ним сталкиваться до моей работы в Оргбюро и Политбюро. Здесь я прежде всего встретился с членами ЦКК Лацисом и Петерсом, бывшими в то же время членами коллегии ГПУ. Это были те самые знаменитые Лацис и Петерс, на совести которых были жестокие массовые расстрелы на Украине и других местах гражданской войны — число их жертв исчислялось сотнями тысяч. Я ожидал встретить исступленных, мрачных фанатиков-убийц. К моему великому удивлению, эти два латыша были самой обыкновенной мразью, заискивающими и угодливыми маленькими прохвостами, старающимися предупредить желания партийного начальства. Я опасался, что при встрече с этими расстрельщиками я не смогу принять их фанатизм. По никакого фанатизма не было. Это были чиновники расстрельных дел, очень занятые личной карьерой и личным благосостоянием, зорко следившие, как помахают пальцем из секретариата Сталина. Моя враждебность к ведомству перешла в отвращение к его руководящему составу.
Это впечатление мне было довольно неприятно. Это был 1923 год, я еще был коммунистом, и для меня кто-кто, а уж человек, стоявший во главе ГПУ, нуждался в ореоле искренности и порядочности. Во всяком случае, было несомненно, что в смысле пользования житейскими благами упреков ему сделать было нельзя — в этом смысле он был человеком вполне порядочным. Вероятно, отчасти поэтому Политбюро сохраняло его формально во главе ГПУ, чтобы он не позволял подчиненным своего ведомства особенно расходиться: у ГПУ, обладавшего правом жизни и смерти над всем беспартийным подсоветским населением, соблазнов было сколько угодно. Не думаю, что Дзержинский эту роль действительно выполнял: от практики своего огромного ведомства он стоял довольно далеко, и Политбюро довольствовалось здесь скорее фикцией желаемого, чем тем, что было на самом деле.