Предоставление им дополнительных полномочий говорит о многом. Весной 1937 года следователям были даны указания использовать пытки для получения признаний. Для этих целей была сформирована особая группа «следователей-костоломов» [колольщики], чье название говорит само за себя. Число следователей при Ежове увеличилось в четыре раза; система так остро нуждалась в дополнительных силах, что была вынуждена принимать на работу людей, не имеющих даже малейшей квалификации, в том числе водителей, ранее работавших в полицейских отделах, работников котельных, чтобы они выбивали признания у заключенных24. Также в связи с этим в ноябре 1936 года были возрождены «тройки», и их работа была вновь расширена летом 1937 года. Это были те самые скромные неправедные суды, занимавшиеся тем, что всеми должно было восприниматься как революционное правосудие, работавшие неустанно во исполнение приказов НКВД за номерами 00446 и 00447 от июля 1937 года, предписывавших «раз и навсегда положить конец омерзительной подрывной работе против основ Советского государства»25. Приказы были спущены сверху из Политбюро и сопровождались инструкциями физически уничтожать провинившихся. Этим самым Государственная безопасность получила лицензию на убийства, действовашую весь следующий год.
Во второй половине 1938 года волна государственных репрессий стала снижаться. В ноябре Ежов уступил свой пост Лаврентию Берии, грузину, как и Сталин, наточившему свои зубы на диких чистках партийных организаций в кавказских республиках, перед тем как его перевели в Москву на должность заместителя Ежова и в качестве соглядатая Сталина в рядах НКВД. Это был совершенно другой тип человека, не похожий на бледнолицего Ежова, постоянно пьяного, которого к 1938 году все обычно видели напряженным и нервным; Берия был крепко сложенным полицейским, чьи неподвижные маловыразительные глаза светились из-под пенсне (Сталин заставил приделать к нему цепочку, чтобы тот выглядел менее буржуазно). Он обладал свирепым нравом и омерзительной речью в сочетании с невероятным политическим коварством. Берия оставался на посту главы НКВД на протяжении шести лет и избежал участи своих предшественников, Ягоды и Ежова, которые были расстреляны на основе чудовищных обвинений.
Вопреки сохранившейся в истории репутации страшилища, насквозь коррумпированного и абсолютного циника, которую вряд ли можно опровергнуть, Берия вернул НКВД к менее широким репрессиям, которые были до установления ежовщины, и начал реформы репрессивной системы. Пытки стали применяться реже, были восстановлены традиционные процедуры расследования. 31 декабря 1938 года Верховный Суд СССР принял закон, согласно которому статья 58 могла применяться только в тех случаях, когда намерение совершить контрреволюционный переворот или террористическое преступление могло быть доказано. Работа «троек», с неподобающей поспешностью осуждавших на смерть, была приостановлена26. Берия намеревался передать функции расследования Народному комиссариату юстиции, но Центральный комитет наложил на это свое вето, и НКВД продолжал арестовывать подозреваемых в политических преступлениях и расследовать их дела27. В течение 1939 года состоялось несколько судов над работниками Государственной безопасности, обвиненными в фабрикации доказательств и извращении правосудия, ставших единственными показательными судами, на которых доказательства и обвинения были относительно справедливыми.
Секретные службы между тем продолжали сохранять революционную бдительность. Берия мало что изменил в традициях подтасовывания обвинений, выбивания признаний и упрощенного правосудия; пытки так и не были искоренены; статья 58 «Кировского закона» оставалась в силе вплоть до смерти Сталина в 1953 году и после сталинского периода. Сотни и тысячи советских граждан продолжали попадать в сети служб безопасности по обвинению в контрреволюционной деятельности.
При Берии организация стала крупнее, более эффективной и более бюрократической. На смену полицейским налетам, в 1930-х годах носившим характер экспромтов, пришла более методичная и систематическая программа слежки. В феврале 1941 года громадная империя НКВД была снова реформирована; Управление Государственной безопасности, ответственное за политическую репрессивную работу и лагеря, было выделено в отдельный Народный комиссариат государственной безопасности, НКГБ, во главе которого встал бывший заместитель Берии на Кавказе Николай Меркулов. Берия занял пост заместителя председателя СНК СССР. В 1946 году народные комиссариаты были трансформированы в министерства. Новое МВД возглавил Сергей Круглов; МГБ попало под руководство карьерного милиционера Виктора Абакумова. В 1953 году, после смерти Сталина, Берия на короткое время возглавил МВД, в которое было влито МГБ, но через несколько недель был смещен бывшими своими коллегами и расстрелян при обстоятельствах, которые остаются до конца не выясненными28.