Ежов доводит до логического завершения чистку партийных рядов, конца которой не было видно, чтобы возобновить прием в партию. По его инициативе проводится проверка учета и хранения партийных документов, а затем обмен в первой половине 1936 года старых партбилетов на новые. В деле наведения большевистского порядка в «собственном партийном доме» намечается большой сдвиг. Самым строжайшим образом регламентируется порядок выдачи новых документов, персональная ответственность при этом возлагалась на секретарей всех уровней.
Ежов начинает пользоваться все большим доверием Сталина, попросившего его, помимо прочего, присматривать за деятельностью НКВД и лично за Ягодой. Последний после смерти Менжинского автоматически стал председателем ОПТУ, через два месяца переставшего существовать по причине соединения с НКВД. Пересев в кресло наркома, Ягода продолжает исподволь вести свою собственную линию, хотя отнюдь не был избавлен от внимания ЦК партии.
Глава НКВД опрометчиво полагает, что его поползновения чрезмерно возвыситься не остаются незамеченными. А после присвоения ему в ноябре 35 года звания Генерального комиссара государственной безопасности, одного уровня с Маршалом Советского Союза, Ягода и вовсе теряет бдительность.
Неутомимый Ежов все больше втягивается в следственные дела НКВД, участвуя в допросах лиц, подвергшихся арестам. Возможно, ему принадлежит идея проведения повторного открытого судебного заседания над Зиновьевым и Каменевым и иже с ними. Факта весьма примечательного, поскольку бывшие наперсники Ленина совсем недавно были приговорены к длительным срокам заключения. 16 января 35 года Зиновьев был осужден на 10 лет лишения свободы, а Каменев, соответственно, на пять. Но в июле месяце, дабы исправить несправедливость в отношении первого, Каменеву добавили еще 5 лет.
Тем не менее, не успевших отсидеть даже года оппозиционеров вытаскивают на свет божий и привлекают вновь к следственным мероприятиям, которые продолжались с 5 января по 10 августа 1936 года. Впрочем истинной причиной новых процессов, видимо, стали повсеместно распространившиеся разговоры о злоупотреблениях властей. И дабы пресечь слухи, в Кремле решили продемонстрировать всему миру несомненную виновность осужденных. Для вящей убедительности им инкриминируются довольно крутые замыслы, в чем под давлением косвенных улик подследственные имеют неосторожность сознаться. Не вполне сознавая, что тем самым сами себя обрекают на гибель, вследствие непомерной суровости закона.
Ежов стремится максимально использовать трения среди руководителей НКВД и опирается на некоторых из них, вроде заместителя Ягоды Агранова. В период последнего разбирательства с Зиновьевым и Каменевым, он в конспиративном порядке приглашает к себе на дачу Агранова и от имени Сталина передает указания на ошибки, якобы допускаемые следствием. О том, что подследственные обречены на смерть, стало ясно 15 августа, когда газетные страницы затопили кровожадные лозунги наподобие «Расстрелять убийц», «Врагам народа нет пощады» и пр. и пр. По стране прокатились массовые митинги и демонстрации с требованиями самого сурового наказания. Сильнейшее давление на суд инициировались, несомненно, секретарем ЦК партии Ежовым и редактором газеты «Правда» Мехлисом.
Спустя месяц после завершения процесса, в ходе которого всплыло еще большее число недостаточно изобличенных «контрреволюционеров», Ежов сменяет Ягоду на месте главы НКВД. При чем заканчивавшие отдых на юге Сталин и А.А. Жданов телеграфировали Кагановичу и другим членам Политбюро о необходимости срочной ротации кадров руководства НКВД. Мотивируя неспособностью лично Ягоды и его аппарата решать усложнившиеся «задачи в деле разоблачения троцкистско-зиновьевского блока».
После суда над Пятаковым и другими Ежову присваивается звание Генерального комиссара госбезопасности, что, несомненно, вдохновило его на дальнейшие «подвиги».
В начале апреля 1937 года из печатного сообщения населению страны стало известно об окончательном падении Ягоды. Ежов со своими людьми пытается инкриминировать ему одну кампанию с мятежными полководцами, но Ягода категорически отрицает подобную связку.
В период разгрома военачальников-оппозиционеров Ежов награждается орденом Ленина — «за выдающиеся успехи в деле руководства органами НКВД по выполнению правительственных заданий».
«У большевиков слово не расходится с делом», так называлась передовая «Правды», текст которой практически целиком восхвалял наркома. Ежова повсеместно славословят как никакого другого деятеля СССР. Казахский акын Джамбул Джабаев именует его победоносным батыром, якобы разящим врагов блистательным клинком.