Из-за слабого здоровья Менжинского и его вялого стиля руководства власть в ОГПУ постепенно перешла к его более агрессивному заместителю Генриху Григорьевичу Ягоде, коренастому, пышащему здоровьем еврею, который коренным образом отличался от Менжинского как по своим манерам, так и по внешнему виду. Воспоминания об этом человеке до сих пор не вызывают ничего, кроме стыда, даже среди сотрудников КГБ. Практически во всех мемуарах о сталинской эпохе это имя упоминается с отвращением. «Если Менжинский не имел себе равных по широте образования, Ягода не имел себе равных по жестокости, бескультурью и грубости», — писал Агабеков. Однако его грубость и жестокость еще не проявились столь явно, когда Дзержинский назначил его своим вторым заместителем в 1923 году. Возможно, Дзержинский полагал, что он был просто исполнительным и энергичным бюрократом, полным амбиций. Ягода стал классическим примером бюрократа, испорченного чрезмерной властью. Его растущая претенциозность была под стать его жестокости. Как рассказывал один из сотрудников Ягоды, за несколько дней до того, как он был отстранен от занимаемой должности летом 1936 года, он был полностью поглощен разработкой своей новой служебной формы: белый шерстяной костюм, отделанный золотыми галунами, небольшой позолоченный кортик, как у военно-морских офицеров при царе, голубые брюки и ботинки из специально выделанной импортной кожи.
Сталин никогда полностью не доверял Ягоде, отчасти потому, что сам был антисемитом, и потому, что Ягода симпатизировал «правой оппозиции» и ее популярному лидеру, Николаю Бухарину. В 1928 году в разговоре с Каменевым Бухарин сказал, что и Ягода, и Трилиссер, второй заместитель председателя ОГПУ и начальник ИНО, «были с ними». Он также сказал, что Ягода передал ему секретную информацию о восстаниях крестьян. Вместе с тем Бухарин знал, что Ягода был оппортунистом и что на его поддержку рассчитывать не следовало. В 1931 году Сталин попытался укрепить свое влияние в ОГПУ, направив туда партийного аппаратчика А.И. Акулова, который так же, как и Ягода, занял пост первого заместителя председателя ОГПУ. Но уже через год Акулов был вынужден оставить этот пост. Тем не менее, выжидая удобного момента для того, чтобы поставить своего человека во главе ОГПУ, Сталин смог договориться с Ягодой. Ягода был скорее карьеристом, чем идеологом, и был готов пойти за Сталиным, лишь бы продвинуться по служебной лестнице. Вместе с тем он не был готов безоговорочно поддержать Сталина. Трилиссер же был более активным сторонником «правой оппозиции». Уже в 1923 году он присоединился к Бухарину в наступлении на троцкистскую линию. Но к концу 1929 года Ягода, рассматривая Трилиссера как потенциального соперника, смог при поддержке Центрального Комитета добиться, чтобы Трилиссер был убран из ОГПУ. Вместо него на пост главы ИНО был назначен бывший начальник КРО (контрразведка) Артур Артузов.