Находясь постоянно на подпольной работе в России и часто оказываясь в заключении, неприхотливый и почти нищий Сталин должен был пользоваться сочувствием простых русских людей, неизменно добрых к отверженным. С представителями элиты партии у угловатого, говорящего с сильным грузинским акцентом, но проницательного и властного Сталина отношения всегда складывались тяжело, и он привык к неприязни этой среды, мало обращая на нее внимания. Но в этой атмосфере вражды и недоброжелательности один за другим погибают очень близкие ему люди: Надежда Алилуева в 1932-м году, Сергей Миронович Киров в 1934-м году, Серго Орджоникидзе в 1937-м.
Сталин корил себя, что поздно спохватился (надо было обратить внимание на всепроникающий смрад контрреволюции «еще четыре года назад»).
Он не поверил в единоличную вину Николаева в убийстве Кирова. Сталин понимал, что все надо взять в свои руки. Уже в феврале 1935 года Н. И. Ежов становится секретарем ЦК, а затем председателем КПК и начинает плотно курировать НКВД. Хотя Ягоде это понравиться не могло, отношение к нему лично было предельно корректным и доброжелательным. Первым, на кого обрушился Ежов, был Енукидзе, обвиненный (и, скорее всего, вполне справедливо) в моральном разложении. Именно Енукидзе был прототипом персонажа булгаковского произведения «Мастер и Маргарита», который требовал разоблачений и получил их в свой адрес. Сцена закончилась фривольной песенкой: «Его превосходительство любил домашних птиц и брал под покровительство хорошеньких девиц».
Но дело было не только в моральном разложении Енукидзе. В ведении Енукидзе находилась охрана Кремля и служба того самого Петерсона, о котором Сталин говорил в своем выступлении на расширенном заседании Военного совета 2 июня 1937 года.
Зиновьев показал на следствии, что решение троцкистско-зиновьевского блока об убийстве Сталина было принято по настоянию троцкистов Смирнова, Мрачковского и Тер-Ваганяна, и у них имелась прямая директива на это от Троцкого. Участник троцкистско-зиновьевского блока Е. А. Драйцер признал, что такую директиву от Троцкого и он получил в 1934 году.
Подготовка к дворцовому перевороту происходила и в ведомстве Ягоды. Его замом Аграновым, начальником правительственной охраны Паукером, его замом Воловичем и капитаном Гинцелем в начале 1936 года была сформирована рота боевиков для захвата Кремля и ареста Сталина. Ходили слухи о государственном перевороте, намеченном на 1 мая 1936 года.
В марте 1935 года Енукидзе был освобожден от обязанностей секретаря ЦИК СССР, а в июне был выведен из состава ЦК ВКП(б) и исключен из партии.
Летом 1936 года были арестованы комдив Шмидт, зам. командующего Ленинградским ВО комкор Примаков (жена Примакова Лиля Брик была агентом НКВД и, в отличие от других жен, никогда не преследовалась), военный атташе в Великобритании комкор Путна. Все они были троцкистами.
В августе 1936 года процесс над Зиновьевым, Каменевым, троцкистами Смирновым, Мрачковским, Тер-Ваганяном закончился смертными приговорами. Вышинский тут же сообщил о расследовании в отношении Томского, Рыкова, Бухарина, Угланова, Радека, Пятакова, Сокольникова и Серебрякова.
26 сентября 1936 года Ежов заменил Ягоду на посту руководителя НКВД.
18 февраля 1937 года покончил с собой Серго Орджоникидзе. Был ли он причастен к заговору, не выяснено. Во всяком случае, за несколько дней до самоубийства Орджоникидзе в его квартире был произведен обыск. Два других видных члена команды Сталина Бубнов и Рудзутак тоже попали в число репрессированных. У следствия были материалы на Мерецкова (начальника штаба у Уборевича) и, более того, на Буденного и Тимошенко, но этих троих не тронули. Думается, они просто сами сообщили Сталину о заговоре.
Версия Шелленберга о том, что они с Гейдрихом с одобрения Гитлера передали (даже продали) через Бенеша информацию о заговоре Сталину, отрицалась компетентными людьми в Германии (Шпальке) и у нас (Судоплатовым). Есть мнение, что и сами мемуары Шелленберга – это одна из многих фальшивок Интеллидженс Сервис, которые эта служба Британии постоянно практикует в качестве идеологических инструментов своей политики. Шелленберг мемуары написать не успел. Их написали за него уже после его смерти.
3 апреля Ягода был арестован. Были арестованы Агранов, Паукер, Волович, Гинцель и др. Многие из сотрудников Ягоды покончили с собой. В мае начались аресты среди высшего комсостава. Были арестованы: командующий Приволжским ВО маршал М.Н Тухачевский, начальник Управления кадров Красной Армии Б. М. Фельдман, председатель совета Осоавиахима Р. П. Эйдеман, начальник военной академии им. Фрунзе А. И. Корк, командующий Белорусским ВО И. П. Уборевич, командующий Ленинградским ВО И. Э. Якир. Начальник политического управления Красной Армии Я. Б. Гамарник покончил с собой. Сразу после ареста Тухачевского, Вальтер Кривицкий (руководитель военной разведки в Европе, близко связанный с Троцким и Тухачевским) покинул СССР. Вскоре он перебежал на Запад. Аресты верхушки военного командования происходили с 19 по 31 мая 1937 года. 11 июня был вынесен приговор, а на следующий день приговор был приведен в исполнение.