Во время турецкой ссылки Троцкого число его сторонников в Советском Союзе быстро сокращалось. Убежденные, что «нельзя быть правым против партии», как сказал сам Троцкий в 1924 году, большинство членов «левой оппозиции» капитулировали перед сталинской линией. В одном из сообщений, полученных Троцким (и, вне всякого сомнения, ОГПУ) в конце 1929 года, указывалось, что число его сторонников, находившихся в ссылках и тюрьмах, не превышает одной тысячи. Троцкий демонстративно написал группе учеников: «Пусть в ссылке останутся не триста пятьдесят человек, верных своему знамени, а тридцать пять. Пусть будет даже три — знамя все равно останется». Сочувствующие из числа членов западных коммунистических партий продолжали во время своих поездок в Советский Союз выступать в качестве курьеров между Троцким и сокращающимся числом его сторонников. Как правило, это происходило под наблюдением ОГПУ. В течение нескольких лет пребывания Троцкого в Турции к нему тонкой струйкой текли письма, часто из лагерей, написанные на грубой оберточной, иногда на папиросной бумаге и спрятанные или замаскированные самыми хитроумными способами. Однажды на его письменном столе оказался спичечный коробок, на котором микроскопическим шрифтом был изложен целый политический трактат. В конце 1932 года ручеек прекратился.
На Западе у Троцкого никогда не было большого количества сторонников, к тому же они всегда были расколоты. Троцкисты вообще отличаются неизлечимой склонностью делиться на группировки, а в тридцатых годах эта тенденция была умело использована агентами ОГПУ. Братьям Соболевичюсам, в частности, удалось так столкнуть крупного троцкиста из Австрии Курта Ландау с самим Троцким, что Ландау просто-напросто исключили из троцкистского движения. Еще один агент ОГПУ, завоевавший доверие Троцкого, Анри Лакруа, неожиданно выступил в марте 1933 года с деморализующим заявлением о том, что «(троцкистская) оппозиция совершенно не пользуется поддержкой, о ней не знают и ее не понимают, в то время как рабочие поддерживают СССР и коммунизм в целом в том виде, как его воплощает Испанская коммунистическая партия».
Если бы Сталин объективно оценивал сведения, регулярно поставляемые ему ОГПУ об уменьшающейся поддержке троцкистского движения и постоянной междоусобице среди троцкистов, то он бы должен был испытывать глубокое удовлетворение. Однако на объективную оценку он был неспособен. Имя Троцкого стало наваждением, которое преследовало его днем и не оставляло в покое даже по ночам. Жаак Дойчер делает такой вывод:
«Неистовство, с которым (Сталин) предавался этой вражде, превратив ее в первостепенный приоритет для международного коммунистического движения и всего Советского Союза, подчинив ей все политические, тактические, интеллектуальные и иные интересы, заслуживает описания. Вряд ли во всей истории найдется еще один случай, когда такой гигантский потенциал власти и пропаганды был нацелен на одного человека».
Если бы Сталин преследовал реального Троцкого, то наваждение было бы просто необъяснимым. Однако объектом преследования стала мифическая фигура, созданная «болезненно подозрительным» воображением самого Сталина, фигура, которая все меньше и меньше имела сходство с тем Троцким, которого Сталин отправил в ссылку. По мере того как угроза, исходившая от мифического Троцкого, в глазах Сталина разрасталась все больше и больше, сила и влияние реального Троцкого постоянно падали. Ему, например, не удалось даже найти безопасной штаб-квартиры в Европе, откуда можно было заняться сплочением коммунистической оппозиции. В ноябре 1932 года он покинул Турцию в поисках нового прибежища, однако месяц спустя был вынужден вернуться. Все правительства, к которым он обращался, смогли предложить ему лишь транзитные визы. В конце концов летом 1933 года ему позволили переехать во Францию, однако он не имел права жить в Париже, подвергся целому ряду ограничений и в конце концов был изгнан из страны летом 1935 года. Из Франции Троцкий переехал в Норвегию, где опять-таки не имел возможности заниматься политической деятельностью, так что он был вынужден переехать в Мексику.
Главным организатором троцкистского движения в течение большей части тридцатых годов был не сам Троцкий, а его сын Лев Седов, переселившийся из Турции в Берлин в 1931-м и спустя два года после прихода к власти Адольфа Гитлера переехавший в Париж. Именно Седов, вплоть до своей смерти в 1938 году, издавал «Бюллетень оппозиции» и поддерживал связь с разрозненными сторонниками Троцкого. В окружении Седова, точно так же как и в окружении его отца, действовали внедренные агенты ОГПУ и НКВД. Начиная с 1934 года его ближайшим доверенным лицом и помощником был агент НКВД Марк Зборовский, он же Этьен, который помогал издавать бюллетень и поддерживать связь с немногими участниками оппозиции в России. Седов настолько доверял Зборовскому, что даже отдал тому ключ от своего почтового ящика, разрешил ему забирать корреспонденцию и хранил наиболее секретные документы и архивы Троцкого в его доме.
При Менжинском и Ягоде зарубежные операции НКВД и ОГПУ против Троцкого и его сторонников ограничивались наблюдением, внедрением агентов и дестабилизацией. При Ежове НКВД стало проводить политику ликвидации руководства троцкистского движения. В декабре 1936 года Ежов организовал «Управление особых задач», действовавшее под его личным руководством и имевшее в своем распоряжении «мобильные группы» для осуществления политических убийств за границей по приказу Сталина. Главной ареной деятельности этого управления в последующие два года стала Испания.