В результате Мюллер привлек внимание Гейдриха, и человек, ещё недавно бывший убежденным антинацистом, вскоре стал одним из его самых беспринципных и раболепных сотрудников. Когда СС стало руководить гестапо, Гейдрих забрал своих сотрудников в Берлин; с каждым разом Мюллеру поручали все более ответственную работу, пока он не стал главой гестапо в штаб-квартире Зипо, получив таким образом пресловутую кличку «Мюллер-гестапо».
Со временем он собрал вокруг себя банду антикоммунистических ищеек, которой впоследствии удалось покончить с «Красной капеллой». Фридрих Панцингер, друг и соратник Мюллера, был командиром дивизии, Карл Гиринг из Мекленбурга — криминалкомиссаром в «коммунистическом» отделе, бывший фармацевт из Алленштайна Хорст Копков создал в гестапо свою собственную службу для борьбы с коммунистическими диверсантами, берлинец Йоганн Штрюбинг специализировался на советских радистах и парашютистах. Из них стало складываться ядро охотников за коммунистическими шпионами.
Решительный прорыв в борьбе с сетью красных агентов обеспечило одно нововведение гестапо. Служба Мюллера создала подотдел «N» (Nachrichten-информационная разведка; представленный в каждом управлении гестапо, он располагал собственными агентами для внедрения в подпольные организации коммунистов. Особенно важным представлялся тот факт, что часть этих агентов действовала за рубежом, главным образом во Франции и Чехословакии, где они нашли способы проникнуть в руководство местных коммунистических организаций.
Постепенно перед Мюллером развернулась картина сплетенной Москвой паутины: курьеры, конспиративные квартиры, резиденты и «почтовые ящики». Гестапо было известно, что родившийся в Новгороде-Волынском Райнгольд Мартин был «советским курьером, нелегально перешедшим 6 августа 1936 года границу Германии, а Лео Рот, член „АМ-аппарата“, почти неизменно „путешествует“ вторым классом экспресса и берет с собой ярко-желтый кожаный чемодан.
Гестапо знало все о „Хуго“: „организатор подпольной коммунистической разведсети в Праге, рост 172–175 см, возраст 30–32 года, черные волосы, зачесанные налево, лоб средней высоты, удивительно голубые глаза, средних размеров, чуть крючковатый нос, красивые полные губы, женственная внешность“.
С такой четкой информацией гестапо вряд ли понадобилось бы много времени для ликвидации подпольной шпионской организации Москвы. В начале 1935 года была уничтожена сеть информаторов ББ на заводах Круппа, в марте произведена облава в штаб-квартире коммунистической партии, в мае схвачен Израэль, местный руководитель ББ, и Карл Тутас, глава АМ в земле Нижний Рейн, а впоследствии Хольцер, функционер ББ в Магдебурге.
Теперь уже мастерские ГКП и Коминтерна по подделке паспортов не могли чувствовать себя в безопасности. Полиция раскрыла две большие мастерские, и главные специалисты, Рихард Гросскопф, Карл Вин и Ревин Колберг, угодили в концлагерь. Но на Принц-Альбертштрассе все же вынуждены были признать, что „предположение полиции, что удалось разрушить всю организацию по подделке паспортов, ошибочно. В двух местах в больших количествах были захвачены: два набора копий печатей, фальшивые паспорта, настоящие паспортные бланки и другие материалы. Однако, как стало известно, такое же количество подобных материалов хранилось ещё в одном месте“.
Рядовые члены партии тоже оказались под угрозой. Гестапо осенила идея проследить систему распределения коммунистической литературы, поступающей из-за рубежа. „В результате этих мер, — как сообщало гестапо, — была парализована работа крупных организаций коммунистов, а их члены получили различные сроки заключения“. Оставшиеся коммунисты, которым удалось избежать ареста, были до смерти запуганы.
Руководство Компартии в изгнании и московские лидеры сделали свои выводы. В конце октября 1935 года руководители ГКП встретились на московской окраине в Кунцево для проведения Четвертой партийной конференции. В целях маскировки она получила известность как „Брюссельская конференция“. На ней решено было распустить существующую в Германии сеть агентов и заменить их небольшими группами под руководством „инструкторов“ (коллективное руководство в каждом секторе было установлено в 1937 году). „Инструкторы“ действовали из-за границы и отвечали за одну из областей рейха. „Центр“ первоначально находился в Праге, а затем в Стокгольме, и занимался Берлином и центральной Германией, „Север“ расположился в Копенгагене и отвечал за балтийское побережье и Силезию, „Юг“ — в Швейцарии, „Саар“ — во Франции, „Юго-Запад“ из Брюсселя занимался средним Рейном, а „Запад“ в Амстердаме отвечал за индустриальную зону на западе Германии, включая Бремен.
Киппенбергер протестовал против уничтожения дела его жизни, но Ульбрихт, выходивший на первые роли в качестве советского агента номер один, настоял на своем. В любом случае русские уже потеряли веру в способности Киппенбергера и его АМ. Его голландское отделение в Амстердаме сотрудничало с британской разведкой, что в глазах Советов являлось смертельным грехом. В ноябре 1935 года Ульбрихт отправил в Амстердам Вильгельма Кнохеля, выпускника Ленинской школы и члена Z-аппарата (диверсии), которому доверял, и отстранил „предателей“, включая „инструкторов“ Эрвика Фишера, „Хайнца“ и „Мартина“.
Русские начали работать с Ульбрихтом. Даже советской разведке пришлось признать, что эффективная работа в Германии больше невозможна. Приблизительно во время работы конференции „проверяющий“ доктор Рабинович покинул Москву с целью ликвидации организации, бывшей когда-то предметом гордости советской шпионской империи в Германии. Он распустил организацию ББ по промышленному шпионажу и заморозил деятельность всего „аппарата“. Даже само его название было вычеркнуто из словаря разведки. В довершение ко всему Рабинович ликвидировал базы Разведупра в Германии.
От мощной структуры различных аппаратов» и тайных организаций осталось только 25 агентов и связников. Рабинович распределил их по всей стране и взял с них обещание продолжить работу на советскую разведку. В начале 1936 года, перед возвращением в Москву, он встретился с руководством своей рухнувшей надежды, но уже в Копенгагене, поскольку больше не считал Германию достаточно безопасной. Там он дал сигнал к началу самой крупной эвакуации за всю историю советского шпионажа.
Это был печальный исход. Команда Разведупра переехала из Германии в Голландию и Францию, откуда могла наблюдать за развертыванием программы вооружения Третьего рейха. Западноевропейское бюро Коминтерна перебралось в Копенгаген и Париж, организация по изготовлению фальшивых документов, или точнее её остатки, нашла свое убежище в земле Саар, все ещё остававшейся под международным контролем, но долго там не задержалась и переехала во Францию, где пополнилась агентами Коминтерна, Разведупра и пражскими изгнанниками.
Крах советской агентуры стал абсолютным, а тем временем её хозяева в России были втянуты во внутренние распри. За бесплодные восемнадцать месяцев с того момента, как Рабинович свернул деятельность разведки в Германии, лучшие кадры разведки коммунистов нашли конец в жерновах сталинской мельницы смерти.
Борьба за власть в Советском Союзе привела к вспышке старой вражды между тайной полицией и разведкой. Иосиф Сталин принимал все более жесткие меры для сохранения своей личной диктатуры и уничтожения любого реального или возможного противника в партии, государстве и вооруженных силах. Для этой цели в качестве смертоносного оружия он все активнее использовал тайную полицию. Она тем временем была ещё раз переименована и получила беспрецедентную полноту власти.
В июле 1934 года ГПУ стало ГУГБ (Главное Управление Государственной Безопасности), образовав особое подразделение НКВД. Возглавляемое Николаем Ежовым, оно утопило в волнах террора всякую оппозицию. Ежовский террор обрушился и на трех традиционных соперников: тайную полицию, Разведупр и Коминтерн. Недоверчивый мизантроп из Кремля подозревал их руководителей в заговорах против своей особы. Вскоре «глава торговцев подозрениями» из ГУГБ приготовился нанести им смертельный удар: в июне 1937 года был смещен самый влиятельный человек в Красной Армии, маршал Тухачевский, а председатель Коминтерна Зиновьев к тому времени уже предстал перед судом. Вместе с ними были почти полностью уничтожены их подпольные организации.