Однако о намерениях Бородина стало известно Чан Кайши, и он немедленно начал наступлние на Шанхай. 12 апреля 1927 года Шанхай был взят его войсками, начавшееся восстание — потоплено в крови, а 28 апреля были арестованы и казнены двадцать пять функционеров КПК. А затем в Нанкине лидеры Гоминьдана создали новое правительство во главе Ху Хан-минем. Впрочем, фактическим главой нового гоминьданского режима стал Чан Кайши, занимавший с ноября 1928 по январь 1932 года пост премьер-министра и сохранивший за собой должность главнокомандующего армией. В результате в августе 1927 года советские политические и военные советники были вынуждены покинуть Китай, а сотрудники военной разведки — перейти на нелегальное положение.
В это же время (апрель 1927 года) по указанию нанкинского правительства в советском консульстве в Пекине был произведен обыск, нанесший сильный удар по позициям военной разведки в Китае. В ходе обыска полиция изъяла огромное количество документов, в том числе шифры, списки агентуры и поставок оружия КПК, инструкции китайским коммунистам по оказанию помощи в разведработе, а также директивы из Москвы, в которых говорилось, что "не следует избегать никаких мер, в том числе грабежа и массовых убийств", с тем, чтобы способствовать развитию конфликта между Китаем и западными странами. Таким образом, китайскому правительству стало известно о деятельности военной и боевой организаций КПК, которыми руководили сотрудники Разведупра А.Аппен и Г.Семенов. В результате оперативную работу военной разведки в Китае пришлось практически начинать заново.
Центром деятельности советской военной разведки с конца 1920-х годов стал Шанхай. Дело в том, что в Шанхае было сосредоточено 1/4 всех предприятий тяжелой и 4/5 — легкой промышленности. Здесь же располагались наиболее крупные китайские и зарубежные банки, а шанхайский порт являлся морскими воротами для всего Северного и Центрального Китая. Кроме того, иностранцы в Шанхае, которых было около миллиона человек, проживали в специальных районах, пользующихся правом экстерриториальности, и не подчинялись местному законодательству. Все это создавало благоприятную почву для работы советской разведки, учитывая специфические местные условия.
Основной задачей, стоявшей в этот период перед резидентурами военной разведки, было информирование Центра по следующим вопросам:
— характеристика политической деятельности нанкинского правительства и его отдельных фракций;
— внутренняя и внешняя политика нанкинского режима;
— уровень развития промышленности и сельского хозяйства Китая;
— военный потенциал чанкайшистов;
— социальная и политическая характеристика всех оппозиционных правительству Чан Кайши сил;
— политика западных государств в Китае;
— военный потенциал ведущих иностранных держав в Китае;
— обострившаяся проблема статуса экстерриториальности для иностранцев в Китае.
Легальную резидентуру военной разведки в Шанхае в это время возглавлял Алексеев, но основная оперативная работа велась силами нелегальных резидентур. Так, в конце 1927 года в Шанхае начала действовать нелегальная резидентура во главе с Салнынем. Его помощником был И.Винаров, а курьером — жена Винарова Галина Лебедева, работавшая легально в советском посольстве в Пекине шифровальщицей. Для прикрытия своей деятельности Салнынем была организована экспортно-импортная торговая фирма с филиалом в Пекине и торговыми агентами почти во всех крупных портах и многих городах Китая. Помимо сбора интересующей Москву военной, экономической и политической информации резидентура Салныня занималась переброской из СССР в Китай оружия и передачей его китайским коммунистам. К началу 1929 года резидентура распространила свою деятельность и на Харбин, где прикрытием служила консервная фабрика, официальными хозяевами которой считались эмигрант из России Л.Вегедека и его жена Вероника, активно сотрудничавшие с советской разведкой.