Во время своего кратковременного пребывания в Берлине в сентябре 1929 года Зорге встретился с человеком, который, как он знал, работал в одной из разведывательных служб СССР. Рихард подробно рассказал ему о себе и своем желании работать в структуре, обеспечивающей безопасность Советского государства. Он не скрыл от собеседника своих проблем в Исполкоме Коминтерна и объяснил мотивы своего решения. Через несколько дней этот человек сообщил Зорге, что его обращение в Москве рассмотрено и он приглашается на встречу в IV управление Штаба Красной армии, занимающееся военной разведкой.
Вскоре Рихард получил телеграмму из Коминтерна, в которой ему разрешалось приехать в Москву для переговоров, как он понял, касающихся перехода на новую работу. Вернувшись в Москву и ожидая рассмотрения своего дела на партийном собрании Исполкома, Зорге несколько раз встречался в своем номере в гостинице с сотрудниками военной разведки и подробно рассказывал о себе.
В СССР в 1920-е годы существовали две специальные службы, занимавшиеся ведением разведки за рубежом. При Совнаркоме действовало Объединенное государственное политическое управление (ОГПУ), ставшее преемником ВЧК, в состав которого входил Иностранный отдел (ИНО). Его основными задачами являлись: выявление и разработка зарубежных эмигрантских контрреволюционных организаций, готовящих свержение советской власти; ведение внешней контрразведки и разработка разведывательных и контрразведывательных органов зарубежных стран; ведение политической, дипломатической и экономической разведки. ИНО ОГПУ имел за рубежом легальные резидентуры, которые действовали под прикрытием советских дипломатических представительств и занимались в основном выявлением на территории иностранных государств контрреволюционных организаций, ведущих подрывную деятельность против СССР, и добыванием документальных материалов, в том числе таких, которые могли быть использованы для компрометации лидеров контрреволюционных групп и целых организаций.
В Красной армии также велась зарубежная разведывательная деятельность, за организацию которой отвечало Разведывательное управления Штаба РККА (с 1927 года — IV управление Штаба РККА). Его главная задача заключалась в организации и ведении глубокой агентурной разведки с целью получения информации о международной военно-политической обстановке; военной опасности для СССР; военных приготовлениях вероятных противников Советского Союза и состоянии их вооруженных сил, военно-технических достижениях и новейших изобретениях при создании вооружения и боевой техники. Агентурная работа велась как легальными, так и нелегальными резидентурами, при этом последним отдавался наибольший приоритет.
Ян Карлович Берзин, на встречу с которым шел Рихард Зорге, являлся уникальным специалистом в области разведки. В годы Гражданской войны он прошел школу ВЧК, работал с Ф. Дзержинским; многое знал о деятельности сотрудников ОГПУ за рубежом, особенностях проводившихся ими операций. Судьба распорядилась так, что он возглавил военную разведку Красной армии и вывел ее на уровень лучших мировых спецслужб. Он являлся в полном смысле слова фанатом агентурной работы, лично подбирал и готовил для нее кадры, разрабатывал и контролировал сложнейшие агентурные операции. Берзин отличался способностью глубоко анализировать происходящие в мире события и делать выводы и прогнозы, которые, как правило, подтверждались реальными событиями.
Берзин стал работать в Регистрационном управлении с декабря 1920 года, возглавив его 2-й отдел, отвечавший за агентурную работу. Именно этому виду специальной деятельности в военной разведке уделялось наибольшее внимание. В сложных условиях Гражданской войны агентурной разведке удалось добиться больших успехов. Военные разведчики вскрыли планы и направленность действий белогвардейских войск и формирований иностранных интервентов. Агенты управления действовали в ряде крупных белогвардейских штабов, добывая важную информацию. К концу 1920 года агентурные источники военной разведки работали в шестнадцати капиталистических государствах, направляя в Москву важные сведения об антисоветской деятельности стран Антанты, военных мероприятиях в Прибалтике, Польше, Германии, Румынии, а также о состоянии армий Врангеля, Балаховича, Унгерна и Семенова.
Ян Карлович занимался анализом работы существующей агентуры, исключал из зарубежных сетей недостаточно результативно работавших или вызывавших подозрение лиц. Особое внимание он уделял подбору новых кадров для работы в агентурной разведке за рубежом. В 1921 году Берзина назначили заместителем начальника Разведупра, отвечавшего за агентурную разведку. Вскоре он сам совершил нелегальные поездки за пределы страны для проверки работы резидентур в Германии, Чехословакии, Польше и Англии. В 1924 году Яна Карловича поставили во главе Разведывательного управления Штаба РККА, образованного вместо прежнего Региструпра.
Берзин стал отвечать за военную безопасность Советского государства. Руководство страны требовало от Разведывательного управления добывать информацию о подготовке любой внешней агрессии. В Москве опасались консолидации белогвардейской эмиграции с антисоветски настроенными кругами капиталистических государств Европы, которые не отказались от намерений напасть на СССР и уничтожить первое в мире социалистическое государство. В партийных документах того времени, выступлениях представителей высшего руководства неоднократно отмечалась возможность такого развития событий.
Ян Карлович требовал от своих подчиненных объективно оценивать ситуацию, отделять реальные факты и события от пропагандистско- идеологических установок. Он всегда высоко ценил разведчиков, которые действовали и мыслили творчески, не боялись докладывать информацию, которая могла вызвать негативную реакцию в Центре.
В документах военной разведки того непростого времени отмечалось, что международная обстановка не содержала непосредственных военных угроз СССР, что позволило провести значительное сокращение численности Красной армии, а освободившиеся средства направить на восстановление народного хозяйства страны.
Берзин уделял особое внимание агентурной работе, хорошо знал своих сотрудников, выполнявших специальные задания за рубежом, оказывал им необходимую помощь, подчеркивал свое доверие и уверенность в выполнении поставленных задач. Ян Карлович лично принимал участие в подборе и подготовке кадров для работы за рубежом в качестве резидентов и руководителей агентурных сетей. Со второй половины 1920-х годов сложная обстановка во многих странах вынудила военную разведку создавать преимущественно нелегальные резидентуры, что гарантировало большую безопасность. Однако стать разведчиком-нелегалом было непросто. Требовалось отличное знание иностранных языков, особенностей жизни в иностранных государствах, обладать специальными навыками, высокой психологической устойчивостью.
Действующие агентурные кадры Разведупра состояли в основном из лиц, живших в дореволюционный период в Прибалтике, Бессарабии, Польше и владевших иностранными языками. Однако многие из них уже длительное время находились в специальных командировках и требовали замены. Другие отбывали заключение в тюрьмах после провалов и арестов, а успевшие скрыться от полиции были известны контрразведывательным органам и уже не могли работать за рубежом. Кадрового резерва для нелегальной работы в Разведывательном управлении практически не было. Начался отбор для работы в военной разведке выпускников Академии РККА, однако немногие из них имели достаточные лингвистические способности и часто не выдерживали курс интенсивной подготовки к работе в сложных условиях.
Основным источником пополнения кадров нелегалов являлись члены иностранных компартий, которые стремились оказать помощь социалистическому государству и имели опыт подпольной работы. В середине 1920-х годов Разведуправление часто использовало таких людей в своей работе. Однако нередко зарубежные коммунисты находились под негласным надзором местной полиции, их связи с советской разведкой вскрывались, что приводило к провалам и последующей дискредитации той или иной компартии, а также негативно влияло на авторитет Коминтерна и Советского Союза.