Первым назначением Зорге было руководство шпионской сетью в Шанхае под крышей немецкого журналиста. Там он завербовал японского журналиста, впоследствии ставшего его самым важным агентом, Хоцуми Озаки. Озаки был молодым идеалистически настроенным марксистом из богатой семьи и с прекрасными связями в японских правительственных кругах. В январе 1933 года Зорге вернулся в Москву, где принял личные поздравления Берзина за достижения в Шанхае. Следующим и самым важным назначением Зорге была работа в Японии. По дороге в Японию он провел несколько месяцев в Германии, утвердив свою репутацию журналиста и получив известность как общительный и компанейский член нацистской партии. На прощальном ужине, устроенном Зорге в Берлине, присутствовал сам доктор Геббельс. По прибытии в Токио в сентябре 1933 года Зорге быстро завоевал доверие немецкого посольства. После своего ареста восемь лет спустя он похвалялся:
«Тот факт, что мне удалось наладить хороший контакт с посольством Германии в Японии и завоевать абсолютное доверие его сотрудников, стал основой моей организации в Японии… Даже в Москве тот факт, что я проник в самый центр посольства и использовал его для своей разведывательной деятельности, оценивается как чрезвычайно удивительный, не имеющий аналога в истории».
Зорге не представлял себе, что к тому времени было совершено еще несколько внедрений, которые в Москве считались не менее «удивительными». Тем не менее именно шпионская сеть Зорге предоставила Москве наиболее важные разведданные по Германии и Японии из всех, что были получены посредством агентов.
Большую часть времени из восьми лет, проведенных Зорге в Токио, Кремль считал, что главная угроза Советскому Союзу исходит от Японии. В начале тридцатых годов «великая депрессия» вырвала неглубокие корни японской демократии. Депрессия создала такой общественный климат, при котором армии удалось покончить со своим подчиненным положением по отношению к политикам и заручиться поддержкой народа в плане ее территориальных амбиций. В сентябре 1931 года японские войска, расквартированные вблизи принадлежащей Японии Южно-Маньчжурской железной дороги, устроили взрыв на путях. Ответственность за взрыв они переложили на китайские войска и воспользовались этим событием, впоследствии получившим эвфемическое название «маньчжурского инцидента», как предлогом для того, чтобы начать оккупацию Маньчжурии. Японское правительство согласилось с резолюцией Лиги наций, требующей вывода японских войск, однако перед лицом националистической лихорадки, охватившей Японию, политики оказались бессильны навязать свою волю солдатам. В начале 1932 года армия создала в Маньчжурии марионеточное государство Маньчжоу-го под номинальным управлением последнего из маньчжурских императоров. С того момента Япония стала контролировать большой участок суши, граничащий с Советским Союзом.
До середины тридцатых годов Москва видела в Германии значительно менее серьезный источник военной опасности, чем в Японии. В течение ряда лет она наблюдала за ростом нацизма с невозмутимостью, граничащей с самодовольством, видя в нем скорее агонию немецкого капитализма, чем предзнаменование будущей завоевательной войны на Востоке. Вплоть до того момента, когда Адольф Гитлер стал канцлером Германии в 1933 году, Коминтерн призывал немецких коммунистов атаковать социалистического врага слева, а не нацистского врага справа. Хотя комиссар по иностранным делам Максим Литвинов и предупреждал в 1933 году в своем общем обзоре советской внешней политики о «крайних антисоветских идеях» нацистского режима, он тем не менее подчеркнул, что основная угроза продолжает исходить от Японии. В течение последующих нескольких лет политика СССР в отношении Японии и Германии, как и политика Запада, основывалась на умиротворении. Ее главной задачей было избежать войны как с Японией, так и с Германией.
По прибытии в Токио в сентябре 1933 года Зорге получил приказ «внимательно изучить вопрос, планирует ли Япония нападение на СССР». Он писал после своего ареста восемь лет спустя:
«В течение многих лет это было самым важным заданием, данным мне и моей группе; не было бы большой ошибкой сказать, что это было единственной целью моей миссии в Японии.. В результате наблюдений за важной ролью, полученной японскими военными после маньчжурского инцидента, и за их взглядами в СССР появились глубоко укоренившиеся подозрения, что Япония планирует напасть на Советский Союз; подозрения эти были настолько сильными, что часто выражаемое мной противоположное мнение не всегда находило полное понимание в Москве…»
Если опасения Москвы по поводу нападения со стороны Японии и были порой преувеличенными, они все же не были беспочвенны. Японская армия на несколько лет раскололась на враждующие группировки: Кодо-ха, которая выступала за войну с Россией, и менее авантюристическая Тосей-ха, чьи амбиции были устремлены в Китай. Лишь в 1936 году, после неудачного переворота, организованного Кодо-ха, Тосей-ха сумела начисто переиграть своих противников. К тому моменту предписания со стороны Запада Японии не вмешиваться в дела Китая стали походить, по выражению военного министра Японии, на «попытки уговорить мужчину не вступать в связь с женщиной, которая уже от него забеременела». К тому моменту, когда Япония открыто начала войну в июле 1937 года, она уже установила косвенный контроль над значительной частью северо-востока Китая.
Когда Массинг увидела Зорге в 1935 году в первый раз после 1929 года, она нашла, что он заметно изменился за годы пребывания в Китае и Японии. Хотя он по-прежнему обладал «чрезвычайно привлекательной внешностью» и был преданным коммунистом, «мало что осталось от обаяния романтического и идеалистически настроенного ученого». Один японский журналист отзывался о Зорге как о «типичном задиристом и высокомерном нацисте… вспыльчивом и много пьющем». Этот образ помог Зорге заработать доверие у сотрудников немецкого посольства. Его ближайшими знакомыми из числа работавших в посольстве были полковник Эйген Отт, занимавший пост военного атташе с марта 1934 года, и г-жа Отт, с которой у Зорге был один из его многочисленных романов. Зорге получил доступ к значительной части информации о японских вооруженных силах и военном планировании, которую Отт отправлял в Берлин, равно как и ко многим другим документам по вопросам дальневосточной политики Германии, присылаемым в посольство. Когда в апреле 1938 года Отт получил повышение и стал послом, Зорге стал ежедневно завтракать с ним, снабжая его свежей информацией о событиях в Японии и редактируя некоторые из его донесений в Берлин. Тем временем главное звено шпионской сети Зорге, Хоцуми Озаки, получал все больший доступ к процессу принятия решений в японской внешней политике, будучи членом мозгового треста ведущего государственного деятеля, принца Коноэ. В конце 1935 года Озаки удалось сфотографировать документ, относившийся к процессу государственного планирования на будущий год и указывающий на отсутствие вероятности скорого нападения Японии на Советский Союз. Зорге правильно предсказал вторжение в Китай в июле 1937 года, в очередной раз предоставив заверения, что у Японии нет планов вторжения в Сибирь.