Во время подписания Тройственного пакта Риббентроп, обмениваясь приветствиями по радиотелефону, передал Мацуоке приглашение посетить Европу. Японский кабинет и главы военных ведомств разделились в своем отношении к подобному визиту, и потребовалась серия правительственных совещаний, прежде чем Мацуока вылетел в Берлин в марте 1941 года, через несколько дней после отлета в Берлин посла Отга. Мацуока вез с собой категоричные и ограничительные инструкции.
Одзаки был достаточно информирован своим другом Сайондзи Кинкацу о дискуссиях среди членов Кабинета Коноэ по поводу визита Мацуоки в Европу. Круг принца Коноэ мало чего ждал от этого предприятия. Сайондзи, входивший в состав делегации, сказал Одзаки: «Самое большее, на что мы можем надеяться, это на то, что этот визит, способствуя лучшему знакомству Мацуоки с европейской ситуацией, сможет помочь сделать правильный выбор направления внешней политики в будущем».
Инструкции предписывали Мацуоке не подписывать никаких официальных договоров в Германии или Италии и не брать на себя никаких обязательств от имени Японии. Он должен был изучить ситуацию в Европе как частное лицо и выслушать доводы и пожелания немцев и итальянцев. На обратном пути домой он должен был заехать в Москву, где ему было позволено начать переговоры с перспективой заключения договора, который восстановил бы дружеские отношения Японии с Советским Союзом. Однако Риббентроп все же надеялся убедить Мацуоку пойти на сингапурскую операцию и в случае ухудшения германо-советских отношений перетащить Японию на сторону Германии. По словам Отта, посольство чувствовало, что любые переговоры, которые могли иметь место в Москве, были бы вполне эфемерными и касались бы лишь экономических вопросов.
Мацуока и в самом деле не сделал никаких заявлений обязывающего характера в своих переговорах с Гитлером и Риббентропом, жестко придерживаясь данных ему инструкций. Гитлер намекнул ему, что германо-советские отношения могут ухудшиться, и Мацуока в ответ признался, что Япония может начать переговоры с советским правительством о смягчении трений, существующих в отношениях двух стран.
Однако результаты визита Мацуоки в Москву оказались и поразительными, и неожиданными. 13 апреля он подписал в Москве японо-русский пакт о нейтралитете, положивший конец пограничным проблемам в Маньчжурии и Монголии и сопровождавшийся обменом нотами о будущих переговорах по торговле и рыболовству и об урегулировании спорных вопросов, касающихся острова Сахалин. Разрешение на подписание этого удивительного соглашения, родившегося в течение двадцати четырех часов переговоров между Молотовым и Мацуокой, поступило из Токио по радио, а позднее пакт был ратифицирован Тайным Советом. Похоже, Сталин был убежден, что не может быть разрыва отношений между Россией и Германией и что Япония в конечном итоге двинется на юг.
И германское правительство, и вернувшийся в Токио посол Отт были несказанно удивлены. Отт рассказал Зорге о ходе переговоров в Берлине и добавил, что, «подписав Пакт о нейтралитете, он (Мацуока) совершил нечто такое, чего Германия не ждала, не желала». Сам Мацуока, однако, вернувшись из Москвы, постарался заверить Огга в том, что в случае войны между Германией и Россией японо-советский пакт о нейтралитете будет аннулирован и что «тогда он сделает все от него зависящее, чтобы обеспечить денонсацию Японией пакта, который он сам же и заключил».
Любопытное толкование. Когда в ноябре 1942 года его допрашивали по делу Зорге, Мацуока категорически отрицал, что он разговаривал с Оттом в Токио по возвращении из Москвы, утверждая, что он сказал Гитлеру и Муссолини (у которого побывал с кратким визитом в Риме), что он «пойдет на переговоры о Советским Союзом. У Отта не было причины волноваться. Однако я ничего не сказал послу Осиме об этом деле, пока был в Германии».
Мацуока также отрицал, что он говорил Отту, что переговоры в Москве совсем не аннулируют Тройственный союз сентября 1940 года или что Япония присоединится к Германии в случае германо-советского конфликта.
«Я не говорил этого. Тройственный союз служил главной цели — предотвращению вступления Америки в войну. И пакт не обязывал Японию участвовать в германосоветском конфликте, и этот конфликт не аннулирует японо-советский пакт о нейтралитете. Тройственный союз был центральным пунктом японской внешней политики, и в определенных обстоятельствах Япония не чувствовала бы себя связанной пактом о нейтралитете. Сталин и Молотов были прекрасно осведомлены, что Япония не для того заключала Пакт о нейтралитете, чтобы аннулировать Тройственный союз».