Встреча Резанова с Тояма состоялась во дворце губернатора. Японские чиновники предприняли все меры, чтобы избежать встреч простых японцев с русскими: все улицы были завешены полотнами, ни одному человеку не было разрешено появляться на улице в то время, когда русское посольство проезжало от пристани к губернаторскому дворцу.
Кинсиро объявил Резанову, что император не может его принять, не желает устанавливать торговых отношений с Россией и вообще крайне удивлен посланием русского императора, ибо переписка с иностранцами запрещена японским законом, и русскому посольству следует немедленно покинуть Японию.
Но Резанова не смутил этот неожиданный и резкий ответ. Он твердо знал, что никто не может запретить русскому императору писать японскому императору и предлагать установить торговые отношения, тем более что это прежде всего в интересах Японии.
Резанов вручил губернатору меморандум для представления японскому правительству. Там говорилось: «Я, нижеподписавшийся, всепресветлейшего государя императора Александра I действительный камергер и кавалер Николай Резанов объявляю японскому правительству: чтобы Японская империя далее северной оконечности острова Матмая отнюдь владений своих не простирала, поелику все земли и воды к северу принадлежат моему государю».
Резкий тон посла напугал японцев, и встреча была прервана. На следующий день в губернаторском дворце японцы зачитали Резанову ответ сёгуна Иэнари и «предостережение» от губернатора Нагасаки.
В ответе Иэнари указывалось, что Япония в прежние времена торговала со многими странами, но около двухсот лет назад японцам было запрещено выезжать за пределы страны, а чужеземцам — посещать японские порты. Исключение было сделано для китайцев, корейцев и голландцев в силу установившейся традиции. Но с Россией такие связи никогда не поддерживались. Настойчивые предложения России установить отношения с Японией не могут быть приняты. Согласно существующему закону о запрещении внешних связей и этикету, не представляется невозможным отправить ответное посольство с подарками в знак уважения к соседней державе. Этот руководящий принцип внешней политики не может быть изменен ради России. Что касается обмена товарами, то взаимная выгода сомнительна. Япония, получив бесполезные иностранные товары, лишится своих предметов первой необходимости и драгоценных металлов.
Предложение русского посольства решительно отклоняется, русским надлежит отплыть и впредь не тратить усилий и средств для посещения японских берегов.
Впредь японцев, попавших в Россию в результате кораблекрушений, следует отправлять на родину на голландских судах. После получения припасов русским следует немедленно покинуть Нагасаки и более не приближаться к японским берегам.
Японцы снабдили русских продовольствием и водой для двухмесячного плавания, и 6 апреля 1805 г. «Надежда» покинула Нагасаки.
На пути к Петропавловску «Надежда» под командованием Крузенштерна 26 апреля 1805 г. сделала остановку у мыса Соя, на северном берегу острова Хоккайдо, где жили айны. Затем шлюп вошел в залив Анива на Сахалине. Там русские моряки встретили два японских торговых судна, прибывших из Осаки. Японские купцы постоянно обманывали айнов: меняли рис, табак, саке, старые платья, грубую бумажную ткань и безделушки на драгоценные меха и рыбу.
Японцы (их было около сорока человек) сообщили Резанову, что приезжают в Анива только восьмой год на рыболовный сезон, а затем возвращаются на остров Эдзо (Хоккайдо), где живут их семьи. И действительно, японские дома на Сахалине были летними, причем новыми или вообще недостроенными, что говорило о недавнем и временном пребывании японцев в заливе Анива.
25 мая 1805 г. «Надежда» доставила посольство Резанова в Петропавловск. А 22 июня Крузенштерн вновь отправился на обследование Курил и Сахалина. Он составил карты Курильских островов и собрал сведения об их жителях. Было твердо установлено этническое единство курильцев и айнов, а также их прямое родство с народностями, населяющими Сибирь: гиляками, ороченами, нивхами и др.
Экспедиция Крузенштерна исследовала бассейны Охотского и Японского морей, дала научное определение географического положения северной части Курильских островов и Сахалина.