Поскольку Сайго покинул Симоносэки без разрешения, его действия вызвали подозрения. Если бы он лично объяснил свои мотивы Хисамицу, то, возможно, ему удалось бы развеять беспокойство своего господина. К несчастью, когда 6/4 Хисамицу прибыл в Киото, он узнал о действиях Сайго из вторых и третьих рук, а именно от Хирано Киниоми, Каэда Нобуёси и Идзити Сада-ка. Каэда был направлен в Киото, чтобы разведать ситуацию перед визитом Хисамицу. Он не встречался с Сайго, но слышал о его деятельности от Хирано Кинио-ми, вассала княжества Фукуока, который помогал вытащить Сайго из залива Кагосима. Хирано был рьяным противником сёгуната: он выступал за то, чтобы взять штурмом укрепления сёгуната в Киото, Осака и Хиконэ, а затем начать решительйое наступление на Эдо. Хирано, который сопровождал Сайго от Симоносэки до Киото, был убежден в том, что Сайго полностью разделяет его взгляды. Он рассказал об этом Каэда, а тот, в свою очередь, передал его слова Хисамицу. Для Хисамицу это была тревожная новость. Сайго должен был завоевать доверие радикалов, чтобы держать их под контролем, но доклад Каэда заставил Хисамицу задуматься о том, кто кого использует: Сайго радикалов или радикалы Сайго. После этого Идзити Садака, вассал Сацума, исполнявший роль доверенного лица Хисамицу в Эдо, доложил ему о том, что Сайго сотрудничает с радикальными сторонниками императора. 5/4 Сайго подверг Идзити критике за его позицию по внешнеполитическим вопросам. Идзити выступал за умеренный подход к международным договорам, считая, что, поскольку Япония не сможет быстро изгнать всех иностранцев, более осторожный курс позволит укрепить и объединить страну и в то же время подготовить почву для пересмотра договоров. Сайго был с этим не согласен, и он отчитал Идзити за его «трусливую» позицию. Смириться с договорами, подписание которых двор одобрил только под давлением, было равносильно тому, чтобы предать двор и поддержать сёгунат. Когда Идзити передал этот разговор Хисамицу, тот пришел в ярость. Хисамицу сам считал изгнание иностранцев невозможным, так что Сайго косвенно приравнял позицию своего господина к антиимперской трусости. Более серьезным было то, что разговор Сайго с Идзити носил частный характер, и поэтому его нельзя было рассматривать как простую уловку, позволяющую держать под контролем самых безрассудных лоялистов. Наихудшие подозрения Хисамицу теперь подтвердились-. Сайго был опасным и ненадежным. Без долгих раздумий Хисамицу приказал его арестовать.
Окубо и Сайго были ошеломлены реакцией Хисамицу. Окубо чувствовал себя униженным. Он добился возвращения своего друга, но он же подготовил почву для его свержения. Окубо пытался обсудить дело Сайго с Хисамицу, но господин остался непоколебимым. Охваченный гневом и отчаянием, Окубо предложил совершить двойное самоубийство. Сайго отказался, использовав ту же логику, которая остановила его руку тремя годами ранее: самурай существует для того, чтобы служить, а мертвый самурай уже никому не послужит. Окубо должен жить, чтобы выполнить свою великую миссию служения императору. Окубо, который восстановил свою честь после того, как предложил умереть, принял аргумент Сайго. Сайго предстояло встретить гнев Хисамицу в одиночестве.
Хотя Хисамицу издал приказ об аресте Сайго, чиновники княжества не торопились задерживать человека с его репутацией и положением. Охваченный раздражением, Хисамицу отправил Сайго под конвоем из Осака в порт Ямагава. Здесь Сайго ожидал около двух месяцев, когда Хисамицу примет окончательное решение относительно обвинений и приговора. В конце концов Сайго был обвинен по четырем статьям: тайный сговор с ронинами, подстрекательство вассалов, создание помех для визита Хисамицу и отбытие из Симоно-сэки без разрешения. В качестве наказания 6/6 он снова был приговорен к ссылке, на этот раз на маленький островок Токуносима, расположенный к югу от Амамиосима. Сайго отплыл из Ямагава 11 /6, но из-за неблагоприятного ветра его корабль был вынужден вернуться в порт, а затем, на протяжении дальнейшего пути, сделать еще несколько остановок. Наконец, 5/7/1862 Сайго прибыл в деревушку Вания, расположенную на северной оконечности Токуносима.
Снова оказавшись в ссылке, Сайго был охвачен отчаянием и острым ощущением того, что его предали. Он излил свои чувства в серии писем, адресованных его другу Коба с Амамиосима, — «Даже те люди, которых я считал своими родственниками, заклеймили меня как преступника, даже не попытавшись узнать истину. Все мои друзья были убиты. К кому мне теперь обратиться?» Утверждение Сайго о том, что все его друзья были убиты, являлось сильным преувеличением. После ареста Сайго Хисамицу инициировал активные действия против радикалов, и 24/4 самураи из Сацума ворвались на собрание лоялистов, которое проходило в Фусими, возле Киото. Были обнажены мечи, и в результате состоявшейся стычки погибло несколько лоялистов из Сацума. Сайго был потрясен этой трагедией, но погибшие доводились ему знакомыми, а не близкими друзьями. Одного из его друзей, Мурата Синпати, Хисамицу отправил в ссылку на соседний остров Кикайгасима, но Мурата оставался в добром здравии вплоть до 1877 года, когда он, вместе с Сайго, принял смерть на склонах Сирояма. Но преувеличенное утверждение Сайго о том, что все «друзья были убиты», на самом деле достаточно точно отражало его настроение. Он видел вокруг себя только подлость, вероломство и злой рок. Однако Сайго не помышлял о самоубийстве. Для него было бы неправильно, объяснял он Коба, убить себя из гнева или отчаяния. Вместо этого он намерен смириться со всем, что уготовано для него судьбой. Но Сайго уже почти не надеялся когда-нибудь еще увидеть главные острова. Если все пойдет прахом и разразится война, размышлял он, то тогда еще есть шанс на то, что через несколько лет его вернут назад. Но, скорее всего, он проведет в изгнании всю оставшуюся жизнь. Это будет нетрудно, заявлял он, поскольку национальная политика теперь вызывает у него только отвращение.