Семья Сайго находилась поблизости, на Амамиоси-ма, и 7/1862 Айгана привезла на Токуносима их сына Кикудзиро и новорожденную дочь Кикуко. Этот визит вызвал у Сайго двойственные чувства. Через месяц он написал Коба, что был рад увидеть Кикуко, но ему не хотелось бы, чтобы его семья приезжала сюда снова. Точные мотивы Сайго нам неизвестны, но в этом письме он называет Айгану «женщина, которая мне служит», и, судя по всему, ее благосостояние интересовало его больше, чем супружеская близость. Пока Сайго знал, что его жена и дети в безопасности, он не особенно стремился к тому, чтобы их увидеть. Главная забота Сайго состояла в том, чтобы за его семьей на Амамио-сима присматривал какой-нибудь надежный человек. Пока Сайго находился в Киото, за Айганой присматривали Коба и Току, но теперь срок пребывания Коба на Амамиосима подходил к концу, и поэтому Сайго обратился с аналогичной просьбой к еще одному другу, Ка-цура Хисатакэ. Хотя Кацура был направлен на остров только в конце 1861 года с необычной двойной миссией — открыть медный рудник и организовать береговую оборону, — семьи Сайго и Кацура были знакомы на протяжении многих поколений. Вскоре после своего прибытия в 1862 году Кацура начал помогать жене и детям Сайго, к примеру, покупая рулоны ткани для Ай-ганы. «Скажи Айгане, — просил Сайго в письме к Коба, — чтобы она успокоилась, поскольку ей нечего бояться, пока на острове находится Кацура». Сайго видел необходимость находиться возле своей семьи только в случае отъезда Кацура. Согласно устной традиции, Сайго ожидал, что проведет на Токуносима в одиночестве много лет, и поэтому начал собирать сельскохозяйственный инвентарь, чтобы выращивать собственный урожай.
Однако 8/1862 из Кагосима на остров прибыл полицейский с новыми распоряжениями относительно приговора. Сайго был посажен на бриг и перевезен на Оки-ноэрабусима — еще один остров в архипелаге Ама-ми. Хотя Окиноэрабусима находился на небольшом расстоянии к югу от Токуносима, это было совершенно другое место. В отличие от Амамиосима или Токуносима Окиноэрабусима предназначался для ссылки серьезных преступников, людей, которые едва избежали смертного приговора. Остров представлял собой мрачное место. По словам одного из биографов, «почва здесь стерильна, а воздух наполнен миазмами… Это неприятное место, где все время дует сильный ветер, поднимая высокие волны». Даже сегодня Окиноэрабусима кажется пустынным и отрезанным от внешнего мира. Несмотря на все попытки привлечь сюда туристов, большинство людей, прибывающих на остров, являются государственными чиновниками из министерства сельского хозяйства. Перевод Сайго на Окиноэрабусима казался еще более зловещим из-за угрожающего поведения полицейского, присланного из Кагосима. Один из свидетелей, Накахара Манбэй, позднее вспоминал, что взгляд полицейского заставил его заподозрить, что Сайго будет убит до того, как корабль достигнет Окиноэрабусима.
После того как Сайго был насильно разлучен с семьей, он начал открыто сожалеть о том, что провел с нею так мало времени. В своем первом письме с Окиноэрабусима Сайго горевал о том, что он и Кикудзиро «расстались, словно чужие люди, даже не узнав друг друга как следует». Разлука с детьми сделала его вторую ссылку значительно более мучительной. «Либо из-за тяжести ссылки, — писал он Току, — либо из-за того, что я постарел, однако на этот раз я кажусь себе мягкотелым и слабовольным. Я постоянно вспоминаю своих детей, и это заставляет меня страдать. Мне трудно описать свои чувства. Это странно, поскольку я всегда считал себя человеком, который от природы обладает сильным телом и духом». Сайго не забыл о пережитом чувстве потери. Жестокость ссылки на Окиноэрабусима сформировала его взгляды на преступление и наказание. Через много лет, в одном из редких положительных отзывов о западных политических институтах, Сайго похвалил западные тюрьмы, назвав их мягкими и цивилизованными. В отличие от японских тюрем, они не только наказывают, но и пытаются реабилитировать заключенного.