Ослабление сёгуната и смена настроения Хисами-цу, казалось бы, предвещали скорое возвращение Сай-го, который с нетерпением ожидал новостей, надеясь получить письмо с прощением. «Я узнавал о состоянии дел в мире, — писал он Окубо и Идзити Садака 7/11/1860, — дожидаясь быстроходных судов, и был рад узнать, что ситуация постепенно изменяется в сторону справедливости». Сайго по-прежнему испытывал беспокойство по поводу призрака западного империализма. «Если не произойдет радикальных изменений, то очень скоро мы будем порабощены и растоптаны, как Китай», — заявлял он. Но прекращение ансэйской чистки позволяло предположить, что страна движется в правильном направлении.
Мечта Сайго об амнистии осталась неосуществленной: прощение не пришло. Его собственное княжество было согласно на то, чтобы позволить ему пребывать в изоляции и забвении. В последние месяцы 1860 года его надежда медленно улетучилась, а 1/1861 начался Третий год его изгнания. Столкнувшись с перспективой, как ему казалось, бесконечной ссылки, Сайго задумался Над тем, где же находится его дом. 4/3/1861 он написал сердечное письмо своим друзьям. Он поблагодарил их за энергичные и настойчивые попытки получить для него прощение и далее признавал себя недостойным их усилий. Однако теперь пришло время признать поражение. Ему не суждено в скором времени вернуться на родину. С тяжелым сердцем он заявил о том, что «становится островитянином». Сайго также огорошил своих друзей новостями личного плана. «Здесь, в глуши, я совершил нечто неуместное, — писал он. — …Мой сын родился 2/1/1861». Друзья Сайго в Кагосима, несомненно, были потрясены: Сайго ничего не писал им ни о своей жене, ни о ее беременности. В письмах Сайго не было никаких указаний на то, что его жизнь на Амамиосима наполнена каким-то иным содержанием, кроме простого выживания. Этим письмом Сайго открыл, что он вел тайную жизнь. Продолжая отчаянно бороться за свое возвращение на большую землю, он в то же время все глубже втягивался в дела острова. Он женился на местной девушке, по имени Айгана, происходившей из влиятельной семьи, и обзавелся домашним хозяйством. Он стал интересоваться островной политикой и установил прочные дружеские отношения с местным чиновником Току Фудзинага и сацумским самураем Коба Дэннаи, который служил на острове цензором (мэцукэ). Он завел семью и стал заметной фигурой в жизни местного сообщества.
Детали жизни Сайго на Амамиосима остаются для нас тайной. Сайго мало писал о времени, проведенном в ссылке, своим друзьям из Кагосима, и до нас не дошле ни одного письма за период с 4/3/1861 до 27/3/1862. Ничего не известно и о его письмах, адресованных Айгане, которая, судя по всему, была неграмотной. Сайго активно переписывался с Току и Коба, но их переписка началась только после того, как он покинул Амамиосима. Существуют многочисленные истории о жизни Сайго в ссылке, но большинство из них были сформированы десятилетиями пересказов и новых интерпретаций. Согласно местной легенде, Сайго без устали защищал слабых и обездоленных от тирании порочных чиновников. Он превратил коррумпированных, бессердечных администраторов в добродетельных лидеров и освободил угнетенных. Человеколюбивый и милосердный, он был добрым и щедрым со всеми. Бескорыстный и принципиальный, он в одиночку улучшил повседневную жизнь на острове. Эти островные легенды, как и многие другие продукты народного мифотворчества, позволяют предположить, что реальные достоинства Сайго были преувеличены сверх всякой меры его последующей славой.
Хотя количество надельных источников сильно ограничено, у нас все же есть возможность собрать фрагментарный отчет о жизни Сайго в ссылке. Несмотря на то что изначально Сайго испытывал отвращение к населяющим остров «волосатым китайцам», постепенно он втянулся в деревенскую жизнь. Его первыми знакомыми стали деревенские дети, которые попросили Сайго стать их учителем. Сайго старался сохранять высокомерие, но был слишком очарован детьми, чтобы ответить им отказом. Завербовав Сайго в качестве учителя, Дети высветили скрытую грань его натуры. Сайго был Не только физически мощным фехтовальщиком, но и Добросердечным школьным наставником. Под суровым Внешним фасадом скрывался добрый и скромный человек. В результате общения с местными детьми Сайго потерял, возможно, невольно, свою броню мрачного стоицизма.