А в это время добравшаяся до Астрахани обновленческая смута увлекла за собой епископа Анатолия (Соколова), который, будто переменившись, стал с амвона злословить об архиепископе Фаддее, о котором еще недавно говорил с большим уважением, называя его тихоновцем и контрреволюционером. Управители самочинного обновленческого ВЦУ тоже не бездействовали. В шестом номере журнала «Живая Церковь» за 1922 год было напечатано постановление ВЦУ от 23 июня 1922 года, в котором сказано: «Архиепископа Астраханского Фаддея (Успенского) уволить на покой с воспрещением ему пребывания в Московской области». После этого постановления местные астраханские власти запретили возношение за богослужением имени архиепископа Фаддея. Но верующие в большинстве своем остались преданными Православию и не желали подчиняться самочинным церковным властям.
Летом 1923 года срок ссылки закончился, и архиепископ Фаддей уехал в Волоколамск. Здесь он жил, а служить ездил в московские храмы. Осенью 1923 года владыка вновь был назначен Астраханским архиереем. Астраханцы узнали о его возвращении и о скором приезде в Астрахань. В конце ноября к архиепископу Фаддею в Волоколамск отправились посланцы из Астрахани: соборный ключарь о. Димитрий Стефановский и настоятель Крестовоздвиженской церкви о. Василий Смирнов. Приехали они поздно вечером, отыскали его дом. Это была большая рубленая крестьянская изба на окраине города. Внутри было три перегородки, за одной из них и жил владыка. В комнате стояла железная кровать, у окна стол. Единственный стул предназначался владыке, а гостям принесли две табуретки. «Владыка принял нас не то что любезно, — вспоминал о. Дмитрий Стефановский, — а как-то по-монашески кротко. Говорил он тихо и мало. Мы рассказали ему о положении епархиальных дел, о трудностях, переживаемых епархией, об обновленцах. Нас поразила общая скудость обстановки и его бедная одежда, но зато привели в восторг аскетическая внешность, застенчивость и какая-то детская робость. Когда в конце беседы мы положили перед ним пакет с деньгами на предстоящие расходы по поездке в Астрахань, владыка покраснел, смутился и, отодвигая от себя пакет, сказал: «Что вы, что вы, зачем же деньги, нет, нет, не надо, я приеду, приеду». Нам стало неловко, как будто мы сделали что-то очень непристойное или обидное». После чая, поданного молодым келейником, батюшки собрались уходить. При прощании владыка сказал им, чтобы они ехали домой одни, его не дожидались бы, и подчеркнул, чтобы о его приезде не оповещали и не устраивали каких-либо встреч или церемоний.
Приехал архиепископ Фаддей в Астрахань 9 (22) декабря 1923 года. Ехал он в поезде и уже на подъезде услышал колокольный звон. Когда поезд остановился, купе тут же заполнилось духовенством. Священники подходили к нему под благословение, толпились, ища глазами его багаж, и были очень удивлены, увидев старенький саквояж и почти не тронутый узелок со съестным и зеленой эмалированной кружкой. Видно было, что эта восторженная встреча смутила владыку. При выходе из вагона он смутился еще больше, увидев на перроне толпу из духовенства и мирян, а далее, за перроном, на вокзальной площади, – волнующееся людское море. Он растерялся, сунул ехавшему вместе с ним А. И. Кузнецову свой узелок, вышел из вагона и сейчас же оказался в центре людского потока. У вокзала владыку ожидала пролетка, но сквозь толпу она не смогла пробиться – владыка пошел пешком, сопровождаемый толпой. Расстояние от вокзала до Крестовоздвиженской церкви было не более одного километра, но владыке потребовалось около двух часов, чтобы дойти до нее. Моросил мелкий холодный дождь, было грязно, но это, в отличие от торжественной встречи, нисколько не смущало владыку. Около одиннадцати часов утра он дошел до храма, и тут же началась литургия. Был воскресный день, праздник иконы Божией Матери «Нечаянная радость». Об этой нечаянной радости, которая постигла астраханцев, сподобившихся увидеть своего долгожданного архипастыря, говорил в приветственной речи старейший протоиерей города о. Николай Пальмов. Литургия закончилась в три часа, и до пяти владыка благословлял народ. А вечером ему показали могилы убиенных архиереев Митрофана и Леонтия. Впоследствии владыка часто служил на этих могилах панихиду. К приезду архиепископа Фаддея у православных оставалось всего десять церквей. Девять храмов и два монастыря Астрахани были захвачены обновленцами.