Из за непрестанного стояния в церкви с небо льшим отдыхом только во время ночи отец Серафим впал в недуг. У него распухли ноги и открылись раны на них, так что на некоторое время он даже лишился возможности священнодействовать. Болезнь эта стала видимой причиной к избранию пустыннического жития, хотя для отдыха ему следовало бы просить у настоятеля благословения удалиться в больничные кельи, а не в пустынь. Отец Серафим жаждал еще более тяжелейших трудов ради Бога.
Великий старец Пахомий благословил его. Это было последнее благословение, полученное отцом Серафимом от мудрого, добродетельного и почтенного старца, который заболел смертельной болезнью. Отец Серафим, памятуя, как во время его болезни старец ходил за ним, сам стал с великим самоотвержением служить любимому наставнику. Заметив, что к тяжелому недугу примешивается еще какая-то душевная забота, отец Серафим начал допытываться:
— О чем, отче святый, так печалишься?
— Я скорблю о сестрах Дивеевской общины, — ответил старец. — Кто о них будет заботиться после меня?
В то время Дивеевскую общинку и общиной-то назвать было трудно. Несколько послушниц жили в одном доме, молились, трудились, чтили память матушки Александры. Сколько таких общинок возникало повсюду, а потом распадалось с годами. Нужно было поистине провидеть, что основанное матушкой Александрой дело стоит на твердом основании, а не на песке… Отцу Серафиму предстояло пробыть долгие годы в отшельничестве, затворе и молчальничестве. И тем не менее он пообещал старцу, что не оставит дивеевских сестер, которых называл всю жизнь дивеевскими сиротами.
Отец Серафим горько оплакал потерю старца Пахомия и с благословения нового, восьмого по счету настоятеля, также горячо любимого им отца Исайи, удалился в пустынную келью 20 ноября 1794 года — в день поступления ровно 16 лет назад в Саровскую пустынь.
Келья, или так называемая пустынька, отца Серафима находилась в дремучем сосновом лесу, на берегу речки Саровки, на холме, в пяти верстах от монастыря. Она состояла из избушки, в которой была одна комната с печкой, маленькие сени и крылечко. Вокруг пустыньки отец Серафим устроил себе небольшой огород и обнес все занимаемое пространство забором. Одно время он имел даже пчельник, дававший ему вкуснейший мед.
На половине пути от пустыньки к монастырю жили другие отшельники в уединенных избушках: игумен Назарий, иеромонах Дорофей, схимонах Марк. Вся эта обстановка напоминала собой Афонскую гору в Греции (второй жребий Богородицы), состоящую из разных возвышений, усеянных лесом, монастырями и кельями отшельников. Отец Серафим и назвал свой пустынный холм Афоном, а другие места в лесу именами разных святых мест: Назаретом, Иерусалимом, Вифлеемом. Была у него гора Фавор, Кедрский поток, река Иордан и пр.
Несмотря на удаление отца Серафима в пустыньку, о нем уже прослышали в окрестностях как о монахе святой жизни. Народ стал беспокоить отшельника. Приходили и женщины. Великий подвижник, начиная свою строгую уединенную жизнь, счел неудобным для себя посещение женским полом. Это легко могло соблазнить и самих монашествующих, и мирян, склонных к злоречию и осуждению, — ведь ему было только 35 лет. С другой стороны, рассуждал отец Серафим, лишить женщин Духовного назидания, ради которого они и приходили к пустыннику, могло быть делом, не угодным Богу.
Отшельник стал молиться Господу, чтобы получить знамение преклонением ветвей, если женщин нельзя принимать. На праздник Рождества Христова он ходил в монастырь, на обедне причастился и к ночи вернулся к себе. На следующий день он снова пошел в монастырь и увидел, что вдоль тропинки с обеих сторон огромные сучья вековых сосен склонились до земли и даже завалили дорожку. Вечером накануне ничего подобного не было. Отец Серафим упал на колени и слезно благодарил Бога за данное, по молитве его, знамение.
Кое-как выбравшись из завала, отец Серафим поспешил в монастырь, едва поспел к Литургии и зашел в алтарь. Служил отец Исайя. Сразу после Херувимской, в самый важный момент службы, отец Серафим благоговейно приблизился к престолу и сказал отцу Исайе:
— Батюшка, отец настоятель! Благослови, чтобы на мою гору, на которой теперь живу, женам не было входа!