Несмотря на удаление о. Серафима в пустынку, народ стал беспокоить его там. Приходили и женщины.
Великий подвижник, начиная строгую пустынническую жизнь, считал для себя неудобным посещение женского пола, так как это могло соблазнить и монашествующих, и мирян, склонных к осуждению. Но, с другой стороны, лишить женщин назидания, ради которого они приходили к пустыннику, могло быть делом, неугодным Богу. Он стал просить Господа и Пресвятую Богородицу об исполнении его желания, и чтобы Всевышний, если это не противно Его воле, дал ему знамение на то преклонением ветвей вблизи стоявших дерев. В преданиях, записанных в своё время, есть сказание, что Господь Бог действительно дал ему знамение Своего изволения. Наступил праздник Рождества Христова; о. Серафим пришёл в монастырь к поздней обедне в храм Живоносного Источника и причастился Св. Христовых Таин. После обеда в своей монастырской келии он вернулся на ночь в пустыню. На следующий день, 26-го декабря, празднуемый по положению (Собор Пресвятой Богородицы), о. Серафим вернулся ночью в обитель. Проходя свой холм, где он опускается вниз долу, отчего гора и названа была о. Серафимом Афонскою, он увидел, что с обеих сторон тропинки огромные сучья вековых сосен склонились и завалили дорожку; вечером ничего этого не было. О. Серафим упал на колени и поблагодарил Бога за данное, по молитве его, знамение. Теперь он знал, что Господу Богу угодно, дабы жёны не входили на его гору.
В продолжение всего подвижничества о. Серафим носил постоянно одну и ту же убогую одежду: белый полотняной балахон, кожаные рукавицы, кожаные бахилы — вроде чулок, поверх которых надевали лапти, и поношенную камилавку. На балахоне висел крест, тот самый, которым благословила его родная мать, отпуская из дома; а за плечами висела сумка, в которой он носил при себе св. Евангелие. Ношение креста и Евангелия имело, конечно, глубокий смысл. По подражанию древним святым, о. Серафим носил вериги на обоих плечах, и к ним были привешены кресты: одни спереди в 20 ф., другие сзади в 8 ф. каждый, и ещё железный пояс. И эту тяжесть старец носил во всё время своего пустынножительства. В морозы он накладывал на грудь чулок или тряпку, а в баню никогда не ходил. Видимые его подвиги состояли из молитвословий, чтения книг, телесных трудов, соблюдения правил великого Пахомия и т.д. В холодную пору он топил келию, колол и рубил дрова, но иногда добровольно переносил холод и мороз. Летом он возделывал гряды на своём огороде и удабривал землю, собирал мох с болот. Во время подобной работы он ходил иногда без одежды, перепоясав лишь чресла свои, и насекомые жестоко уязвляли тело его, отчего оно опухало, синело по местам и запекалось кровью. Старец добровольно терпел эти язвы Господа ради, руководствуясь примерами подвижников древнего времени. На грядах, удобрённых мхом, о. Серафим сажал семенами лук и другие овощи, которыми он питался летом. Телесный труд порождал в нём благодушное состояние, и о. Серафим работал с пением молитв, тропарей и канонов.
Провождая жизнь в уединении, трудах, чтении и молитве, о. Серафим соединял с этим пост и строжайшее воздержание. По началу своего поселения в пустыне он питался хлебом, более всего чёрствым и сухим; хлеб, обыкновенно, он брал с собою по воскресеньям на целую неделю. Есть сказание, что из этой недельной порции хлеба часть уделял он пустынным животным и птицам, которые были приласканы старцем, очень любили его и посещали место его молитвословия. Также он употреблял овощи, добываемые трудами рук его в пустынном огороде. С тем и устроен был огород сей, чтобы ему не обременить «ничим же» обители и, по примеру великого подвижника Ап. Павла, питаться, «делающе своими руками» (1 Кор. 4, 12). Впоследствии времени он приучил своё тело к такому воздержанию, что не стал вкушать хлеба насущного, а, по благословению настоятеля Исаии, питался одними овощами своего огорода. Это были картофель, свёкла, лук и трава, называемая снить. В течение же первой недели Великого поста он вовсе не принимал пищи до причащения Святых Таин в субботу. Ещё через несколько времени воздержание и постничество о. Серафима дошли до неимоверной степени. Совсем переставши брать хлеб из обители, он жил без всякого содержания от неё в течение более двух лет с половиною. Братия, удивляясь, недоумевала, чем мог питаться старец во всё это время, не только летом, но и зимою. Он же тщательно укрывал свои подвиги от воззрения людей.
По будням, спасаясь в пустыне, о. Серафим накануне праздников и дней воскресных являлся в обитель, слушал вечерню, всенощное бдение и за раннею литургиею в больничной церкви святых Зосимы и Савватия причащался Святых Христовых Таин. Затем, до вечерни, он принимал в монастырской келии приходивших кнему, по нуждам духовным, из монастырской братии. Во время вечерни, когда братия оставляла его, он, взяв с собою хлеба на неделю, удалялся в свою пустыню. Всю первую неделю Великого поста он проводил в обители. В эти дни он говел, исповедывался и причащался Св. Таин. Духовником его с давнего времени был строитель — старец Исаия.
Так проводил старец дни свои в пустыне. Другие пустынножители имели при себе по одному ученику, которые и служили им. О. Серафим жил в совершенном одиночестве. Некоторые из Саровской братии пытались сожительствовать с о. Серафимом и были приняты им; но ни один из них не мог вынести трудностей пустыннического жития: ни в ком не нашлось столько нравственной крепости, чтобы явиться в качестве ученика подражателем подвигов о. Серафима. Благочестивые попытки их, принося пользу душе, не увенчались успехом; и те, которые поселялись было с о. Серафимом, возвращались опять в обитель. Посему, хотя после кончины о. Серафима нашлись некоторые люди, дерзновенно объявлявшие себя его учениками, но при его жизни они, в строгом смысле, учениками не были, и название «Серафимов ученик» в то время не существовало. «В пребывание его в пустыне,— говорили тогдашние Саровские старцы,— вся братия была его учениками».
Также многие из Саровской братии временно приходили к нему в пустыню. Одни просто посещали его, а другие являлись по нужде в советах и наставлениях. Старец хорошо различал людей. От некоторых он удалялся, желая сохранить молчание, а имеющим нужды до него не отказывал в духовной пище, с любовью руководствуя их к истине, добродетели и благоустроению жизни. Из постоянных посетителей о. Серафима известны: схимонах Марк и иеродиакон Александр, также спасавшиеся в пустыне. Первый бывал у него два раза в месяц, а последний — однажды. О. Серафим охотно беседовал с ними о разных душеспасительных предметах.
Видя столь искреннее, усердное и, поистине, высокое подвижничество старца о. Серафима, диавол, исконный враг всякого добра, вооружился против него разными искушениями. По своей хитрости, начиная с легчайших, он сперва наводил на подвижника разные «страхования». Так, по сказанию одного почтенного летами иеромонаха Саровской пустыни, однажды во время молитвы он услышал вдруг за стенами келии вой зверя; потом, точно скопище народа, начали ломать дверь келии, выбили у двери косяки и бросили к ногам молящегося старца претолстый кряж (отрубок) дерева, который восемью человеками с трудом был вынесен из келии. В другие разы и днём, особенно же ночью, во время стояния на молитве, ему видимо вдруг представлялось, что келия его разваливается на четыре стороны и что к нему со всех сторон рвутся страшные звери с диким и яростным рёвом и криком. Иногда вдруг являлся пред ним открытый гроб, из которого вставал мертвец.
Так как старец не поддавался страхованиям, диавол воздвигал на него жесточайшие нападения. Так, он, по Божию попущению, поднимал тело его на воздух и оттуда с такою силою ударял об пол, что, если бы не Ангел-Хранитель, самые кости от таких ударов могли бы сокрушиться. Но и этим не одолел старца. Вероятно, при искушениях, он духовным оком своим, проникавшим в горний мир, видел самих злых духов. Может быть, духи злобы и сами видимо в телесных образах являлись ему, как и другим подвижникам.
Духовное начальство знало о. Серафима и понимало, как полезно было бы для многих сделать такого старца аввою, настоятелем где-нибудь в обители. Открылось место архимандрита в городе Алатыре. О. Серафима предназначили было туда настоятелем монастыря с возведением в сан архимандрита. В прошлом и в текущем столетиях Саровская пустынь не раз давала из своей братии хороших настоятелей в другие обители. Но старец Серафим убедительнейше просил тогдашнего Саровского настоятеля Исаию отклонить от него это назначение. Строителю Исаии и братии Саровской жаль было отпустить от себя старца Серафима, усердного молитвенника и мудрого наставника. Желания обеих сторон сошлись вместе: все стали просить другого иеромонаха из Сарова же, старца Авраамия, принять на себя звание архимандрита в Алатырский монастырь, и брат, единственно из повиновения, принял на себя это звание.