До какой степени доходила нужда и что переживали Мантуровы, неся крест добровольной нищеты, можно судить по записанному рассказу самой Анны Михайловны, когда она жила в Дивееве вдовою и тайною монахиней. «Часто и почти непрестанно, — говорила Анна Михайловна, — я роптала и негодовала на покойного мужа за произвольную нищету его. Говорю я, бывало: ну, можно почитать старца, можно любить его и верить ему, да уже не до такой степени... Михаил Васильевич все, бывало, слушает, вздыхает и молчит. Меня это еще более раздражало. Так вот раз, когда мы до того уже дошли зимою, что не было чем осветить комнату, а вечера длинные, тоскливые, темные, я раздосадовалась, разворчалась, расплакалась без удержу, сперва вознегодовала на Михаила Васильевича, потом на самого батюшку о. Серафима, начала роптать и жаловаться на горькую судьбу мою. А Михаил Васильевич все молчит да вздыхает... Вдруг слышу какой-то треск... Смотрю, Господи, страх и ужас напал на меня. Боюсь смотреть и глазам своим не верю... Пустая, без масла лампада у образов вдруг осветилась белым огоньком и оказалась полною елея. Тогда я залилась слезами, рыдая и все повторяя: батюшка Серафим, угодник Божий, прости меня, Христа ради, окаянную, роптунью, недостойную, никогда более не буду! И теперь без страха не могу вспомнить этого. С тех пор я никогда не позволяла себе роптать, и как ни трудно бывало, а все терпела». (Записки Н. А. Мотовилова и тетрадь № 1 рассказов, записанных за монахинями.)
Отец Серафим после исцеления М. В. Мантурова начал принимать других посетителей и, верный обещанию, данному о. Пахомию, не забывал Дивеевской общины. Он посылал некоторых послушников к начальнице Ксении Михайловне и, ежедневно молясь о них, получал откровения о будущем этой общины, что видно из поручений, даваемых им Михаилу Васильевичу Мантурову. Последний довольно часто уже ездил в Дивеево. Вскоре произошел весьма неприятный эпизод из-за наговоров управляющего местного помещика, знаменитого генерал-губернатора г. Москвы, графа Закревского. По приезде последнего в свои имения почему-то управляющему его потребовалось доложить, что Дивеевская общинка есть не что иное, как скопище развратных беглых девок. Граф Закревский потребовал к себе в контору почтенную старицу Ксению Михайловну и, не разобрав ничего, при всех неслыханно грубо оскорбил ее. Михаил Васильевич в негодовании поспешил рассказать все произошедшее батюшке о. Серафиму. Старец же поручил Михаилу Васильевичу, не горячась и не оскорбляя, кротко объяснить всесильному графу его ошибку, заключающуюся в превратном понимании новоустрояющейся во славу Божию общины, и выразить ему, что он совершенно напрасно оскорбил ничем неповинную Божию старицу; затем, низко кланяясь графу, смиреннейше благодарить его за им соделываемое благодеяние этой же общинке. Всегда буквально и беспрекословно послушный Михаил Васильевич дождался приезда вельможи в Саров и, по выходе его из храма, громко при всех, не боясь силы и славы графа Закревского, выразил ему все, что приказал старец, и на непозволительно грубые за то ругательства и угрозы рассерженного всесильного генерал-губернатора смирил себя, подавил свое негодование, перенес молча оскорбления своего достоинства и, всеусерднейше кланяясь, благодарил его за соделываемое им благодеяние этой же общинке. Впоследствии подтвердилось и объяснилось предсказание о. Серафима. Приехав в Москву, граф Закревский поднял большой шум, выразил свое негодование, по которому было немедленно наряжено два следствия об общинке: светское и духовное, которые окончились полным оправданием ее и официальным признанием ее общинкой при Казанской церкви. Хотя она и не получила вполне документальное утверждение от епархии, тем не менее как бы приобрела чрез это законное дозволение на свое существование.
Протоиерей о. Василий Садовский пишет в своих записках по этому поводу следующее: «Матушка Ксения Михайловна правила 60 сестрами целых 43 года. Когда графиня Толстая, проездом в свои имения, посетила общинку и убедилась в богоугодном житии сестер, то, соболезнуя убогому их положению, подарила им небольшую полосу своей земли, прилегающую к земле общинки. За это враг, не терпящий богоугодного жития сестер и водворения здесь обители, воздвигнул, по попущению Божиему, великую на них скорбь и смуту. Ксении Михайловне даровано было претерпеть и понести унижение, клевету ради общинки. Вот как это было: узнав о подаренной графиней полосе земли, недовольный за то управляющий зятя ее, тогда Московского генерал-губернатора графа Закревского, немедля донес о том своему господину, елико возможно грязно и черно оклеветав собрание сестер в с. Дивееве, и все выставил в совершенно превратном виде. Почему верующий правдивости его слов граф, проездом в свои имения, при виде ничего не значащей и подошедшей к нему с просьбой старицы Ксении Михайловны, вскипел негодованием до самозабвения и грозно закричал: "Ах ты, старая развратница!" Осыпав ее потоком ругательных слов, граф велел вытолкать старицу вон, но она, не будучи в состоянии даже что-либо вымолвить, зашаталась и тут же упала замертво, так что долго не могли ее привести в сознание...