Но случалось, в доме разыгрывались дикие сцены, подобные той, которую Наташа Гончарова запомнила на всю жизнь. Дело было так. Николай Афанасьевич временами выходил из своего флигеля к назначенному часу и обедал за столом вместе с семьей и домочадцами. Поспешно убирались водка и вино, потому что капли алкоголя было достаточно, чтобы вызвать возбуждение. Если же отцу семейства удавалось перехватить рюмку, то трапеза неминуемо заканчивалась бурным инцидентом. По заведенному порядку никто не смел выйти из-за стола, пока их мать не делала условного знака своей салфеткой. Однажды случилось так, что близорукая Наташа не заметила признаков приближающейся бури. Мать уже сделала знак, и все покинули стол, устремившись наверх, в мезонин, за тяжелые железные двери, открыть которые было нелегко. Наташа не успела выйти из столовой. Разъяренный отец вдруг схватил со стола нож и бросился вслед за девочкой… Лестница, ведущая наверх, в мезонин, казалась бесконечной, отец с ножом в руке почти настигал беглянку: достаточно одного неверного шага, и… трудно предположить, чем могло окончиться это происшествие. Сверху из-за чуть приоткрытой железной двери за дикой сценой с ужасом в глазах следили домочадцы, не в состоянии что-либо предпринять. Еще одно усилие — и Наташа оказалась в безопасности; но каково было ребенку видеть отца в припадке безумия и спасаться от того, кого она не могла не любить.
После подобных то и дело повторяющихся сцен Наталья Ивановна решалась на крайние меры. Для того чтобы оградить детей от опасности, она пыталась добиться признания мужа сумасшедшим, чтобы поместить его в лечебницу. Но каждый раз при появлении комиссии врачей он, на удивление всех домашних, проявлял такое самообладание, что в течение нескольких часов с его уст не слетало ни единого неразумного слова. Николай Афанасьевич толково отвечал на самые замысловатые вопросы медиков и в конце беседы с тонко разыгранной грустью в голосе намекал на затаенную вражду жены, которая исключительно ради корысти преследовала его. Его поведение вызывало сострадание, а Наталье Ивановне решительно отказывали в ее ходатайстве. Так постепенно стало складываться предубежденное мнение о ней современников: «суровая и властная, неуравновешенная и несдержанная», говорили о ней. А в сущности, это была глубоко страдающая душа. Выйдя замуж по любви, Наталья Ивановна надеялась, что всю жизнь будет счастлива со своим избранником. Но уже к тридцати годам эти надежды рухнули. Дом постепенно разорялся, сводные сестры Натальи Ивановны София и Екатерина не только не сочувствовали ее несчастью, но делали попытки лишить ее, как незаконную дочь Загряжского, доли наследства после смерти брата и дяди.
«Поистине тяжело и горько быть несправедливо осужденной своими самыми близкими людьми, особенно теми, с кем прошло детство и юность, казалось бы, эти первые узы дружбы сестер должны остаться неразрывными, так как были завязаны в лета, когда всякое притворство исключается, когда сердца и нравы искренни и правдивы, и, однако, корыстные расчеты меняют все — печальная действительность, вот что мне остается. Единственное удовлетворение, которое я могу противопоставить недоброжелательству, ничем не вызванному с моей стороны, это полное спокойствие моей совести, да будет Бог тому судья», — писала Наталья Ивановна своему сыну Дмитрию.
Смиренная душа Натальи Ивановны, не находя поддержки у людей, со всем пылом обратилась к Богу. Долгие часы проводила она в своей домашней молельне. В ее доме постоянно находили приют монахини и странницы, покровительство которым всегда считалось на Руси признаком благочестивой жизни. Богомольцы и скитальцы хранили в своей памяти множество повестей о житиях святых, о святых местах, о чудесах и необычайных приключениях во время своих скитаний. Подобные рассказы с детства слышали дети Гончаровых. Впоследствии Пушкин не мог не оценить искреннюю религиозность своей «женки», написав в одном из писем: «…благодарю тебя за то, что ты Богу молишься на коленях среди комнаты. Я мало Богу молюсь и надеюсь, что твоя чистая молитва лучше моих, как для меня, так и для тебя» (3 августа 1834 г.).
Наталья Ивановна ежегодно ходила пешком на богомолье в Иосифо-Волоколамский монастырь, где проводила до двух недель. В этот монастырь она делала богатые вклады, в нем же и умерла во время последнего своего паломничества, там и похоронена.
Принципы воспитания детей Натальи Ивановны выражены в «Правилах жизни», которые были найдены в записной книжке молодых девиц Гончаровых: