Ко всему прочему, старику показалось, что сын кичится перед ним своей деловитостью и умственным превосходством, и вместо признательности за поправку дел он затаил на него злобу. Нашлось немало приближенных к хозяину людей, которым хотелось бы вернуться к прежней безалаберной жизни. Они разжигали страсти, наушничая и раздувая недоброжелательство отца к сыну. Очень скоро от критики Николая Афанасьевича перешли к игнорированию его распоряжений. Какое-то время сын еще пытался удержать отца от бесхозяйственности и расточительства, но на открытый скандал не шел, преклоняясь перед волей и властью Афанасия Николаевича. До нас дошло письмо сына к отцу, написанное уже после того, как в 1815 году Афанасий Николаевич полностью отстранил Николая Афанасьевича от дел. Отец, видимо, почувствовал некоторое угрызение совести и послал сыну в подарок дорогой перстень. Вот ответ сына:
«Милостивый Государь Батюшка Афанасий Николаевич, приношу вам мою благодарность за присланный мне через Наталью Ивановну перстень с портретом прадедушки Афанасия Абрамовича. Я принял его с должной признательностью. Чувствуя по недостоинству моему, что не заслуживаю я от вас такого внимания и памяти вашей обо мне, позвольте мне подарить его Митиньке, который, надеюсь, с возрастом своим будет достойнее иметь такой памятник и лучше меня заслужит звание достойного потомка фамилии Гончаровых. Ожидая вашего на то позволения или позволения отдать его под сохранение Наталье Ивановне, пребыть честь имею
Покорный ваш сын, Уничтоженная тварь
Николай Г…ров».
Можно представить, каковы были душевные терзания Николая Афанасьевича, видевшего, что труды его по восстановлению хозяйства разбиваются в пух и прах в угоду мимолетному капризу отца, но ничего нельзя было изменить. Огромная ответственность лежала на нем за судьбу своих собственных детей, которых к тому времени было уже шестеро: первенец и наследник майората Дмитрий, Екатерина, Иван, Александра, Наталья и новорожденный Сергей. Несмотря на то, что первые годы после отстранения сына от дел Афанасий Николаевич выдавал его семье достаточное содержание — 40 тысяч рублей ежегодно, Николай Афанасьевич теперь не мог обмануться, предчувствуя угрозу полного разорения. И его предчувствия оправдались. После скоропостижной смерти Афанасия Николаевича в 1832 году оказалось, что он оставил в «наследство» своим потомкам полтора миллиона долга!
Обстоятельства жизни Николая Афанасьевича складывались так, что, беспощадно терзая напряженный ум и наболевшую душу, подготавливали взрыв рокового неизлечимого недуга, который, в свою очередь, не мог не отразиться на самочувствии всех членов его собственной семьи. Начало болезни Николая Афанасьевича относят к концу 1814 года. Сведения о недуге весьма противоречивы. Гончарова считали «повредившимся в уме» — то ли из-за падения с лошади, то ли из-за дурной наследственности со стороны матери. Но слишком много испытаний выпало на его долю. В юности мать не дала ему сделать военной карьеры, о которой он грезил, теперь, в его зрелые годы, по воле отца оборвалась так прекрасно начавшаяся карьера преуспевающего промышленника. Надо полагать, что Николай Афанасьевич мог бы достичь больших успехов на любом поприще, но разрыв с отцом послужил причиной к тому, что он запил. Жизнь надломилась.
Детство Наташи
Наталья Николаевна Гончарова родилась 27 августа 1812 года — на следующий день после Бородинского сражения. Семейство ее, спасаясь от французов, уже оставило Полотняный Завод и переселилось к близким родственникам Натальи Ивановны в богатое родовое поместье Загряжских Карианы, в «одно из лучших дворянских гнезд на Тамбовщине». Здесь и родился «младенец женского пола», окрещенный в местной Знаменской церкви с именем Наталья.
После победоносного окончания Отечественной войны семья вернулась в Полотняный Завод. Однако болезнь Николая Афанасьевича вынудила семейство переехать в Москву, в собственный дом на Никитской. Родители не взяли с собой маленькую Наташу, потому что старик Гончаров сильно привязался к внучке и настоятельно требовал оставить девочку на его попечение. Наталья Ивановна скрепя сердце согласилась на это, чтобы хоть как-то приспособиться к создавшейся ситуации. Молодая тридцатилетняя женщина вынуждена была принять на себя заботы о больном муже и малолетних детях.