Ко всему прочему, старику показалось, что сын кичится перед ним своей деловитостью и умственным превосходством, и вместо признательности за поправку дел затаил к нему злобу. Нашлось немало приближенных к хозяину людей, которым хотелось бы вернуться к прежней безалаберной жизни. Они разжигали страсти, наушничая и раздувая недоброжелательство отца к сыну. Очень скоро от критики поведения Николая Афанасьевича перешли и к отмене его распоряжений. Какое-то время сын еще пытался удержать отца от бесхозяйственности и расточительства, но на открытый скандал не шел, однако в 1815 году Афанасий Николаевич полностью отстранил Николая Афанасьевича от дел.
Добрая душа Николая Афанасьевича доходила до отчаяния: он увидел, что его труды по восстановлению хозяйства разбиваются в прах в угоду мимолетному капризу отца (в одном из писем к нему он назвал себя «уничтоженной тварью»), но ничего нельзя было изменить. Огромная ответственность лежала на нем за судьбу уже собственных детей, которых к тому времени было шестеро: первенец и наследник майората Дмитрий, Екатерина, Иван, Александра, Наталья и новорожденный Сергей. Несмотря на то что первые годы после отстранения сына от дел Афанасий Николаевич выдавал его семье достаточное содержание — 40 тысяч рублей ежегодно, но Николай Афанасьевич теперь не мог обмануться, предчувствуя угрозу полного разорения. И его предчувствия, к сожалению, оправдались. После скоропостижной смерти Афанасия Николаевича в 1832 году оказалось, что он оставил в «наследство» своим потомкам полтора миллиона долга!
Обстоятельства жизни Николая Афанасьевича складывались так, чтобы беспощадно терзать напряженный ум и наболевшую душу, подготавливая взрыв рокового неизлечимого недуга, который, в свою очередь, не мог не отразиться на самочувствии всех членов его собственной семьи. Начало болезни Николая Афанасьевича относят к концу 1814 года. Сведения о недуге весьма противоречивы. Его считали «повредившимся в уме» — то ли вследствие падения с лошади, то ли благодаря наследственности со стороны матери. Скорее всего, он не был психически ненормальным. В юности мать не дала ему сделать военной карьеры, теперь, в его зрелые года, по воле отца оборвалась так прекрасно начавшаяся карьера преуспевающего промышленника. Надо полагать, что Николай Афанасьевич мог бы достичь высоких степеней на любом поприще, но разрыв с отцом послужил причиной к тому, что он запил. Жизнь надломилась.
Детство Наташи
Наталья Николаевна Гончарова родилась 27 августа 1812 года — на следующий день после Бородинского сражения. Ее семейство, спасаясь от французов, уже оставило Полотняный Завод и переселилось к близким родственникам Натальи Ивановны в богатое родовое поместье Загряжских Кариан, «в одно из лучших дворянских гнезд на Тамбовщине». Здесь и родился младенец женского пола и крещен в местной Знаменской церкви с именем Наталья.
После победоносного окончания Отечественной войны семья вернулась в Полотняный Завод. Однако болезнь Николая Афанасьевича вынудила семейство переехать в Москву, в собственный дом на Никитской. Родители не взяли с собой маленькую Наташу, потому что старик Гончаров сильно привязался к внучке и настоятельно требовал отдать девочку на его попечение. Наталья Ивановна скрепя сердце согласилась на это, чтобы хоть как-то приспособиться к новым обстоятельствам жизни. Молодая тридцатилетняя женщина вынуждена была взять на себя заботы о больном муже и малолетних детях.
Дед души не чаял в маленькой внучке. Наташа росла подобно сказочной принцессе в волшебном царстве. Зная отношение деда к ребенку, все прихлебатели и приживальщики Полотняного Завода старались угадать ее наималейшее желание. Самые дорогие и затейливые игрушки выписывались на смену тех, что не успели еще надоесть, от нарядов ломились сундуки, на каждом шагу предлагались разнообразные и изысканные лакомства, так что от них совершенно пропадал аппетит. Любимым развлечением в имении стало придумывать новые забавы для общей любимицы.