Неотъемлемой частью имения являлись собственно заводы, давшие ему основание. История самого рода Гончаровых не просто связана с Полотняным Заводом, но всем обязана ему, начиная со своего зарождения. Когда речь идет о старых русских фамилиях, таких как Пушкины, то история родового поместья следует за историей тех заслуг перед отечеством, которые были вознаграждены их пожалованием. Другое дело, когда речь идет о новом, выслужном дворянстве, а тем более поднявшемся из купеческого сословия, как это и было в случае с Гончаровыми. Заводы дали им состояние, а со временем и права на дворянство, и только после этого могла создаваться собственно дворянская усадьба. Подобное могло произойти лишь в результате Петровских реформ, когда в гору пошли и соединились с «гордым русским дворянством» такие фамилии, как Строгановы, Демидовы и другие, не столь известные и громкие. К ним относились и Гончаровы. Так что по своему рождению Наталья Николаевна принадлежала к так называемому новому дворянству.
Ей едва исполнился месяц, когда тогдашний владелец Полотняного Завода, дедушка Афанасий Николаевич, в сентябре 1812 года неожиданно вернулся из-за границы. В его дневнике читаем запись: «Приехал на Завод в 4-м часу пополудни. Не нашел ни хозяев, ни приказчиков и дом совершенно пустым».
Когда Москва была оставлена французами, Полотняный Завод снова оказался в зоне военных действий. Кутузов повел русскую армию по старой Калужской дороге в убеждении, что Наполеон в надежде на запасы пойдет на Калугу, как и произошло. Сражением под Малоярославцем русские войска сумели оттеснить французскую армию на старую Смоленскую дорогу. Афанасий Николаевич становится свидетелем происходящих событий, что отражается в дневнике, который он неизменно ведет.
«12/24 октября. Суббота. Сей день большое сражение в Малом Ярославце. Город начал гореть, и с сей ночи французская армия начала ретироваться.
13/25 октября. Воскресенье. На Заводе. Сей день сражение в Медыни, где наши три казачьи полка разбили неприятельской корпус, состоящий из 5000 человек, взяли 5 пушек и двух генералов».
Еще через день, во вторник 15 октября, со стороны сражения от села Детчина в Полотняный Завод въехал штаб главнокомандующего фельдмаршала М. И. Голенищева-Кутузова. В те дни А. Н. Гончаров записал в дневнике:
«15/27 окт., вторник. На Заводе. Утром вся дворня и фабричные разбежались с Заводу в разные места. А к вечеру Главная наша армия пришла ко мне на Завод, где учреждена Главная квартира. Я ж, отдав весь свой дом под оную, сам выехал ночевать в Товарково к Петру Антипову.
16/28 окт., середа — в Товарково. По утру рано ездил на Завод в Главную квартиру, был у Светлейшего, коим весьма хорошо был принят, благодарен за порядок нашедшей у меня на Заводе и им даны мне караулы расставить при всех магазеинах и фабриках, также и по садам для сбережения всего имущества. Пробыл я на Заводе до вечера, откуда на ночь опять уехал в Товарково.
17/29 окт., четверг — в Товаркове же. Рано по утру отправился опять на Завод. После обеда вышла армия и Главная квартира в село Адамовское. Провожал Светлейшего, которой для моего збережения оставил мне эскадрон кирасиров на мое содержание и 4 пленных мне отдали с рук на руки. Графа Moroet, St. Air и двух женщин. Был до самого вечера на Заводе, а ночевал опять в Товарково».
Для Полотняного Завода война была окончена. Теперь дневниковые записи А. Н. Гончарова посвящены сражениям в ближайших местах.
Л. Н. Толстой в «Войне и мире» упоминает, как в столичных кругах «обвиняли Кутузова и говорили, что он с самого начала кампании мешал им победить Наполеона, что он думает только об удовлетворении своих страстей и не хотел выходить из Полотняных Заводов, потому что ему там было покойно…». Александр I, вовсе не понимая намерений полководца, но прислушиваясь к подобным суждениям, писал Кутузову: «…ненужное и пагубное отступление Ваше после сражения под Малым Ярославцем до Гончарова уничтожили все преимущества положения Вашего…»
Жители Калуги и ее окрестностей заволновались было из-за приближения неприятеля, так что Кутузов вынужден был отправить из Полотняного Завода послание городскому голове Калуги: