16 декабря 1775 г. Полотняный завод посетила Екатерина II; доселе еще хранится стул, крытый алым бархатом с серебряным позументом, на котором сидела императрица. В воспоминании о своем пребывании Екатерина разрешила Гончарову поставить в селе ее статую, которая была отлита из бронзы в Берлине. Однако памятник по каким‑то обстоятельствам поставлен не был и пролежал до конца 40-х гг. XIX в. в кладовых фабрики, когда он был куплен в Екатеринослав, где и ныне находится в сквере на Соборной площади.
А. А. Гончаров умер в 1788 г.; состояние его оценивалось в 6 млн. руб. серебром.
В 1812 г. на Полотняном после Малоярославецкого сражения была главная квартира Кутузова. «Утром (15 октября — вторник) вся дворня и фабричные», читаем в дневнике А. Н. Гончарова, «разбежались с заводу в разные места, а к вечеру главная, наша армия пришла ко мне на завод, где учреждена Гаупт квартира. Я же, отдав весь свой дом под оную, сам выехал ночевать в Товарково (8 в. от завода). 16-го по утру рано ездил на завод в главную квартиру, был у Светлейшего, коим весьма хорошо был принят; благодарен за порядок, нашедший у меня на заводе, и им даны мне караулы разставить при всех магазейнах и фабриках, также и по садам для сбережения всего имущества… 17-го. После обеда вышла армия и главная квартира в с. Адамовское (в 12 в. от Медыни). Провожал светлейшего, который для моего сбережения оставил мне эскадрон кирасиров на мое содержание и 4-х пленных… гр. Morset, st. Haivи двух женщин». 18 и 19-го октября чрез Полотняный шли непрерывно наши отряды, которые принимал и отправлял сам Гончаров.
В 30-х годах XIX в. на Полотняном заводе пребывал А. С. Пушкин, женившийся на Н. Н. Гончаровой. Впервые поэт посетил завод в конце мая 1830 г. Он останавливался в Красном доме, от которого уцелела только небольшая часть — теперь театр. К этому времени относятся стихи поэта:
Вторично Пушкин был в Полотняном в 1834 г. В его дневнике под 28 ноября читаем: «в заводах я прожил две недели, потом привез Нат. Ник. в Москву». На этот раз поэт останавливался, по-видимому, в большом доме. Рассказывают, что в беседке, ныне исчезнувшей, на стенах были стихи, писанные Пушкиным.