Ярополец впервые упоминается в 1136 году как укрепленный пункт князя Ярополка Владимировича, сына Владимира Мономаха. Владея в ту пору Ростовом и Суздалем, Яро-полк использовал Волок Ламский в борьбе с Новгородом. От его имени и произошло название Яропольца. Долгое время село принадлежало Иосифо-Волоколамскому монастырю, пока его не выкупил Иван Грозный и Ярополец не стал на время государевым селом, местом царской охоты. В 1684 году Ярополец с ближайшими деревнями с тысячей дворов и землями, к ним приписанными, был пожалован царевной Софьей, правительницей при малолетних царях Иване и Петре, украинскому гетману Петру Дорофеевичу Дорошенко после того, как он отрекся от гетманства и принял сторону Москвы. Здесь бывший гетман прожил последние 14 лет своей жизни, здесь умер и был похоронен.
Двадцать четвертого августа 1833 года Пушкин, заехав в Ярополец, посетил могилу П. Д. Дорошенко и на другой день написал из Москвы Наталье Николаевне о теще: «Она живет очень уединенно и тихо в своем разоренном дворце и разводит огороды над прахом твоего прадедушки Дорошенки, к которому я ходил на поклонение».
Дорошенко был женат на Агафье Борисовне Еропкиной, которая родила ему троих сыновей. После его смерти село было поделено между двумя наследниками — старшим Александром и младшим Петром. Средний сын Алексей, учившийся в то время за границей, участия в разделе не принял. Александру досталась юго-западная часть вотчины, отошедшая впоследствии Загряжским, а от них Гончаровым. Петр же получил северо-восточную часть отцовских владений, которую он продал в 1717 году графу Григорию Петровичу Чернышеву. Так сложилось существующее и поныне разделение Яропольца на две части — гончаровскую и Чернышевскую.
Бывший в молодости денщиком Петра Великого, Григорий Чернышев всей своей жизнью и карьерой служил наглядной иллюстрацией принципов, провозглашенных царем-преобразователем, среди которых — продвижение по службе людей не по знатности рода, а в соответствии с личными заслугами. Настоящая фамилия Чернышева — Чернецкий, и был он из мелкой шляхты, родом с Украины. Его сын Захар Григорьевич приумножил славу отца, отличившись в царствование императрицы Елизаветы Петровны взятием Берлина в 1760 году во время Семилетней войны (1756–1763) и дослужившись до генерал-фельдмаршала. Назначенный вскоре генерал-губернатором Москвы, он привлек к строительству своего имения замечательного зодчего М. Ф. Казакова, бывшего тогда главным архитектором Москвы, возглавлявшим комиссию по ее застройке. В создании архитектурного комплекса ярополецкой усадьбы участвовал и архитектор В. И. Баженов с учениками.
При Пушкине этой частью Яропольца владел внук фельдмаршала Григорий Иванович. С родственниками и соседями Гончаровых по Яропольцу Пушкины также состояли в родстве. Григорий Иванович Чернышев доводился троюродным братом матери Пушкина Надежде Осиповне.
По семейным преданиям, для проектирования господского дома Александра Петровича Дорошенко якобы был приглашен Карло Бартоломео Растрелли, строивший тогда придел в соборе расположенного поблизости Новоиерусалимского монастыря, а тот прислал для осмотра местности своего сына, будто бы снявшего план и отвезшего его отцу. Однако это, скорее всего, одна из легенд, рождавшихся тогда, когда имя действительного архитектора оставалось неизвестным. Стиль постройки в Яропольце далек от тех барочных сооружений, которые связываются с именем строителя Воскресенского Смольного монастыря и Зимнего дворца в Петербурге. Скорее, по всем внешним признакам, его проектировал кто-то из зодчих школы Баженова и Казакова, строивших и Чернышевскую усадьбу.
Старший сын гетмана Александр Петрович Дорошенко женился на Прасковье Федоровне Пушкиной, дочери Федора Матвеевича Пушкина, а их дочь Екатерина вышла за Александра Артемьевича Загряжского, деда Натальи Ивановны Гончаровой. Именно по этой длинной цепочке Ярополец, пожалованный некогда гетману Дорошенко, достался в конце концов Наталье Ивановне, а после ее смерти перешел в род Гончаровых. Вследствие брака между А. П. Дорошенко и П. Ф. Пушкиной в жилах Натальи Николаевны текла и кровь Пушкиных, а значит, она состояла в родстве с Александром Сергеевичем не только по линии Гончаровых, но и по линии Загряжских. Насколько оно было далеким?