В конце концов первый стрелецкий бунт был подавлен. На престол посадили сразу двух царей — Иоанна и Петра (случай даже для России невиданный). Грибоедову земли вернули, но прежнего значения он не достиг и только под конец жизни, в 1719 году, занял маловажное положение воеводы в Костроме. Наказание кнутом его не образумило — своею резиденцией он, по примеру прежнего костромского воеводы Стрешнева, сделал ратушу, чем вызвал гнев построивших ее купцов. Но при императоре Петре их жалобы остались без рассмотрения.
Семен Федорович жил в своей деревне Хмелитах в Вяземском уезде, в ста пятидесяти верстах к востоку от Смоленска. В 1683 году он выстроил там деревянную церковь. Дом же был самым простым, как бы состоящим из трех изб, соединенных сенями. У полковника не было детей, и в 1706 году, еще при жизни, он передал свои владения племяннику Герасиму, сыну его брата Григория. Эта передача глубоко оскорбила его двоюродных братьев Ивана и Алексея, сыновей Андрея Михайловича. Они очень рассчитывали на наследство дьяка Федора, тем более что имели множество детей, а Герасим был холост. Иван Андреевич начал тяжбу из-за земель, и она тянулась без перерыва более века, пока не сошла на нет за смертью всех потомков. Однако из-за нее Герасим не решался всерьез обосноваться в Хмелитах, а занимался хозяйством у себя в имениях и приумножил наследство.
Он побоялся перестраивать усадебный дом, но украсил изнутри по новому вкусу. Все парадные комнаты были обшиты деревянными панелями и затянуты расписным холстом (и потолки тоже). Росписи изображали сцены охоты, ландшафты или ниспадающие занавеси. Все писалось своими же людьми, но по тогдашним понятиям о живописи считалось недурным. Ведь важнее всего было в то время похвалиться: «Оно, правда, не очень хорошо, да писали свои крепостные мастера».
Герасим умер в 1751 году, почти одновременно со своими кузенами Тимофеем, Михаилом и Иваном, сыновьями Ивана Андреевича, и с племянником Алексеем, сыном Тимофея. Сыновья Алексея Андреевича умерли еще раньше, не оставив потомства. Семейное состояние перешло к старшему в роде — Федору, сыну Алексея Тимофеевича. Его дядья — Иван Михайлович и Михаил Иванович — начали новую тяжбу за наследство, продолжая в то же время старую.
Пока одна ветвь Грибоедовых испытывала взлеты и падения, другая прозябала во Владимирской земле. Лукьян Грибоедов, основатель этого рода, владел небольшой деревней, жил неприметно и остался в памяти только своего семейства. Он имел двух сыновей — Семена и Михаила, в пользу которых приобрел в 1647 году половину деревни Назарово с шестьюдесятью четвертями земли. Там они и провели долгие годы, Семен женился на небогатой соседке Аграфене Мякишевой, родил трех сыновей — Никифора, Леонтия и Михаила — и в 1677 году выкупил другую половину Назарова у соседа Александра Коробова. Леонтий Семенович (мы упоминаем только непосредственных предков нашего героя, чтобы не углубляться в гущу ветвей родословного древа) в 1683 году женился на соседке Антониде Михайловне Бокиной, за которой получил сельцо Горки в шестьдесят пять четвертей. В 1707 году, по смерти Семена Лукьяновича, братья разделили свое Назарово, и Леонтию досталось двадцать четвертей.
У Леонтия Семеновича было три сына — Алексей, Владимир и Никифор. Более всех преуспел Владимир Леонтьевич, занявший в конце Северной войны высокий и выгодный пост комиссара во Владимире. Комиссары в то время ведали всей подготовкой к войне: рекрутами, продовольствием, средствами уезда, и в таком богатом городе, как Владимир, должность приносила немалую прибыль. Правда, была опасность пострадать от гнева Петра I за крупные злоупотребления, но Владимир Леонтьевич в них не был замечен. Напротив, Никифор Леонтьевич служил плохо и был отставлен капралом — чин для дворянина просто неприличный. В 1713 году он женился на дочери соседа Козьмы Ивановича Внукова, погибшего в 1701 году в битве при Нарве. В приданое он получил село Федорково, но с условием содержать у себя тещу и двух незамужних сестер жены, а при замужестве выделить им по пятьдесят рублей деньгами.
Не в пример своему сверстнику Герасиму, Никифор Леонтьевич не отличался и хозяйственностью, имение его не процветало. Но не будем строго судить неудачников. Они принадлежали к несчастному поколению, родившемуся около 1685 года, воспитанному по старинке, а вынужденному жить и служить в России, преобразуемой Петром I. Устаревшие привычки и взгляды, незнание языков и новых понятий препятствовали их продвижению. Потому так охотно они выходили в отставку и уезжали в деревню.