В начале Семилетней войны Иван Никифорович попытался снова отличиться, но военная карьера его явно не сложилась, и в 1757 году он вышел в статскую службу, женился и возвратился во Владимир, где переходил от должности к должности, был воеводским товарищем и вдруг возвысился, став в 1779 году председателем губернского магистрата — главой всей судебной системы в губернии. В 1781 году, при выходе в отставку, он был награжден чином надворного советника, вполне приличным для мелкопоместного дворянина.
Грибоедов, хотя и занимал несколько лет высокий административный пост, богатства не нажил. Екатерина II жестко боролась со злоупотреблениями среднего чиновничества, предоставляя безграничные возможности для казнокрадства только высшим сановникам. Иван Никифорович был, однако, честен и сам по себе и, вероятно, не стал бы воровать и без правительственных указов. Состояние он имел круглым счетом в девяносто душ в сельце Федоркове и деревне Назарове (но все пополам с родней), да за женой, дочерью соседа капитана Кочугова, взял сельцо Сущево в двадцать душ, оцениваемое со всеми угодьями всего в тысячу рублей. Прасковья Васильевна была женщиной простой и бережливой, поэтому достатка хватало и на себя, и на содержание мотоватых сыновей Никифора и Сергея, а также дочери Катерины, вышедшей впоследствии за соседа, такого же бедного помещика, капитана Ефима Ивановича Палицына. В губернии Грибоедовы пользовались всеобщим уважением и за свои достоинства, и как старожилы Владимирской земли. В 1792 году род Грибоедовых внесли в «Алфавитный список дворянских родов Владимирской губернии», в VI часть, куда записывались только древние, благородные семейства. Сделано это было из чистой любезности к Ивану Никифоровичу, поскольку документально подтвердить свою родовитость он не смог. Департамент Герольдии при Сенате не признал древность его рода (и несправедливо: потом нашлись доказательства правоты притязаний Ивана Никифоровича), но, собственно говоря, в Российской империи происхождение не имело значения.
Дед нашего героя по матери, Федор Алексеевич Грибоедов, прожил жизнь богато и счастливо. Он родился в обширном, хотя старомодном поместье своего двоюродного деда Герасима, и здесь же получил начатки знаний под руководством провинциальных учителей. Пятнадцати лет он вступил, по примеру отца, в лейб-гвардии Преображенский полк (как и его сверстник Иван Никифорович, но знакомы они почти не были). Дворяне той поры еще не научились обходить указ об обязательном вступлении в службу рядовыми и не записывали детей в полки с малолетства (а то и до рождения), желая доставить им офицерское звание к началу действительной службы. Несмотря на это, Федор Алексеевич в казарме почти не жил, а был отпущен домой для совершенствования в языках и науках. Отец не позволил ему лениться и проводить все дни в безделье или на охоте. Юноша выучил французский и немецкий языки, полюбил чтение, живопись и музыку. Федор Алексеевич был по натуре человек веселый и общительный, но в нем рано проявилось какое-то врожденное достоинство, основанное на просвещенности и уверенности в себе. В шестнадцать лет он стал владельцем двух тысяч душ крепостных, пяти тысяч десятин полей и лесов, озер и рек (братьев у него не было, только сестра Анна, замужем за коллежским прокурором Волынским), и, несмотря на происки дядьев, твердо расположился в Хмелитах, будучи уверен в незыблемости своих прав и внушая ту же уверенность губернскому и столичному судейству. Он занялся переустройством вотчины на новый лад и проявил редкие по тем временам хозяйственные способности.
Дом в Хмелитах, подновленный изнутри Герасимом Григорьевичем и еще крепкий, Федору казался нелепым и неудобным. Поставлен он был в очень неудачном месте усадьбы, с видом на огород и скотный двор. В конце семнадцатого века такое местоположение считалось разумным — службы требовали хозяйского пригляда. Но в восемнадцатом веке домовитость ценилась ниже изящности. Федор Алексеевич велел снести дом, а заодно и старую церковь полковника Семена Грибоедова. Огороды и хлева убрали с глаз, и десять лет крепостные мастера вели строительство новой усадьбы. Во время работ хозяин бывал в Хмелитах наездами летом, поскольку должность требовала его присутствия в городе. В те времена в поместьях жили одни старики да порой жены с малолетними детьми. Федор Алексеевич женился на дочери богатого соседа Ивана Игнатьевича Аргамакова, старого друга отца, и его жена с сыном и четырьмя дочерьми в летние месяцы могла останавливаться в родительском доме, пока свой был еще не достроен.