У дьяка остался сын Семен, избравший военное поприще и к 1681 году достигший высокого положения полковника стрелецкого войска. Успех вскружил ему голову. Всего лишь дворянин, он пожелал сравняться честью и состоянием с боярами и ближними людьми. Стрельцов он почел неотъемлемой частью своего семейства, вроде крепостных людей, и на их деньги накупил леса, на их подводах привез его в Москву и их руками выстроил себе дом со всеми службами и угодьями. Конечно, строиться в Китай-городе он не осмелился, да там и пустошей уже не осталось, но свое жилище поставил в посаде, в хорошем ровном месте на берегу реки Неглинной. Несколькими годами позже эта местность стала популярной, когда тут поселился фаворит царевны Софьи князь Василий Голицын.
Во времена полковника Грибоедова здесь было относительно спокойно и безопасно. В Китае же мимо боярских дворов было страшно проходить: две-три сотни, а то и тысяча вечно голодных вооруженных челядинцев, обитавших при знатном лице, выскакивали из-за кирпичной ограды — и горе было случайному прохожему! В дальних же посадах, в оврагах Яузы, в болотах Москвы-реки проезжих поджидали настоящие разбойники и убийцы. В стенах города процветали казенные кабаки и злейшие враги казны, тайные торговцы запретным зельем — табаком. Неочищенная, дурного качества сивушная водка и неочищенный, скверный табак быстро одуряли и толкали на самые гнусные поступки. Неудивительно, что почтенные женщины не показывались на улице без двадцати-тридцати сопровождающих, а бояре в бунташный семнадцатый век скоро научились жить в каменных палатах, которые прежде считались вредными для здоровья. Эти жилища со сводами в сажень-две толщиной, с крошечными окошками, холодные и сырые, казались потомкам годными только под тюрьму или амбар. Потомки думали, что в семнадцатом веке просто не умели строить удобное жилье. Но предки знали, что делали, а их мрачные особняки служили им добрую службу, защищая от разъяренной черни, грабителей и соседей.
Дом Грибоедова был попроще, деревянный, но обнесен каменной оградой, как полагалось по царскому указу 1681 года. Зато хозяина сопровождали в церковь десятка два вооруженных стрельцов, и он щеголял в желтых сапогах и цветном платье, сшитом теми же стрельцами, и питался с огородов, устроенных на стрелецких землях и на стрелецкие средства. Впрочем, так жил не один Грибоедов. Все стрелецкие полковники, достигшие этого звания одновременно, в 1681 году, когда оно было впервые введено, обустраивались с возможной роскошью и о безопасности и порядке в столице не беспокоились. А кроме них беспокоиться было некому. Глава Стрелецкого приказа князь Юрий Алексеевич Долгорукий, прежде видный воевода Алексея Михайловича, был уже развалиной от старости и паралича, его сын и товарищ по приказу князь Михаил не пользовался уважением, царь Федор Алексеевич умирал, стрельцы волновались, бояре ссорились, деля будущую власть. Так столица оказалась предоставлена ворам, убийцам и торговцам опойным зельем.
Но едва царь Федор скончался, все оживилось. Стрельцы вдруг потребовали наказания своим полковникам-притеснителям, пригрозив разграбить их дома, если им не вернут отнятые деньги. Боярская дума, еще не выбравшая нового царя, испугалась остаться без военной поддержки и пообещала выдать полковников на расправу, однако патриарх восстал против подобной меры и его послушались — полковников судили. Было за что! Семену Грибоедову читали такое обвинение: «Били на тебя челом великому государю пятидесятники, десятники и рядовые стрельцы твоего приказа: ты чинил им налоги, обиды и всякие тесноты; для взяток и работ бил их жестоким боем, бил батогами, ругательством…; на огороды и деревни свои на всякие работы посылал стрельцов и детей их…; из государева жалованья вычитал у них деньги и хлеб, отпускал с караулов и за то брал деньги…; деньги на стенной караул и запасы из дворцов брал себе… Будучи в походах, делал им также всякие тягости и на их подводах возил свои запасы. Ты… стрельцов обижал и бил их напрасно».
В следующем веке на битье да крохоборство никто бы и внимания не обратил, но в конце семнадцатого правительство было слабо, а стрельцы чувствовали свою силу. В начале мая полковников Ивана Нелидова, Андрея Дохтурова, Павла Глебова и других били батогами, а полковников Александра Карандеева и Семена Грибоедова — даже кнутом. После порки Грибоедова от службы отставили, поместья отняли и сослали в Тотьму. Стрельцы совсем осмелели, новых полковников не признавали, прогоняли, а самых настойчивых взвели на каланчу и сбросили вниз!