Влиятельные знакомцы — а их у Ильи Андреевича, одного из старост московского Английского клуба, дежурившего 3 марта 1806 года, когда давали обед в честь Багратиона, было немало, — выхлопотали для бывшего гвардейца Преображенского полка место губернатора в Казани. Он правил там пять лет, все так же проигрывая тысячи за карточным столом и благодушно не замечая, что кругом творятся «неимоверные злоупотребления», о которых писали Аракчееву доносчики. Дело кончилось нежданной ревизией, аракчеевским рапортом Кабинету министров и отстранением от должности в феврале 1820 года. Месяц спустя, не успев представить объяснений, граф, потрясенный сенатским рескриптом, умер. К этому времени все его имения были описаны, а доходы с них шли потерявшим терпение кредиторам.
Взяток он не брал, но не препятствовал мздоимцам из числа чиновников, да и графиня Пелагея Николаевна, таясь от мужа, случалось, выходила на заднее крыльцо, где ее ожидали с подношениями. Разразившаяся катастрофа оставила ее буквально без гроша. Правда, обеих дочерей уже устроили: одна была замужем за остзейским графом Остен-Сакеном, другая за богатым казанским помещиком Юшковым. Однако Пелагея Николаевна, урожденная княжна Горчакова, — в яснополянской зале висят на стенах портреты ее отца и матери — предпочла доживать свой век у младшего сына Николая, в Ясной Поляне, хотя, по свидетельству Толстого, не любила невестку, «считая ее недостойной моего отца и ревнуя его к ней».
Пелагея Николаевна была властной и капризной, всем давала понять, кто первое лицо в доме, изводила безответную горничную Гашу, презрительно к ней обращаясь «вы, моя милая». Эта Гаша была существом странным: ходила в рваной кофте, из которой клоками торчала вата, а подаренный ей добротный капот пожертвовала на подстилку собаке, своей любимице. Ко всякому зверью она относилась с нежностью, все для нее были божьи создания, даже мыши, с которыми она делилась своим ужином. Под старость, когда Пелагеи Николаевны давно уж не было на свете, Гаша стала жаловаться, что у нее в груди растет береза и дышать от этого трудно. Все дворовые псы выли в день ее смерти.
Свою хозяйку она очень побаивалась, да и все в яснополянском доме знали, какой у Пелагеи Николаевны непростой нрав. Дети проходили мимо ее вольтеровского кресла с трепетом и всегда обращались к бабушке на «вы». Жил при ней некто Лев Степаныч, слепой старик, поразивший детское воображение невероятным слухом: вот, мышка подкралась к лампаде, говорил он, и в самом деле замечали, что мышь пьет из лампады масло. Обязанность Льва Степаныча состояла в том, чтобы рассказывать на ночь сказки. Престарелая дама слушала их, лежа на ложе с высокими белыми подушками. Иногда в ее опочивальню допускались внуки. Так Толстой впервые узнал о Шехерезаде и о замечательной истории принца Камаральзамана. «Тысяча и одна ночь» во французском переводе была приобретена еще его дедом, есть в Яснополянской библиотеке и более позднее издание. А повесть о принце, которого колдунья обратила в лошадь, Толстой на старости лет любил рассказывать внукам.
Запомнилось еще, как ездили за орехами в соседний лес. Бабушку на руках выносили камердинеры, потом в «Заказе» нагибали для нее ветки, чтобы она пополняла лежавший на ее коленях мешок. И было что-то удивительно радостное в этой картине давно прошедшего — «бабушка, орешник, терпкий запах орехового листа, камердинеры, желтый кабриолет, солнце».
Николай Ильич 9 июля 1822 года женился на княжне Марии Николаевне Волконской. До свадьбы было несколько встреч в доме Трубецких на Покровке, известном всей Москве «доме-комоде».
Венчание происходило в церкви села Ясенева, к сожалению, не сохранившейся. Неподалеку располагалось подмосковное имение Трубецких Битца. Волконских и Трубецких, два очень знатных русских семейства, связывали многочисленные нити родства. Урожденной княжной Трубецкой была мать венчавшейся. Молчаливые укоры бабушки, которая, похоже, находила невестку недостаточно родовитой, по меньшей мере, были странны. Во время венчания упала и больно ушибла жениха подвешенная к потолку люстра. Николай Ильич всю жизнь оставайся убежден, что то было дурное предзнаменование.
Со стороны Николая Ильича это был откровенный брак по расчету. Дела бывшего казанского губернатора оказались настолько расстроенными, что наследник предпочел отказаться от наследства, так как иначе рисковал угодить в долговую тюрьму. Николаю Ильичу шел уже двадцать девятый год, а занимаемая им должность была более чем скромной, всего лишь смотрительский помощник военно-сиротского отделения при московском коменданте, то есть воспитатель солдатских сирот.