В первое время после того, как его дочь вышла замуж, Сперанский испытывал двойственное чувство: да, конечно, счастье любимого существа устроилось, чего еще желать, и он, безусловно, был доволен, но все же — у дочери теперь муж и своя обособленная жизнь. Нотки ревности невольно звучали в его довольстве и… письмах.
Стихи твои действительно прекрасны. Самое чувство пером твоим водило. Последняя строфа особенно прекрасна нравственным ее отливом. Я знаю ее наизусть; но скажи мне: много ли есть на свете дур, которые влюблены в своих мужей и пишут им стихи? Не знаю, много ли, но желал бы, чтоб они все тебе были подобны; тогда дуры были бы любезнейшие и счастливейшие на свете создания.
16 августа 1823 года Сперанский писал дочери: «Неужели прошел год с того времени, как любезная моя Елисавета замужем: время есть большой чародей — то выше леса, то ниже травы; иногда очень длинно, иногда чрезвычайно коротко».
11 февраля 1824 года Елизавета Фролова-Багреева родила «после 2-дневного страдания» сына, которого назвала — в честь отца — Михаилом[10]. Сперанский помчался в Чернигов к внуку.
Возвратившись в столицу, Михайло Михайлович обратился к императору Александру с просьбой о переводе зятя на службу в Санкт-Петербург. «Одиночество мое здесь, — жаловался он государю, — болезненные припадки, с летами возрастающие и впереди мрачным уединением мне грозящие, — наконец прещение совести частыми отлучками прерывает ход службы и бремянит внимание Вашего Величества частыми отпусками для свиданий с дочерью, в коей одной заключается все мое семейственное благо, все сии причины, строгому долгу службы посторонние, но чувству милосердия, чувству сердца Вашего внятные, дерзаю представить в ходатайство и оправдание».
9 мая 1824 года А. А. Фролов-Багреев был назначен на место члена совета Министерства финансов и управляющего Государственным заемным банком. Поселился Александр Алексеевич вместе со своей семьей в одном доме с Михайлой Михайловичем — на Невском проспекте. Вместе с ними проживал еще Г. С. Батеньков. Жалованья петербургского чиновника Фролова-Багреева, составлявшего 11 тысяч рублей в год, было недостаточно для содержания его семьи. Сперанскому приходилось добавлять к нему по 25 тысяч рублей. При этом Михайло Михайлович и семья его дочери вели одно хозяйство, имели общих слуг, общие кареты с кучерами.
7 мая 1825 года Сперанский лишился самого близкого своего друга — в этот день умер тайный советник и сенатор Аркадий Алексеевич Столыпин. Похороны его состоялись на Лазаревском кладбище Александро-Невской лавры. В газете «Северная пчела» появилось в качестве отклика на эту смерть стихотворение, обращенное к вдове Столыпина и дочери адмирала Н. С. Мордвинова Вере Николаевне[11]:
Автором стихотворения был Кондратий Рылеев. Менее года спустя раскроется тайная подоплека этого его произведения, в котором имя Аркадия Алексеевича Столыпина ставилось в один ряд с именем Николая Семеновича Мордвинова. Рылеев проявит себя как руководитель мятежа молодых дворян, поставивших своею целью смену в России правления и правительства. После подавления мятежа на допросах его участников обнаружится, что в состав нового правительства мятежники предполагали включить и Н. С. Мордвинова, и А. А. Столыпина[12]. Так, Н. А. Бестужев заявит на следствии: «Покойный сенатор А. А. Столыпин одобрял тайное общество и потому верно бы действовал в нынешних обстоятельствах вместе с нами».
С конца ноября 1821 года встречи и беседы Сперанского с императором Александром стали более редкими. Михайло Михайлович увидел в этом плохой знак для себя. 10 декабря он записал в свой дневник: «Вечер в Смольном монастыре. Праздник. Г[осударь] Щмператор] избегал всякого со мной разговора. Работы с 25 ноября не было. Первый знак охлаждения».