Планам и мечтам графа Сергея Федоровича не суждено было сбыться.
Весной тридцать шестого года императору Николаю доложили, что в имении Ростопчиных, в Воронове, постоянно проживает аббат-иезуит, что там имеется много церковной католической утвари, регулярно служатся мессы, а княгиня Ростопчина намерена обращать как своих крестьян, так и соседних помещиков в католичество. Государь, ненавидевший вероотступников, тотчас послал московскому губернатору депешу с приказом немедленно произвести в имении Вороново строгий обыск. Добрейший Голицын предупредил графа Сергея о готовящемся обыске за сутки и посоветовал срочно вывезти из имения церковную утварь, а заодно и аббата – в противном случае графиню ждали большие неприятности.
Сергей Федорович прискакал в Вороново ночью, верхом, несмотря на сильный дождь. Переполошил и поднял по тревоге всю усадьбу. Церковную утварь уложили в специальные шкафы и погрузили в карету, так что осталось только одно место. Иезуит едва протиснулся между шкафами, а графу пришлось всю дорогу, сто верст, ехать на козлах. Дождь между тем не унимался.
Репутация графини была спасена, а граф Сергей по приезде в Москву слег с жесточайшим воспалением легких и спустя сутки умер.
На панихиду и поминки Екатерина Петровна не явилась. Когда родственники пришли к ней высказать соболезнования, она, прогуливаясь по анфиладе комнат в сопровождении мадам Турнье, резко ответила им: «Напрасно сожалеть: он жил, как хотел, недолго, но хорошо!» Повернулась к визитерам спиной и невозмутимо двинулась в обратную сторону. В следующее мгновение услышали, как графиня, обратившись то ли к компаньонке, то ли к самой себе, произнесла: «Старший сын отошел к отцу и дочери. Все встретятся в день Страшного суда кто по правую, кто по левую сторону. Тем хуже для последних!»
Лаура на два года пережила мужа, оставив их незаконнорожденного сына Владимира Филиппи круглым сиротой. Граф не успел даже дать ему своего имени. Мальчик рос в доме бабушки и ее приживалок. Екатерина Петровна называла внука не иначе как «дитя греха», жестоко наказывала за любую провинность и попрекала куском хлеба. Граф Андрей, еще не успев завести детей, хотел было усыновить мальчика и дать ему свое имя. Для этого он испросил соизволения государя. Император Николай ответил короткой запиской, в которой значилась всего одна фраза: «Граф Ростопчин не может быть католиком!» В конце концов, сироту отправили к тетушке Софи в Париж. Она приняла Владимира как родного и дала ему прекрасное образование.
Граф Андрей Ростопчин в составе Лейб-Кирасирского Его Высочества Наследника Цесаревича полка участвовал в подавлении польского восстания и штурме Варшавы. За эту кампанию он получил знак отличия «За военные достоинства» 4-й степени и серебряную медаль «За взятие Варшавы». Пребывая в Варшаве, он неожиданно влюбился в польку, мать своего боевого товарища. Этой обольстительной даме считалось уже далеко за сорок. Андрей написал Екатерине Петровне в Москву о предстоящей женитьбе, и та с удовольствием дала свое согласие на этот брак. Католичка, годившаяся графу Андрею в матери, в ее глазах была куда предпочтительней молодой православной девушки. Однако в день венчания товарищи по полку явились к жениху на квартиру и с общего согласия поведали Андрею интимные подробности неблаговидного поведения его невесты. Прежде с ним не решались говорить об этом в надежде, что скандальный брак с распутной женщиной расстроится сам. Жених, выслушивая откровения однополчан, держал в руках футляр с фамильными бриллиантами, которые собирался преподнести трепещущей, облаченной в белый тюль вдовушке. Осознав, наконец, ужасный смысл сказанного, граф Андрей в ярости швырнул бриллианты на пол, растоптал их в прах каблуками и выкинул осколки в окно.
После он служил недолго – до января тридцать третьего года и вышел в отставку в том же чине «для определения к статским делам». А уже в апреле того же года женился на Евдокии Сушковой, молодой, красивой московской аристократке, которой было суждено вновь прославить Ростопчиных на всю Россию. Стихами графини Евдокии Ростопчиной восхищались Пушкин и Жуковский, ее произведения стали хрестоматийными, их изучали в школах. От этого брака у графа Андрея родились трое детей.