Неизвестно, насколько в эту историю была посвящена Екатерина и была ли она ей известна вообще. Последние месяцы своей жизни она мало во что вмешивалась, но невозможно предположить, чтобы она осталась в стороне от столь скандального «брака втроём». В конце её царствования при Дворе уже шушукались, что Александр — «неспособный мужчина» и это было тяжело слышать. Она его так любила, так им гордилась, и вот на тебе: полный конфуз. Но настоящий конфуз наступил позже, когда Екатерины II уже давно не было в живых.
Почти через пять лет после замужества, 18 мая 1799 года, в Павловске Елизавета Алексеевна разрешилась от бремени девочкой, которую в честь Марии Фёдоровны окрестили Марией. Через несколько недель после появления на свет малютки слухи о связи Елизаветы с Чарторыйским вдруг получили, так сказать, визуальное подтверждение. Император Павел и Императрица Мария Фёдоровны были смущены одним обстоятельством: у белокурых родителей родился темноволосый ребёнок. Сохранилось свидетельство, что Император обратился с вопросом к статс-даме графине Шарлотте Ливен (1743–1828): «Мадам, верите ли Вы, что у блондинки жены и блондина мужа может родиться ребёнок брюнет?» Ливен прекрасно тут же всё поняла и дала «исчерпывающий» ответ: «Государь, Бог всемогущ!» Эту истину Император знал и без госпожи Ливен, но факт оставался фактом необъяснимым; давние смутные и грязные слухи, которым Павел ни мгновения не верил, вдруг начали приобретать правдоподобный характер. Князь же Адам Чарторыйский являлся жгучим брюнетом…
В Царской Семье разыгралась драма. Император Павел всегда считал «что устои брака священны и уж тем более в том случае, если супруги — члены Императорской Фамилии. Случай с Екатериной II являлся нонсенсом, который имел объяснение, но не имел оправдания. И тут вдруг возникает предположение, что внучка Императора — незаконнорождённое дитя! Императрица Мария Фёдоровна была вообще категорически нетерпимой ко всему, что нарушало придворный этикет или хоть как-то умаляло престиж верховной власти. Слух о неверности Елизаветы её больно ранил, и именно Императрица «раскрыла глаза» Павлу на сомнительность происхождения внучки. Она занялась тщательным «расследованием».
В Павловске в августе 1799 года трёхмесячный ребенок был доставлен к бабушке, которая затем отнесла его в кабинет к Императору. Когда она вышла, то Павел Петрович находился в состоянии сильного возбуждения, что перепугало даже Ивана Кутайсова. Император приказал немедленно призвать вице-канцлера графа Ф. В. Ростопчина (1763–1826), и «Иван», исполняя приказание, сказал Ростопчину: «Боже мой, зачем эта несчастная женщина (Мария Фёдоровна. — А. Б.) пришла расстраивать его своими сплетнями!» Сплетни были слишком серьезными, чтобы на них не реагировать. Как передает графиня В. Н. Головина, Ростопчин услышал следующий монолог Самодержца: «Идите, сударь, и напишите как можно скорее приказ о ссылке Чарторыйского в Сибирский полк. Моя жена сейчас вызвала у меня сомнения относительно мнимого ребёнка моего сына. Толстой знает это так же, как и она». Ссылка на то, что гофмаршал граф Н. А. Толстой (1765–1816) «знает», свидетельствовала о том, что при Дворе уже все осведомлены.
Ростопчину удалось убедить Государя, что столь резкое и открытое изгнание князя в дислоцированный в Сибири полк станет публичным признанием скандала. Потому лучше отправить Чарторыйского менее эпатажно в тихую и пристойную ссылку. Ход был найден: Чарторыйский получал назначение представителя при Сардинском Короле. Он должен был в течение нескольких дней покинуть Петербург и отбыть в Турин, где в то время пребывал Сардинский Король.
Известие потрясло не только Чарторыйского, но и Великого князя Александра Павловича, который тем не менее не счёл возможным вступиться за своего друга.
Как написал князь Чарторыйский в своих «Записках»: «Это неожиданное назначение, которое застало меня совершенно врасплох, сильно меня огорчило. Естественно, мне было особенно тяжело расставаться, быть может на долгое время, с Великим князем, к которому я был искренне привязан, и с теми немногими друзьями, дружба с которыми была для меня большим утешением на чужбине». Ничего больше князь не написал, «грязную сплетню» не опровергал, а имя Елизаветы Алексеевны вообще обошел стороной. Одним словом: «джентльмен»…
Порочащие Елизавету слухи, как казалось, совершенно не затрагивали и не интересовали только одного человека — Александра Павловича. Граф Головкин и через годы с удивлением писал, что «Великий князь в этом случае проявлял удивительное и крайне неуместное равнодушие». Кстати сказать, когда Мария скончалась 27 июля 1800 года, Александр явил всё то же равнодушие.