В Царской Семье разыгралась драма. Император Павел всегда считал «что устои брака священны и уж тем более в том случае, если супруги — члены Императорской Фамилии. Случай с Екатериной II являлся нонсенсом, который имел объяснение, но не имел оправдания. И тут вдруг возникает предположение, что внучка Императора — незаконнорождённое дитя! Императрица Мария Фёдоровна была вообще категорически нетерпимой ко всему, что нарушало придворный этикет или хоть как-то умаляло престиж верховной власти. Слух о неверности Елизаветы её больно ранил, и именно Императрица «раскрыла глаза» Павлу на сомнительность происхождения внучки. Она занялась тщательным «расследованием».
В Павловске в августе 1799 года трёхмесячный ребенок был доставлен к бабушке, которая затем отнесла его в кабинет к Императору. Когда она вышла, то Павел Петрович находился в состоянии сильного возбуждения, что перепугало даже Ивана Кутайсова. Император приказал немедленно призвать вице-канцлера графа Ф. В. Ростопчина (1763–1826), и «Иван», исполняя приказание, сказал Ростопчину: «Боже мой, зачем эта несчастная женщина (Мария Фёдоровна. — А. Б.) пришла расстраивать его своими сплетнями!» Сплетни были слишком серьезными, чтобы на них не реагировать. Как передает графиня В. Н. Головина, Ростопчин услышал следующий монолог Самодержца: «Идите, сударь, и напишите как можно скорее приказ о ссылке Чарторыйского в Сибирский полк. Моя жена сейчас вызвала у меня сомнения относительно мнимого ребёнка моего сына. Толстой знает это так же, как и она». Ссылка на то, что гофмаршал граф Н. А. Толстой (1765–1816) «знает», свидетельствовала о том, что при Дворе уже все осведомлены.
Ростопчину удалось убедить Государя, что столь резкое и открытое изгнание князя в дислоцированный в Сибири полк станет публичным признанием скандала. Потому лучше отправить Чарторыйского менее эпатажно в тихую и пристойную ссылку. Ход был найден: Чарторыйский получал назначение представителя при Сардинском Короле. Он должен был в течение нескольких дней покинуть Петербург и отбыть в Турин, где в то время пребывал Сардинский Король.
Известие потрясло не только Чарторыйского, но и Великого князя Александра Павловича, который тем не менее не счёл возможным вступиться за своего друга.
Как написал князь Чарторыйский в своих «Записках»: «Это неожиданное назначение, которое застало меня совершенно врасплох, сильно меня огорчило. Естественно, мне было особенно тяжело расставаться, быть может на долгое время, с Великим князем, к которому я был искренне привязан, и с теми немногими друзьями, дружба с которыми была для меня большим утешением на чужбине». Ничего больше князь не написал, «грязную сплетню» не опровергал, а имя Елизаветы Алексеевны вообще обошел стороной. Одним словом: «джентльмен»…
Порочащие Елизавету слухи, как казалось, совершенно не затрагивали и не интересовали только одного человека — Александра Павловича. Граф Головкин и через годы с удивлением писал, что «Великий князь в этом случае проявлял удивительное и крайне неуместное равнодушие». Кстати сказать, когда Мария скончалась 27 июля 1800 года, Александр явил всё то же равнодушие.
Павел Петрович же был не из разряда людей, способных делать вид, что ничего не происходит, когда на самом деле что-то случалось. Поведение Елизаветы его лично оскорбило; он ей так доверял, так был нежен и снисходителен, а получил в «подарок» нехорошую историю. После принятия решения о высылке Чарторыйского Император Павел отправился в апартаменты Елизаветы Алексеевны, подвёл её к окну и стал на неё в упор смотреть. Он так делал часто, когда хотел добиться правды от своего визави. Невестка отвела глаза, но ничего не сказала и ни в чём не повинилась. Павел Петрович понял, что подозрения не беспочвенны, и прекратил всякое общение с Елизаветой.
Елизавета же вела себя так, как будто ничего не происходило. Она разорвала всякие общения с В. Н. Головиной, с которой ранее была неразлучна, подозревая графиню в низкой интриге: она ведь была против князя Чарторыйского, а следовательно, могла порассказать о нем нечто. У графини было много недостатков, она всегда отличалась резкой нетерпимостью, но в данном случае Головина была совершенно ни при чём. При этом Елизавета начала демонстративно пренебрегать правилами придворного этикета, за соблюдением которого зорко следила Императрица Мария Фёдоровна. Приходила не тогда, когда требовалось, уходила без разрешения, одевалась не так, как подобало, и т. д. Это был вызов установленному регламенту. Император не мог оставить такое поведение без последствий: к дверям комнат Елизаветы был поставлен часовой, чтобы она не смела отлучаться без разрешения и не могла принимать кого вздумается. Страж стоял на своём посту несколько месяцев.