Немудрено, что льстецы легко овладели таким князем. Между придворными девицами скоро нашел он себе фаворитку, Елизавету Романовну Воронцову, во всем себе достойную. Но удивительно, что первый его любимец и адъютант Андрей Васильевич Гудович, к которому он питал неизменное чувство дружбы, был достопочтенный молодой человек и прямо ему предан.
Итак, союз супружества, видимо, начал распадаться, когда граф Понятовский в одном загородном доме, идучи прямо к великой княгине, без всякой побудительной причины быть в том месте, попался в руки мужа. Понятовский, министр иностранного двора, в предстоящей опасности противопоставлял права своего звания, и великий князь, видя, что таковое происшествие принесет бесславие обоим дворам, не смел ничего решить сам собою, а приказал посадить его под караул и отправил курьера к управляющему тогда империей любимцу. Великая княгиня, не теряя присутствия духа, пошла к мужу, решительно во всем призналась и представила, сколь неприятно, а может быть и гибельна будет для него самого огласка такого приключения. Она оправдывалась, упрекая его в любви к другой, что было всем известно, и обещала впредь обходиться с этою девицею со всей внимательностью, в которой она по гордости своей до сих пор ей отказывала. Но так как все доходы великого князя употребляемы были на солдат и ему недоставало средств, чтобы увеличить состояние своей любовницы, то Екатерина, обращаясь к ней, обещала давать ей ежегодное жалованье. Великий князь, удивляясь ее влиянию и убеждаемый в то же время просьбами своей любезной, смотрел сквозь пальцы на бегство Понятовского, и сам старался загладить стыд, который хотел причинить.
Случай, долженствовавший погубить великую княгиню, доставил ей большую безопасность и способ держать на своем жалованье и саму любовницу своего мужа; она сделалась отважнее на новые замыслы и начала показывать всю нелепость своего мужа столь же тщательно, сколь сперва старалась ее скрывать. Она совершенно переменила систему, и избрав своего сына орудием собственного честолюбия, вознамерилась доставить ему в будущем корону и пользоваться правом регентства; намерение благоразумное и в совершенной точности сообразное с законами империи. Но надлежало, чтоб сама Елизавета отрешила своего племянника. Государыня кроткая, нерешительная, суеверная, которая, подписывая однажды мирный договор с иностранным двором, не докончила подписи потому, что шмель сел ей на перо; в племяннике своем она уважала те же права, какими воспользовалась сама. Оставалось одно средство: при кончине ее подменить завещание – средство, которому бывали примеры и между монархами и по которому Адриан наследовал Траяну.
В то время как замышляли сию хитрость, переворот в общих делах Европы похитил у великой княгини нужного ей поверенного, великого канцлера Бестужева, которого перемена придворных связей лишила места. Его отдаление влекло за собой и графа Понятовского, которого отозвали к своему королю, и великая княгиня с чувством глубочайшей горести у ног императрицы тщетно умоляла ее со слезами возвратить ей графа, на которого сама Елизавета взирала с беспокойною завистью.
Княгиня начала жить при дворе, как в пустыне, и таким образом она провела несколько лет, имея известные связи только с молодыми женщинами, которые, так же как и она, любили поляков и были худо приняты при большом дворе за юные свои прелести. Она вставала всегда на рассвете и целые дни просиживала за чтением полезных французских книг, часто в уединении и не теряя никогда времени ни за столом, ни за туалетом. В сие-то время положила она основание будущему своему величию. Она признавалась, что уроками всей своей утонченности обязана одной из своих дам, простой и не замечательной наружности. В сие-то время заготовила она на нужный случай друзей; значительные особы убеждались, по тайным с нею связям, что они были бы гораздо важнее во время ее правления; и так как под завесой злополучной страсти происходили некоторые утешительные свидания, то многим показалось, что при ее дворе они вошли бы в особенную к ней милость. Таково было ее положение, когда 5 января 1762 года скончалась императрица Елизавета.