И хотя Елизавета Романовна Воронцова имела на Петра сильное влияние, единственной его любовницей она не была. Особенно неразборчив был император в связях во время бесконечных кутежей, длившихся иногда по нескольку суток. Сам он нередко допивался до бесчувствия, и лакеи выносили его из-за стола, взяв подмышки и за ноги, в то время, как под столом оставались допившиеся до последней степени титулованные и нетитулованные сотрапезницы, лежавшие рядом с городскими девками и танцовщицами.
Вместе с тем Петр иногда начинал говорить о том, что заточит Екатерину в монастырь, разведется с ней и обвенчается с Воронцовой, а как только станет императором, то тотчас же возведет Елизавету Романовну на трон.
Красивая, молодая, цветущая, остроумная и веселая Екатерина, конечно же, имела на успех у мужчин гораздо больше шансов, чем ее муж - неказистый, инфантильный, болезненный и недоразвитый во многих отношениях - у женщин. Она хорошо осознавала это и так писала в "Записках": "Я получила от природы великую чувствительность и наружность, если не прекрасную, то во всяком случае привлекательную; я нравилась с первого разу и не употребляла для того никакого искусства и прикрас. Душа моя от природы была до такой степени общительна, что всегда, стоило кому-нибудь пробыть со мною четверть часа, чтобы чувствовать себя совершенно свободным и вести со мною разговор, как будто мы с давних пор были знакомы. По природной снисходительности моей, я внушала к себе доверие тем, кто имел со мною дело; потому что всем было известно, что для меня нет ничего приятнее, как действовать с доброжелательством и самою строгою честностью. Смею сказать (если только позволительно так выразиться о самой себе), что я походила на рыцаря свободы и законности; я имела скорее мужескую, чем женскую душу, но в том ничего не было отталкивающего, потому что с умом и характером мужским соединялась во мне привлекательность весьма любезной женщины.
Да простят мне эти слова и выражения моего самолюбия: я употребляю их, считая их истинными и не желая прикрываться ложною скромностью. Впрочем, само сочинение это должно показать, правду ли я говорю о моем уме, сердце и характере. Я сказала о том, что я нравилась; стало быть половина искушения заключалась уже в том самом; вторая половина в подобных случаях естественно следует из самого существа человеческой природы, потому что идти на искушение и подвергнуться ему - очень близко одно от другого. Хотя в голове запечатлены самые лучшие правила нравственности, но, как скоро примешивается и является чувствительность, то непременно очутишься неизмеримо дальше, нежели думаешь. Я по крайней мере не знаю до сих пор, как можно предотвратить это. Может быть, скажут, что есть одно средство избегать; но бывают случаи, положения, обстоятельства, где избегать невозможно; в самом деле, куда бежать, где найти убежище, как отворачиваться посреди двора, который перетолковывает малейший поступок. Итак, если не бежать, то по-моему нет ничего труднее, как уклониться от того, что вам существенно нравится. Поверьте, все, что вам будут говорить против этого, есть лицемерие и основано на незнании человеческого сердца. Человек не властен в своем сердце; он не может по произволу сжимать его в кулак и потом опять давать свободу".
Искренне следуя тому, о чем она здесь написала, Екатерина не стала смирять чувства, овладевавшие ее сердцем, - плоть, кажется, она еще смиряла, и сердечно привязалась к одному из камер-лакеев своего мужа Андрею Гавриловичу Чернышову, сыну крепостного крестьянина, служившего недавно рядовым в Гренадерской роте Преображенского полка. Андрей Чернышов оказался в числе лейб-кампанцев и вместе с другими солдатами стал прапорщиком и наследственным дворянином. Вместе с ним служили во дворце и два его брата - Алексей и Петр. Все они были любимцами Петра Федоровича, но особенно благоволили он к старшему - Андрею.
Из-за своей редкой красоты, силы и высокого роста он был взят камер-лакеем к Петру Федоровичу и стал одним из его ближайших и доверенных людей.
Он понравился и Екатерине и она тоже подружилась с ним, шутливо называя его "сынком", а Чернышов ее - "матушкой". В мае 1746 года де Виейра застал Чернышова и Екатерину возле спальни Великой княгини, донес об этом Елизавете и та распорядилась арестовать Чернышова и его братьев.
Два года просидел Чернышов в заключении, а потом был отправлен на службу - далеко на Урал, на границу с Сибирью, в Оренбург, в армейский полк.
Эти подозрения основывались не более, чем на сплетнях, потому что кроме братьев Чернышовых были допрошены и Петр с Екатериной и другие их придворные, но никаких доказательств найдено не было. Однако несмотря на невиновность Екатерины, приставленную к ней обер-гофмейстерину Чоглокову постигла опала, так как она не только не добилась того, ради чего была приставлена к молодым супругам, но и не замечала очевидного, о чем кроме нее знали все придворные: а именно, что ее собственный муж обер-гофмейстер и камергер Николай Наумович Чоглоков смело заглядывается на Екатерину и одновременно откровенно волочится за фрейлиной Кошелевой, что брат мужа императрицы Кирилл Разумовский тоже открыто бросает влюбленные взоры на жену Петра Федоровича, а последний, пренебрегая всеми правилами приличия, откровенно увивается вокруг любой юбки.
Чоглокова отставили от должности, назначив вместо него гофмаршалом двора Петра Федоровича князя Репнина, который был полной противоположностью Чоглокову - умным, честным, спокойным и добрым человеком.
К этому времени произошел окончательный разрыв отношений между Петром и Екатериной. Тому способствовало многое, но наиболее сильное и неблагоприятное впечатление произвело на Екатерину то, что ее муж начал проявлять еще и жестокость по отношению к животным.