Посланники Англии и Швеции еще долгое время после возвышения Потемкина считали, что возвращение Григория Орлова возможно. Они сделали этот вывод из поведения самого Григория Орлова, который делал вид, как будто ничего вообще не произошло. Он ухаживал не только за красивыми придворными дамами, но и постоянно вступал в споры с Григорием Потемкиным. Потемкин оставался удивительно спокойным и следовал пожеланиям Екатерины, которая хотела избежать какого бы то ни было конфликта с Орловыми. Она требовала от Потемкина: «Только одно прошу не делать: не вредить и не стараться вредить Кн[язю] Ор[лову] в моих мыслях, ибо я сие почту за неблагодарность с твоей стороны. Нет человека, которого он более мне хвалил и, по-видимому мне, более любил и прежнее время и ныне до самого приезда твоего, как тебя. И естьли он свои пороки имеет, то ни тебе, ни мне непригоже их расценить и разславить. Он тебя любит, а мне оне друзья, и я с ними не расстанусь». В уговорах Екатерина иногда проскальзывали угрожающие нотки: «Вот те нравоученье: умен будешь — примешь; не умно будет противуречить сему для того, что сущая правда». Общий путь к трону связывал необъяснимым для посторонних образом так крепко, что даже самые сильные чувства должны были отступать на задний план. Потемкин руководствовался этим потом — в свойственной ему манере. Время работало на него.
Общаясь с Никитой Паниными императрица, говоря об Орловых, редко пользовалась подобными словами. Здесь она колебалась. Граф Панин был в курсе всех тайных замыслов и всех ее уловок. Он вел себя как противник Орловых, так как поддерживал наследника престола и его претензии на трон. Тем не менее он всегда действовал крайне осмотрительно и осторожно и на открытый конфликт с Орловыми не шел.
В Орловых было что-то такое, что делало их положение при дворе почти непоколебимым. Григорий Орлов постоянно трактуется в истории как грубый и недалекий человек, и его постоянно рисуют в отрицательном свете. Он и его братья являются воплощением всех теневых сторон государственного переворота Екатерины. Но подобная оценка не совсем правдива. Пять братьев Орловых образовали для императрицы надежную опору, с помощью которой она определенное время могла регулировать свои сложные взаимоотношения с наследником престола. Этим братья Орловы заработали себе высокое положение в империи Екатерины. Они возвели императрицу на трон и играли активную роль в ее имперской политике. Необходимо отметить, что ученые не очень озабочены тем, чтобы дать справедливую оценку братьям. В годы правления династии Романовых просто не хотели напоминать о том, что Екатерина Великая была обязанной своей короной небольшой группе грубых гвардейских офицеров. Богом данный и помазанный на царство император Всероссийский не мог быть обычным человеком, поддающимся шантажу и насилию!
Конфликт с Орловым предполагал для Потемкина очень внимательно следить за тем впечатлением, которое производили его действия на наследника престола и графа Панина. Панин пользовался доверием императрицы, хотя ее отношения с «молодым двором» Павла в Гатчине оставались натянутыми. Потемкин же был заинтересован в хороших и стабильных отношениях с Паниным и цесаревичем. Но если у Никиты Панина усилия Потемкина имели успех, в случае с Павлом Петровичем он натолкнулся на враждебное неприятие. Наследник престола ненавидел свою мать и ее окружение в такой мере, что даже по отношению к Потемкину нормальные отношения были практически исключены. С другой стороны, Екатерина настойчиво отвергала каждую попытку Павла получить возможность оказывать влияние на политику. Граф Панин являлся в те годы, очевидно, единственным стабильным звеном для формальных контактов между матерью и сыном.
Так как Панин с Потемкиным определенное время находились в очень хороших отношениях, то между наследником престола Павлом и Потемкиным установилось некое нейтральное перемирие. Британский посланник писал: «Господин Потемкин находится в доверительной связи с господином Паниным. Он часто советуется с ним, просит высказать свое мнение и, когда он пребывает в городе, использует возможность, чтобы встретиться с Паниным».
Однако первое впечатление не вводило в заблуждение. Сэр Ганнинг узнал, что разделение двора на сторонников и противников Потемкина обсуждалось на Совете при Высочайшем дворе. С одной стороны, ее фаворит и граф Панин, с другой — Орловы и Чернышевы. Дипломаты пытались сориентироваться. Так как их личный авторитет — и русская политика в отношении конкретной страны — всегда зависели от желаний и планов конкретных людей, и в зависимости отличных взаимоотношений влияние дипломатов могло подниматься или падать. Потемкин пошатнул сложившийся баланс власти, но конечно же не обрушил его. Это не могло входить в его намерения. Но новые политические интересы, реформы и цели требовали во все времена новых исполнителей. На человеческие потери или трагедии новые правители не обращали внимания.