Первым неладное почувствовал именно Петр Иванович, переписывавшийся с Фонвизиным. Ему, человеку серьезному и семейному, в отличие от влюбчивого ветреного брата, было ясно, что брак надолго может отвлечь внимание цесаревича Павла от политики, а сохранение влияния на него отныне будет в зависимости от отношений с будущей супругой.
С начала 1773 г. императрица предпринимает шаги для возвращения Орловым былого политического могущества. Григорий Григорьевич вновь начинает появляться при дворе, именно он, а не Никита Иванович, сопровождает императрицу и Павла Петровича на встречу с невестой цесаревича — принцессой Вильгельминой Гессен-Дармштадтской, приехавшей в Россию.
Вскоре письма Фонвизина из Петербурга становятся довольно тоскливыми. В канун свадьбы наследника в сентябре 1773 г. он писал в Москву: «Мы очень в плачевном состоянии. Все интриги и все струны настроены, чтоб графа (Н. И. Панина — О. Е.) отдалить от великого князя… даже до того, что под претекстом (предлогом — О. Е.) перестраивать покои во дворце велено ему опорожнить те, где он жил… Бог знает, где граф будет жить и на какой ноге. Только все плохо, а последняя драка будет в сентябре, то есть брак его высочества, где мы судьбу свою узнаем». Данное письмо обращено не к Петру Ивановичу, а к сестре драматурга Е. М. Фонвизиной. Сведения, сосредоточенные в нем, вероятно, предназначались для передачи генералу П. И. Панину. Писать прямо становилось небезопасно, в конце лета, по повелению Екатерины, Волконский усилил надзор за Паниным.
Императрица приказала Волконскому послать к генералу «одного надежного человека выслушать его дерзкие болтанья». Петр Иванович, видимо, почувствовал слежку, прекратил агитацию и замкнулся. По донесениям Волконского, «сей тщеславный самохвал… гораздо утих и в своем болтанье несколько скромнее стал». Однако опытный чиновник сомневался в причине изменения поведения Панина: «от страха или для закрытия каких видов?» — рассуждал он. Волконский предлагал императрице как можно скорее «отлучить от двора и от обеих резиденций» всех сторонников Паниных и тем самым «шайку сию рассыпать». Это легче было сказать, чем сделать, но кое что Екатерине удалось.
После свадьбы цесаревича в 1773 г. она отстраняет Никиту Ивановича от поста воспитателя при Павле, поскольку совершеннолетний женатый наследник уже официально не нуждался в наставнике. Канцлер был осыпан милостями и огромными пожалованиями. Внешне все выглядело очень благовидно. Довольная своей маленькой победой Екатерина писала 25 сентября Волконскому в Москву: «Что же касается до дерзкого, вам известного болтуна, то я здесь кое-кому внушила, чтоб до него дошло, что, если он не уймется, то я принуждена буду его унимать наконец. Но как богатством я брата его осыпала выше его заслуг на сих днях, то чаю, что и он его уймет же, а дом мой очистится от каверзы». 30 сентября чуткий к изменениям поведения своего «подопечного» Волконский отметил, что, узнав о наградах своего брата, Петр Иванович «еще больше задумчивее стал» и принимает поздравления по этому поводу «с некоторую холодностью».
Отставному генералу было о чем сожалеть, его партия упустила время для решительных действий, а теперь богатые пожалования могли склонить канцлера к отказу от принятой программы. На время устанавливается шаткое равновесие сил между сторонниками и противниками Екатерины II. Как следствие, встал вопрос о фаворите: креатура Панина — Васильчиков далее не мог занимать этот пост, поскольку его покровитель потерял свое прежнее положение. Орловы же еще не вернули былого могущества: между Екатериной и Григорием Орловым старые отношения не восстановились. На мгновение две противоборствующие политические силы, как Сцилла и Харибда, расступились, чтоб пропустить на сцену нового актера. 4 февраля 1774 г. из армии прибыл давний друг Екатерины, много лет безнадежно влюбленный в нее — генерал-майор Г. А. Потемкин. Кандидатура Григория Александровича устраивала всех, поскольку обе партии видели в нем проходную фигуру. И просчитались.
Вновь первым в ситуации разобрался Петр Иванович. «Сей новый актер станет роль свою играть с великой живостью и со многими переменами, если только утвердится», — писал он о Потемкине в письме 7 марта 1774 г. к своему племяннику камер-юнкеру князю А. Б. Куракину. Панин знал Потемкина по русско-турецкой войне и имел возможность оценить его характер, он первым из панинской группировки попытался установить контакт с будущим фаворитом и сделать его своей креатурой. Потемкину нужна была помощь, чтоб укрепиться при дворе. По дороге в Петербург, проезжая через Москву, он согласился встретиться с опальным генералом. Их разговор не мог не затронуть болезненной темы, вертевшейся тогда у всех на языке. Беглый казак Емельян Пугачев, объявив себя спасшимся императором, вел военные действия в далеком Оренбуржье с все возрастающим успехом. Маленькие крепости на границе сдавались одна за другой, правительственные войска терпели поражения. Положение было серьезным. Как видно из дальнейших писем Потемкина к Панину, Петр Иванович заверил его в своем желании «послужить Отечеству».