Были еще два старых дипломата, братья Воронцовы, граф Александр и граф Семен Романовичи; по времени своего служения оба они всецело принадлежали екатерининскому царствованию, но в действительности не были и не хотели быть его представителями по фамильным отношениям. Родные племянники елисаветинского канцлера графа Михаила Иларионовича Воронцова, они всеми своими лучшими воспоминаниями и самыми сильными привязанностями принадлежали царствованию знаменитой «дщери Петровой»; будучи родными братьями Елисаветы Романовны Воронцовой, они не разделяли симпатий и антипатий другой своей сестры, Екатерины Романовны (Дашковой), и враждебно встретили переворот 28 июня. Екатерина II, не умевшая удалить от службы способных людей, не удалила от нее и Воронцовых, но не могла питать к ним и особенного расположения; они никогда не могли надеяться на приближение, чувствовали себя постоянно в почетной опале и потому постоянно находились в оппозиции главным силам и их деятельности. Никита Иванович Панин, заменивший канцлера Воронцова (графа Михаила Иларионовича) в управлении иностранными делами, не терпел Воронцовых и заставил графа Александра Романовича покинуть дипломатическое поприще, и этим создал себе и своей политической системе непримиримых врагов в графе Александре и брате его Семене, которые по тесной дружбе составляли одного человека, так что граф Семен, переменивший впоследствии военное поприще на дипломатическое, в переписке своей не щадил выходок против Панина и его управления, видел одни ошибки в его политической системе, в прусском союзе и его следствиях.
Граф Александр, перешедши к делам внутреннего управления, с почетом занимал важные должности, был сенатором, президентом Коммерц-коллегии, но стоял в отдалении собственно от двора, и клиенты Потемкина считали его влиятельным членом кружка, враждебного их патрону; последнее время царствования Екатерины и все царствование Павла он провел вдали от дел. Выше его по способностям был граф Семен, занимавший с 1785 года пост русского министра при лондонском дворе до самой кончины Екатерины. Осыпанный сначала милостями при Павле, он вдруг подвергся опале, был отставлен, имение его конфисковано. Александр по восшествии на престол поспешил отнестись к обоим Воронцовым с особенной лаской и уважением; граф Семен восстановлен был на прежнем любимом месте; граф Александр сделан членом Совета. Граф Семен, оставаясь горячим патриотом, с участием следя за всем, что делалось в России, не мог, однако, не подвергнуться влиянию долгого пребывания вне России и в стране, которая ему по разным причинам очень нравилась, приходилась вполне по его природе, не способной гнуться пред людьми и обстоятельствами, по стремлению к независимости. Министр, которому не очень по душе та страна, в которой он служит представителем своего государства, спокойнее, беспристрастнее смотрит на отношения к ней своего отечества, легко мирится и с мыслью о возможности охлаждения между ними, и с мыслью о возможности покинуть свой пост. Но министр, которому очень нравится в стране, где он пребывает, боится столкновения между ней и своим отечеством как имеющего нарушить его привычные отношения и связи, столь дорогие ему, боится мысли быть принужденным совершенно порвать их и удалиться из любимой среды. Упрек, который делали графу Семену в его пристрастии к Англии, нельзя назвать неосновательным: доказательством служило его неудовольствие на постановление вооруженного нейтралитета, который естественно и необходимо вытекал из национальной русской политики, был на море таким же действием, каким на суше участие России в Семилетней войне и борьба ее с Наполеоном. Но с последнего десятилетия XVIII века положение графа Семена было чрезвычайно выгодно, потому что по необходимости борьбы с Францией тесное сближение России с Англией стояло на очереди, должно было требоваться государственными людьми как необходимость.
Граф Семен Воронцов сначала был хорошо расположен к графу Н. П. Панину; это расположение Панин умел заискать уважением, доверенностью, которые выражались в его письмах к Воронцову. Но граф Александр Воронцов написал брату очень дурной отзыв о характере представителя неприятной фамилии, и этого было довольно, чтобы переменить отношения графа Семена к Панину: с одной стороны, неограниченное доверие к брату, с другой — невольное раздражение старика, принужденного находиться в известном подчинении у молодого человека, — раздражение, которое обыкновенно ищет только предлога, оправдания, чтобы выразиться. Панин еще в царствование императора Павла имел неосторожность высказать в одном из писем к графу Семену основания своей политической системы, эта система состояла в союзе с Англией, Пруссией и Портой Оттоманской.