П. Д. Киселев был человеком дипломатичным и искушенным в штабных делах. А поэтому не мог не покритиковать М. С. Воронцова. В Одессе Киселев встречался с Понсетом, который служил прежде в подчинении у Воронцова. В беседе между ними зашла речь о Михаиле Семеновиче. «Мы много говорили о делах их, — рассказывает Киселев в том же письме Закревскому, — и он согласился, что Воронцов не прав во многом и особенно в том, что полагал геройством не скрывать пренебрежения ко всему, что свыше приходило, и порочить явно все постановления, которые по званию своему обязан был представлять не на посмешище, но на уважение подчиненных своих, либо не служить! Я полагаю, что ты со мною согласен». Однако при этом Павел Дмитриевич не преминул отметить, что многие из постановлений Михаила Семеновича «должно признать полезными, в особенности запрещение жестоких телесных наказаний, которые должны быть распространены на всю армию»3.
Действительно, Михаил Семенович не особенно осторожничал, критиковал многие распоряжения, приходившие из Петербурга от высшего начальства. Поняв, что он не в силах искоренить в армии жестокое отношение к нижним чинам и другие недостатки, он решил уйти в отставку.
С. Р. Воронцов одобрил намерение сына оставить службу: «Вы служили с усердием, с величайшей активностью в течение 19 лет, со счастьем и одобрением; вы имеете право пожить для себя, для своей семьи, для устройства ваших дел, которые у вас не было времени устроить, для приготовления подходящего жилища и для пользования, наконец, независимостью, которая является хорошим руководством для человека ваших понятий о чести и вашей возвышенности души»4.
В конце 1819 года, по приезде в Россию, чета Воронцовых отправилась в Белую Церковь, имение Браницких. В ожидании своей отставки Михаил Семенович задумался о том, где ему жить и чем заниматься. И поехал на разведку в Одессу.
А. П. Ермолов очень переживал за своего друга. «Жаль весьма, — писал он Закревскому, — что брат Михайло имеет по службе неприятности. Надобно беречь подобных ему людей; у нас нет таковых излишних! Не по дружбе к нему, но по самой строгой справедливости оцените его и, без сомнения, найдете, что люди с его достоинствами редки. Прибавьте и ту выгоду, что он молод и государство долго может пользоваться его услугами»5.
Н. Н. Раевский-младший, сын Н. Н. Раевского, героя Бородинского сражения, служил когда-то под началом М. С. Воронцова и очень его уважал. Встретившись с А. П. Ермоловым, он сказал, что служба является господствующей страстью Михаила Семеновича, что тот не может не служить. Впрочем, Ермолов и сам это понимал. «Признаюсь, что мне казалось бы странною мысль сия, и если бы видел я его, то имел бы с ним схватку, — писал он Закревскому. — Я люблю его и слишком люблю пользу Государя, чтобы не стараться победить такую дикую мысль. Кому же служить можно, если не служить графу Воронцову? Его воспитание, его счастливые способности всегда уважаемы будут достойно и, конечно, никто затмить его не в состоянии. Ты, как хороший ему приятель, старайся устыдить его подобною мыслию, но, впрочем, я не думаю, чтобы столько мог он быть неосновательным»6.
А вот что написал Алексей Петрович и самому Михаилу Семеновичу: «Тобою, как человеком известным и слишком примечательным, многие занимаются, и потому и в мой отдаленный край довела молва слухи, что ты желаешь уклониться от службы. Могу ли верить, что ты, отличив себя на пути военном редкими и счастливыми способностями, снискав общее уважение, питая надежду каждого видеть в тебе одно из главнейших орудий правительства, хочешь отнять у себя вернейшее средство быть ему полезным?»7
Несмотря на увещевания друзей, Михаил Семенович продолжал лелеять мысль об отставке, но Александр I отказался удовлетворить его просьбу. Вместо отставки он предложил ему выбор — бессрочный отпуск или без отпуска свободно жить, где хочет, или отправиться путешествовать. Император понимал, что дать отставку уважаемому и любимому в армии Воронцову, значит расписаться в том, что он плохо разбирается в своих генералах, не ценит их заслуги.
В начале 1820 года М. С. и Е. К. Воронцовы приехали в Петербург. В дом на Малой Морской, где они жили, хлынул поток гостей. А на третий день после их приезда сам Александр I посетил находившуюся в положении Елизавету Ксаверьевну. Это возбудило зависть военных, жены которых не удостаивались такой чести. Кроме того, несколькими месяцами позже Елизавете Ксаверьевне был пожалован орден Св. Великомученицы Екатерины — единственный в России «женский» орден.