Одно время он совсем оставил службу, по неприятностям с князем Волконским, министром императорского двора, пользовавшимся всею доверенностию императора Николая. Года уже три спустя по выходе Юсупова таким образом в отставку государь спросил его, зачем он не поступает снова на службу и «долго ли станет еще блажить».
— До тех пор, государь, пока будет при вас Волконский.
— Ну, так подождем.
К числу наших вельмож-ветеранов, не блиставших гением, но служившим с честию и отличием во всех кампаниях, принадлежал князь Алексей Григорьевич Щербатов, человек, известный военными своими доблестями и притом добрый и любимый в обществе. Быв генерал-адъютантом еще во времена императора Александра, он с 1832 года состоял председателем генерал-аудиториата, как вдруг ему нанесли политический удар: другой, тоже александровский генерал-адъютант, князь Трубецкой, еще уступавший Щербатову по уму и не имевший его военных заслуг и репутации, был назначен членом Государственного Совета. Щербатов не скрыл своей досады и тотчас подал в отставку, которая была дана ему без всяких объяснений.
С тех пор прошло года три, и в продолжение их государь не переставал его отличать: он по-прежнему приглашался на все придворные балы, большие и малые, даже и на вечера, бывавшие в Аничковом дворце; но объяснений между тем все никаких не было, и государь обходился с ним как бы ничего не случилось, никогда даже самыми отдаленными намеками не вызывая князя к выражению причин, побудивших его оставить службу.
Во все салоны Щербатов приезжал во фраке, а во дворец — хотя и в генеральском мундире, но, в качестве отставного, без эполет; лето он проводил в своем имении, а на зиму возвращался в Петербург.
Часто видясь с ним в свете, мы встретились и на большом дворцовом бале 23 апреля (1839 года). Он объявил мне, что через день уезжает в деревню, где останется до глубокой осени, и просил не забывать его по случаю одного его процесса, производившегося тогда в Государственном Совете. Вдруг, спустя несколько дней, я читаю в газетах, что выехал из Петербурга «генерал от инфантерии князь Щербатов, шеф Костромского пехотного полка». Что значила эта внезапная перемена после недавнего — можно сказать, накануне — свидания и разговора моего с отставным Щербатовым? Мне объяснил это уже потом князь Васильчиков, питавший к нему всегда особенную дружбу[26], и вот подробности дела, мало кому и в то время сделавшиеся известными.
За несколько дней перед сказанным балом был развод на площадке перед Зимним дворцом. Князь Щербатов имел надобность сказать что-то генерал-адъютанту Нейдгардту, и как солдаты стояли вольно, ружье у ноги, то, полагая, что государь еще не прибыл, он вошел в оцепление, куда допускаются одни только военные. Но государь был уже на площадке и, заметив Щербатова, послал военного генерал-губернатора сказать ему, что в статском платье тут никому не место. Встревоженный этим замечанием, Щербатов, но возвращении домой, поспешил написать к графу Бенкендорфу письмо, в котором изъяснил происшедшее недоразумение, прибавив, что без того никогда не отважился бы нарушить известных ему по прежней службе военных правил. На это ему отвечали в очень благосклонных выражениях, что и государь не подозревал никакого умышленного с его стороны нарушения порядка и что его величеству всегда приятно будет видеть князя на разводе, если он станет являться, по общему порядку, в мундире. За этою перепискою непосредственно следовал упомянутый мною выше придворный бал. Государь, увидев здесь Щербатова, сам подошел к нему и, повторив изустно написанное Бенкендорфом, сказал:
— Я знаю, что ты на меня дулся и все еще дуешься; напрасно: надо было тогда же объясниться, и все бы развязалось.
— Государь, я и был готов на такое объяснение, в случае, если бы вы изволили меня к себе призвать; но надежда моя на это не сбылась, и в сознании, что я служил не хуже других, которые меня обошли, я не мог, при таком знаке нерасположения вашего величества, поступить иначе и должен был оставить службу.