Однако не все были в восторге от его правления этим обширным краем. Так, граф П. В. Заводовский со свойственной ему резкостью выразился по этому случаю: «Распорядок на страну Оренбургскую хорош был по голове Неплюева; но в наш век возлагают на юродивого и шута». А бывший одно время адъютантом у князя А. М. Тургенев писал, что Волконский был человек «вспыльчивый, бешеный, надменный, бестолковый. Нельзя сказать о нем, что он был дурак, но суждение его во всем обо всем было странное, уродливое»… Что же послужило причиной столь обидного для генерала мнения? Дело в том, что о странностях Волконского ходили легенды. Совершенно заслуженно ему отведено несколько страниц в книге М. И. Пыляева «Замечательные чудаки и оригиналы».
Чудачества Волконского и его подражание великому Александру Суворову были хорошо известны оренбуржцам. Григорий Семенович благоговейно хранил память о своем учителе всю жизнь. Как и Суворов, оренбургский губернатор любил холод. А. И. Второв писал, что Волконский «зимой и летом ежедневно обливался холодной водой, ходил часто по улицам без верхнего платья и говорил: “Суворов не умер. Он во мне!”» Волконский, как и Суворов, считал прусскую военную форму уродливой (хотя с этим многие согласились бы), не хотел носить косу и букли, чем навлек на себя гнев императора Павла I.
И хотя большинство историков считает, что князь управлял вверенным ему Оренбургским краем не очень удачно, но все-таки существует и другое мнение. Генерал-майор И. В. Чернов называл Волконского хорошим администратором, однако признавал, что в последние годы своего правления губернатор практически не занимался даже важными делами.
Но думается, что управление краем все же было генералу не по плечу. Современники с облегчением отмечали: слава Богу, что не состоялся готовившийся в 1805 году поход на Хиву – помешала русско-турецкая война. А так, одолеваемый суворовскими амбициями, Волконский мог очень далеко завести русское войско. К тому же из-за контузии в голову Григорий Семенович вел себя очень странно. Историк Ф. И. Лобысевич рассказывает, что князь «был большой чудак, постоянно ходил в халате с надетыми на него орденами и в таком костюме даже прогуливался по улицам, сопровождаемый толпами мальчишек». Из всех своих пеших прогулок он возвращался домой на какой-нибудь попутной телеге… «Когда князь выходил из дому посидеть на крыльцо, то любимым его занятием было останавливать женщин и любезничать с ними. Получив из Санкт-Петербурга бумаги, князь Волконский прежде всего распечатывал царские указы, благоговейно крестился, целовал подпись и, не читая, клал их за образ в своем кабинете. Когда же являлся правитель канцелярии, который собственно управлял краем, то, отдавая ему указы, приговаривал: “Дать надлежащий ход”».
Бумаги князь подписывал не читая и только спрашивал правителя канцелярии: «Ты читал, что здесь написано?» – «Читал, ваше сиятельство». – «Побожись». Правитель божился, и тогда Волконский подписывал все, что ему давали.
Конечно, ему было одиноко в захолустном Оренбурге, вдали от семьи и блеска двора. За 13 лет губернаторства – «азиатского одиночества» – к нему только дважды приезжала жена. Александра Николаевна – доверенное лицо императрицы Марии Федоровны, первостепенная фигура при дворе Николая I – не могла оставить придворную службу. А Григорий Семенович так радовался ее визитам, превращая ее приезды в настоящие торжества. В 1805 и 1816 годах он выезжал ей навстречу, как только получал весть, что княгиня всего лишь «приближается к пределам азиатским». Изредка отца навещали дети, но особенно он радовался посещениям своей любимицы Софьи. Отъявленный «вояка», заслуживший от самого Суворова аттестацию «неутомимый и трудолюбивый», был по отношению к родным сентиментальным, искренним и простодушным, о чем свидетельствовали его письма к дочери. В них он называет ее «душевным другом» и «ангелом». Текст изобилует «сладчайшими сентиментами к дорогим обжектам». Старик рекомендует дочери: «детей-ангелов держи, голубушка, где их комната, чтоб всегда был чистейший свежий воздух, отнюдь не жарко натопленная печь: никогда у ангелов кашля не будет». Беременность дочери отец называет «благословенным положением».
Видимо, Софья была для Волконского очень близким человеком. Ей он писал не только об оренбургских событиях, но и о товарах из Азии, подарках, которые он направлял из Оренбурга близким и друзьям. Князь всегда с нетерпением ждал караваны из Азии, чтобы накупить редких товаров для подарков. Особенно его привлекали кашемировые шали и платки, их он приобретал в огромном количестве. Одну, белую, особенно нарядную, Григорий Семенович отправил Марии Федоровне. Шаль императрице понравилась. И даже последовал ответ: «Обещаю наряжаться в сию шаль при упоминании о Вас, шаль прекрасная, и я очень чувствительна к намерению Вашему мне удовольствие сделать». Очень часто он также посылал в Петербург лошадей. А в одном из писем к дочери читаем: «Вам, голубушка, невестке… братьям пришлю славные шубы черные лисьи. Носите на здоровье!»