Небольшой обоз пылил по дороге в сторону Подольска. Впереди дети с гувернерами, потом княжеская коляска, за ней несколько верховых и телег с мебелью, книгами, одеждой… Ветер колыхал верхушки берез вдоль обочины, одуряюще пахло полевыми цветами и травой. Не приобретенная на конгрессе Польша — коренная Русь вокруг, от небес до последнего листика… И каким все показалось далеким, мелким — канцелярские интриги, глупость начальников, спесь польских красавиц, собственные честолюбивые надежды… Подвиг не состоялся, ну и Бог с ним. Ясно, что никакого подвига в жизни не будет — кто поссорился с царем, тому уж не до подвигов… Когда завиднелись крыши остафьевских изб, раздался издалека колокольный звон — веселым благовестом встречала церковь Живоначальной Троицы возвращение барина… Все тридцать девять остафьевских дворов высыпали на улицу. У въезда в усадьбу староста, степенно поклонившись, поднес хлеб-соль… Вот и знакомый с детства пруд, плотина, деревья на ней уже вытянулись в высоту. Экипажи дали круг по аллее и замерли у парадного входа во дворец. Девятилетняя Маша уже бежала наверх по ступеням, радостно лепетала что-то матери четырехлетняя Пашенька, трехлетний Николенька с восторгом глазел на красивый дом с колоннами, которого он и не видел-то никогда, а годовалый Павлуша, утомленный дорогой, мирно посапывал на руках нянюшки… Суетились лакеи. Фыркали усталые лошади. Окна дворца, чисто вымытые к приезду хозяев, весело сверкали на солнце… И можно зайти в Карамзинскую комнату, пройтись по липовой аллее… Вот он и дома.
Лето 1821 года — первое лето опалы — Вяземские провели в уединении. Лишь однажды на четыре дня приехал к ним милый и говорливый, как прежде, Василий Львович Пушкин… Опамятование от Варшавы и отставки, примирение с резкой переменой обстановки продолжалось долго и тяжело (Булгаков даже предполагал, что у Вяземского развилась меланхолия — как болезнь). «Я в деревне еще не обсиделся, — сообщал князь Тургеневу. — Тысяча… мелочей наводят тусклость на жизнь». Вяземский чувствовал себя в вакууме — старых друзей рядом нет, службы тоже, обличать и пылать негодованием не на кого… В Москву совсем не тянуло — он несколько раз высовывал туда нос и снова скрывался в деревню. Регулярно видел лишь Федора Толстого да изредка пересекался с Булгаковым. Не сходился он ни с кем в Первопрестольной, и попадались сплошь дураки: «Обухом мысли не выбьешь ни из одного»… Это был уже другой, не отцовский, не дружеский, «послепожарный» город: «Праздность, рассеянность, глупая роскошь, роговая музыка, крепостные виртуозы и в школе палок воспитанные актеры, одним словом, нелепое бригадирство». Многие годы спустя Вяземский будет негодовать на тех, кто видел в старой Москве только толпу грибоедовских персонажей, но в начале 20-х его нередко переполняли самые что ни на есть «Чацкие» эмоции. Недаром же, по одной из версий, Грибоедов кое-какие черточки Вяземского передал главному герою своей комедии…
Не мог Вяземский не знать и о том, что в Москве за ним установлен тайный полицейский надзор. Тайный-то он был тайный, но генерал-губернатор князь Дмитрий Владимирович Голицын или, что еще вернее, Булгаков наверняка сообщили о нем князю. Ходили о Вяземском дурацкие слухи (например, о том, что в деревне ему велено жить два года безвылазно — Михаил Орлов слышал это в Одессе). Книги, которые заказывал он из Польши, проходили специальную цензуру, а французские газеты пересылать из Варшавы в Остафьево запретил лично великий князь Константин. Все это были мелкие унижения, но и они вызывали досаду.
И еще не было денег. В 1819 году новые налоги сильно ударили по остафьевской суконной фабрике, так что работала она буквально на последнем издыхании. Сплошные убытки приносили тульские и костромские поместья. А деньги ох как были нужны, хотя бы для того, чтобы ремонтировать усадебный дом. Вяземский скрепя сердце занял у графа Апраксина тридцать тысяч рублей, и Остафьево надолго превратилось в строительную площадку — фасад дворца штукатурили, обустраивали оранжерею (в ней росли груши, лимоны, померанцы, персики, шпанские вишни, в теплице — арбузы и дыни), перестилали полы… Визжали пилы, стучали топоры. Пахло масляной краской. Рабочие копали колодцы. На двор усадьбы въезжали телеги с войлоком, паклей, хворостом для отопления оранжерей, цветочными горшками… Вяземский занялся планировкой усадебного парка — сделал заказ архитектору Мельникову. Задумал парк в английском вкусе, с изящными аллеями, расходящимися полукругом, с «затеями» — «Марсовым полем», гротом с фонтаном, беседками, храмами, статуей Флоры… Тогда же появились в Остафьеве Карамзинская аллея (а еще раньше Петр Андреевич и сестра его посадили березки Карамзинской рощи), роща «Огорок» и терраса под старинной липой, которую по традиции звали «Ляпуновской» — в память древнего владельца усадьбы. Перед самим домом Петр Андреевич и Вера Федоровна посадили каждый по два тополя и две ивки. Ухаживали за ними тщательно, но приживались деревья почему-то плохо и скоро погибли.