«Люблю его, как брата, и нахожу достойным: он умен и старается приобретать знания» — так характеризовал Карамзин оставленного его попечению князя Петра Вяземского в письме Дмитриеву. Но опека легла на Карамзина нелегким грузом: молодой Вяземский доставлял ему немало хлопот.
В 1805 году, видя, что домашнее обучение не дает достаточных результатов, князь Андрей Иванович отправил сына в Петербург в иезуитский пансион, славившийся серьезностью образования и воспитания. Перед отъездом Андрей Иванович вызвал сына и продиктовал ему его характеристику, объясняющую, почему князю Петру следует стать воспитанником отцов-иезуитов: «Вы не лишены ни ума, ни известного развития, но ветреность Вашего характера делает то, что Вы отвлекаетесь всем, что Вас окружает, сколь бы ни было это незначительным и ничтожным. Леность Вашего ума, это вторая причина Вашего невежества, заставляет Вас скучать и испытывать отвращение к изучаемым Вами предметам в тот момент, когда они требуют особого внимания и прилежания. Пустота и бессодержательность Вашего времяпрепровождения после классов — третья причина Вашего невежества: или Вы повсюду слоняетесь, как дурачок, или Вы занимаетесь такими пустяками, как пускание змея, или другими детскими игрушками. Даже если Вы и берете книгу, то это лишь от скуки и от нечего делать. Старые газеты или серьезное сочинение — это для Вас безразлично, Вы читаете все, что первым попадается под руки».
Год спустя отец перевел его в другой пансион, при Педагогическом институте, где дисциплина была слабее. Петр сблизился с компанией светской молодежи, ходил в театры и маскарады, участвовал в попойках и разных веселых похождениях. Князю Андрею Ивановичу донесли об этом, и он приказал сыну вернуться в Москву.
Склонный к самоанализу, Петр Вяземский в 1807 году пишет литературный автопортрет:
«У меня маленькие и серые глаза, вздернутый нос (я, право, не знаю хорошенько, какого цвета; так как в этом презренном мире все следует за модой, то я сказал бы, что мой нос слегка розовый). Как бы в вознаграждение за маленький размер этих двух частей моего лица мой рот, щеки и уши очень велики. Что касается до остального тела, то я — ни Эзоп, ни Аполлон Бельведерский!.. У меня чувствительное сердце, и я благодарю за это Всевышнего!.. Потому что, мне кажется, лишь благодаря ему я совершенно счастлив, и лишь одна чувствительность, или по крайней мере она — одно из главных свойств, отличающих нас от зверей… У меня воображение горячее, быстро воспламеняющееся, восторженное, никогда не остающееся спокойным… Я очень люблю изучение некоторых предметов, в особенности поэзии… Я не глуп, — но мой ум часто очень забавен. Иногда я хочу сойти и за философа, но лишь подумаю, что эта философия не увеличит моего счастья, — скорее наоборот, — я посылаю ее к черту».
Получив наследство, Петр Вяземский пустился в разгульную жизнь, кутил, крупно играл. Впоследствии он так объяснял свое поведение: «Мне нужно было в то время кипятить свою кровь на каком бы то ни было огне, и я прокипятил на картах около полумиллиона». Просьбы Карамзина переменить поведение не имели успеха, единственно, что удалось — это уговорить поступить на службу. Карамзин предполагал, что наследство кончится и придется зарабатывать средства на жизнь. Так оно и получилось: время от времени Карамзин должен был выручать Вяземского; кажется, последней такой заботой были хлопоты о покупке его имения (заложенного и перезаложенного) комиссией по строительству храма Христа Спасителя. В 1824 году Карамзин писал члену комиссии С. С. Кушникову: «Эта продажа может спасти его от совершенного разорения. Теперь трудно найти покупщика на такое значительное имение между людьми частными; а если он не найдет, то у него скоро опишут все имение за неплатеж в Воспитательный дом. Бедственное состояние этого умного, доброго, но беспечного брата нашего считаю нещастием моих преклонных лет».
Вяземский был зачислен в Московскую межевую канцелярию. Фактически он только числился на службе, продолжая прежнюю жизнь, однако по прошествии полугода из юнкеров был произведен в чин титулярного советника. В 1810 году Карамзин выхлопотал ему через И. И. Дмитриева придворное звание камер-юнкера. Таким образом, князю Петру открывалась возможность служебной карьеры, дальнейшее зависело от него самого.