Дела графа шли в гору, он был приближен и обласкан. Рассказывали, что самодержец даже наградил его своим портретом, вырезанным на кости, написав при этом: «Посылаю тебе мою рожу своей работы». Но через два года после смерти великого деда российский трон достался сыну «злодея и губителя». А Меншиков, деятельно тому способствовавший, — ведь свою дочь он хотел обручить с малолетним Петром II — не упустил случая расправиться с ненавистным ему сенатором. Граф Петр Андреевич был лишен всех титулов и состояния, а кнута избежал только в силу преклонных лет. Казнь заменили вечной ссылкой на Соловки, в монастырь, служивший и политической тюрьмой. Иван, старший сын, последовал за ним, и оба вскоре умерли «под крепким караулом», означавшим, среди прочего, что кандалы запрещено снимать, даже когда содержащихся под стражей приводят в церковь.
Среди бумаг Толстого есть выписки из этого судебного дела, сделанные в архиве Министерства юстиции; они, надо думать, потребовались в связи с замыслом романа из петровского времени. В «Воспоминаниях», однако, нет ни слова о сановнике, у которого кабинет был увешан иконами, но в уголке, подальше от любопытных глаз, висела итальянская картина с изображением обнаженной пышнотелой девицы. О внуке его, Андрее Ивановиче, которого по малолетству не тронули, когда расправлялись с дедом, а заодно и с отцом, известно мало. Воевода в Свияжске, затем в Суздале, он, по семейным преданиям, отличался большой чувствительностью и обожал жену, которая вышла за него неполных четырнадцати лет и одарила двадцатью тремя чадами, часто умиравшими в очень нежном возрасте. Выжило одиннадцать. А некоторые из внуков Андрея Ивановича стали знаменитыми: Федор Петрович Толстой, гравер и медальер, вице-президент Академии художеств, и поэт Алексей Константинович.
Впрочем, прижизненной славой их обоих превзошел третий внук, Федор Иванович, прозванный Американцем, тот самый, которому посвящены вошедшие в пословицу строки Грибоедова: «Ночной разбойник, дуэлист, в Камчатку сослан был, вернулся алеутом и крепко на руку нечист». Ребенком Толстой видел его в Ясной Поляне и запомнил это «прекрасное лицо, бронзовое, бритое, с густыми белыми бакенбардами до углов рта, и такие же белые курчавые волосы». Человеком он был на самом деле необыкновенным, «преступным и привлекательным», как написано в «Воспоминаниях». Отправился в 1803 году с Крузенштерном в кругосветное плавание на паруснике «Надежда», после ссоры с командиром экспедиции был, по слухам, высажен на острове и жил среди диких племен, где покрыл все тело татуировкой. Его двоюродная племянница Мария Каменская, которая в свое время была довольно известным литератором, вспоминает, как Американца, когда он бывал в Царском Селе у ее деда, упрашивали показать необыкновенные украшения на своем теле: снять перед дамами рубашку, а потом продемонстрировать кавалерам и все остальное. Его не приходилось долго упрашивать. И присутствующие могли рассмотреть на его груди большую пеструю птицу вроде попугая, а на плечах змей.
Каким-то образом Американец смог добраться до Петропавловска, откуда ему предстоял долгий путь в Петербург. А там все пошло так же, как прежде: кутежи, карты, женщины, полеты на воздушном шаре…
Он проявил исключительную храбрость при Бородине, где был с московским ополчением. Ему возвратили офицерский чин, он получил Георгия 4-й степени, но не остепенился. Вяземский, друг Пушкина, писал про Американца, что он «на свете нравственном загадка». А у самого Пушкина вышла с этим бретером история, которая в ту эпоху обычно заканчивалась дуэлью. Американец распространил слух, будто юного стихотворца высекли в тайной канцелярии, и поэт: решил «дерзкой обидой отплатить за тайные обиды человека, с которым расстался я приятелем». Из южной ссылки Пушкин «закидал… журнальной грязью» своего обидчика, сочинив эпиграмму, которую поместить в журналах не смог, но не огорчился этим, зная, что ее повторяют на всех углах:
Их помирили лишь после возвращения Пушкина из Михайловского, и граф Федор даже был посредником в сватовстве поэта. Но былое приятельство кончилось. У «алеута» в ту пору не нашлось бы и двух-трех друзей. Одни его ненавидели, затаив обиду. Другие побаивались, но все-таки отдавали должное его незаурядности. Коротко с ним знакомый Вяземский писал, что его «душа есть пламень», а «ум холодный эгоист». Фаддей Булгарин, тоже знававший Американца, под старость вспоминал о нем «как о необыкновенном явлении даже в тогдашнее время, когда люди жили не по календарю или не под диктовку и ходили не по стрункам».