Годам к сорока у Американца произошел душевный переворот, вчерашний бесшабашный игрок вдруг сделался истовым богомольцем — по словам Льва Николаевича, «к старости так молился, что колени и руки себе ободрал». Поговаривали, что этот «дуэлист» убил на поединках одиннадцать противников, а теперь он захотел тихой семейной жизни. Еще раз шокировав свет, Американец в жены взял цыганку из табора Авдотью Тугаеву. Волочился он за нею давно, осыпал подарками, а как-то после крупного проигрыша, когда, кажется, осталось только застрелиться, она вернула ему все кольца и брильянты, которые пошли в уплату долга. Это решило участь Американца — вскоре сыграли свадьбу.
Молодые жили в Москве, в Староконюшенном переулке, в доме, где в середине 1840-х годов часто бывали старшие братья Толстого — Николай и Сергей. Брак оказался, мало сказать, неудачным, — из-за него жизнь Американца стала будничным кошмаром. У графини-цыганки обнаружился крутой характер в соединении с жадностью и душевной черствостью: дикие сцены, вздорные претензии, разрывы — все это было обыденностью. Дети один за другим умирали еще младенцами, и граф, кажется, всерьез полагал, что это расплата за его дуэли. Последней была страстно им обожаемая дочь Сарра, по свидетельству Пушкина, «так же почти сумасшедшая», как отец; прожившая свои семнадцать лет «в мечтательном мире, окруженная видениями», она сочиняла стихи по-немецки. Герцен находил, что у этой необыкновенной девушки был действительно поэтический дар.
Федора Ивановича Герцен видел в трагическом для несчастного отца 1838 году. В «Былом и думах» он запечатлел старика со сверкающими глазами и атлетическим телом. «Сколько энергии и силы было ему дано от природы. Он развил одни буйные страсти, одни дурные наклонности, и это не удивительно, всему порочному позволяют у нас развиваться долгое время беспрепятственно, а за страсти человеческие посылают в гарнизон или в Сибирь при первом шаге»…
В Ясную Поляну Американец, видимо, приезжал годом-другим раньше и поразил воображение ее юных обитателей, одного из которых, Сережу, вылечил от зубной боли, воспользовавшись для этой цели батистовыми платками. А двадцать с лишним лет спустя в руки Льва Толстого попадет рукопись Полины, единственной дочери его самобытного родича, достигшей зрелых лет; она вышла замуж за Василия Перфильева, короткого приятеля Толстого в годы юности (считается, что это прототип Стивы Облонского в «Анне Карениной»), Поленька тоже была не без странностей: Толстой, случалось, именовал ее «чучелой» и как-то записал в дневнике, что «она противна» — видимо, своей манерностью, придирками к благодушному, слабовольному мужу, сюсюканьем с жившей у нее обезьянкой, которая бегала по комнатам, дергая за волосы гостей. Однако одаренности ей было не занимать. Рукопись, которая называлась «Графиня Ина», Толстой литературно обработал и помог напечатать в «Русском вестнике». Правдиво описанные автором эпизоды детства создавали красочную картину бешеных страстей, которые кипели под крышей дома в Староконюшенном, и «адских нравов» его владельцев.
Тогда же, пораженный этой рукописью. Толстой напишет своей двоюродной тетке, графине Александре Андреевне: «В вас есть общая нам толстовская дикость». И назовет Американца с его татуировками.
Дед, Илья Андреевич, как и отец, Николай Ильич, тоже не обделены были чертами, подходящими под определение «толстовская дикость», хотя «ночной разбойник» Федор Иванович в этом отношении дал бы сто очков вперед им обоим. «Воспоминания» содержат всего лишь несколько строк об Илье Андреевиче, который представлен как «человек ограниченный, очень мягкий, веселый и не только щедрый, но бестолково мотоватый, а главное — доверчивый». В семейной летописи сохранились свидетельства об игре в ломбер и вист, о не плативших должниках и каких-то безумных аферах, которые вконец разорили Илью Андреевича, пустившего по ветру большое имение жены в Белёвском уезде. Без малого в семьдесят лет пришлось ему, любителю пиров и катаний, хлопотать о должности с приличным жалованьем. «Брига-дер», как значится в подписанных им официальных бумагах, не служил уже давно, но, как писал он супруге, «что ж делать, друг сердечный, должно повиноваться рассудку».