Андрей Львович, пожалуй, никогда не был близок с отцом, а в последние годы тем более. К взглядам отца он относился критически, уже в тринадцать лет четко обозначив свою позицию: «Нельзя же делать всё, что говорит папа». Нрава был резкого, вспыльчивого, переменчивого. Чувственный и весьма наклонный к гульбе. Женщины, вино, табак, светские развлечения, цыгане, охота, словом, всегда «как вечно пьяный», по терминологии Льва Толстого. Уже с пятнадцати лет он днями и ночами гулял в деревне с крестьянками, в восемнадцать лет на одной из них собрался жениться, да отец в письме отговорил. На этот раз послушался. А так с Андрюшей сплошные нелады, истерзавшие отца — всё тот же устойчивый запах вина, гармоника, ночные гулянья. Заметка для себя в дневнике: «Чем он гаже, тем больше надо его любить. Вот этого-то не исполнил». Трудно было исполнить. Вся жизнь Андрея Львовича была прямым вызовом не только взглядам Толстого после духовного переворота, но и строгим правилам прежнего Толстого.
Очередной и совсем уж скандальный, невероятный роман сына привел к почти полному разрыву с отцом (Софья Андреевна всегда любила и жалела веселого, щедрого, честного, бедного, «безвольного вечного страдальца»). В 1907 году Андрей Львович поступил на службу чиновником особых поручений при тульском губернаторе Михаиле Викторовиче Арцимовиче, старинном знакомом Льва Николаевича. Между Андреем Львовичем и женой губернатора Екатериной Васильевной, матерью шестерых детей, и вспыхнула неодолимая страсть (Андрей Львович позднее еще много раз будет вспыхивать любовью к женщинам, он был отчаянный греховодник и сладострастник, а вот Екатерина Васильевна будет беззаветно любить одного своего неверного Андрюшу). Лев Толстой пришел в совершеннейший ужас. Это было даже не прелюбодеяние, а черт знает что — кошмар и безумие. Только в полном затмении можно было совершить такое. Как с серьезно заболевшим человеком, мягко, стараясь не так уж часто касаться пункта помешательства, Толстой, видимо, с ужасом и любопытством выслушав горячую исповедь сына, просившего сохранить всё сказанное в тайне, необычайно мягко дал понять, что не может одобрить ни происшедшее, ни матримониальные планы влюбленных. На крыльях любви и ободренный участливым отношением отца, который и к законному приличному браку двух девственных существ не слишком благоволил, Андрей Львович удалился счастливым, как будто получил родительское благословение. Лев Толстой тем временем, решив, что с обезумевшим сыном толковать серьезно смысла нет, посылает письмо Екатерине Васильевне, «милой, несчастной сестре». («Почему я ему сестра и почему я несчастная, тогда как я такая счастливая тем, что люблю и любима?» — законно возмутилась любвеобильная губернаторша.) В письме Толстой, выбросив за борт такт и разные светские условности, призывает ее понять «всю низость» содеянного и «жестокость того греха», который намерена совершить («оставление мужа и детей»), В суровом, обличительном тоне Толстой осудил преступницу и преступление: «Вы совершили одно из самых тяжелых и вместе с тем гадких преступлений, которые может совершать жена и мать, и, совершив это преступление, вы не делаете то, что свойственно всякой, не говорю христианке, но самой простой, не потерявшей всякую совесть женщине, не ужасаетесь перед своим грехом, не каетесь в нем». Будущее преступных греховодников Толстой рисовал в самых мрачных красках: «Это будущее я вижу так же ясно, как я вижу перед собой стоящую чернильницу. И это будущее ужасно. Особенно тесное сожительство вследствие исключительного семейного положения с человеком с праздными, роскошными и развратными привычками, самоуверенным, несдержанным и лишенным каких бы то ни было нравственных основ, и при этом бедность при привычке обоих к роскоши и у каждого брошенные семьи и или закупоренная совесть, или вечное страдание». Толстой в финале поразительно бестактного и недипломатичного письма (рядом, видимо, не было мудрой советницы Татьяны Львовны) просил «сестру» подумать «только об одном, что вам перед Богом надо сделать, что бы вы сделали, если бы знали, что завтра умрете».
Екатерина Васильевна умирать не собиралась, а Андрей Львович, ознакомившись с наставлением, пришел в ярость, кричал: «Это подлость, подлость! Он же обещал мне хранить тайну!» Андрея Львовича можно понять, как и его отца, полагавшего, что такого рода обещания дают здоровым, а не обезумевшим людям, и делавшего всё, чтобы предотвратить «преступление». Сын в гневе написал отцу оскорбительное письмо, где безудержно его отчитывал. Лев Толстой письмо разорвал.