Какое-то время в юности и позднее он был близок к отцу. Неизменно правдивая и справедливая Татьяна Львовна утверждала: «Был период, когда он выше всего ставил воззрения своего отца». Толстой возлагал на сына немалые надежды, считая, что тот один следует по его новому пути. В октябре 1892 года он записал в дневнике: «С Левой разговор. Он ближе других. Главное, он добр и любит добро (Бога)». Однако многие отмечали, что Лев Львович больше был похож на мать — лицом, способностями, вкусами. Александра Львовна вспоминала, что Толстой незадолго до смерти с досадой сказал ей: «Все капельки подобрал. Та же поверхностность, самодовольство». Вероятно, так и было. Однако могла и кое-что преувеличить, ведь отношения между нею и братом были враждебные, в конфликте отца и матери они оказались на противоположных полюсах. «Нервный, суетливый, он вечно метался, увлекаясь то музыкой, то литературой, надумывал свои теории гигиены, — пишет Александра Львовна. — Он рассуждал о серьезных вещах с безапелляционной самоуверенностью, не продумав вопроса, часто себе противореча. Нужно было иметь всю кротость и терпение отца, чтобы переносить заявления Льва, вроде того, что крестьянам земля не нужна, что порядок не может быть установлен без смертной казни и т. п.».
Терпение Толстого, положим, было вовсе не беспредельным, в чем он сам же винился, перечисляя грехи, а о «кротости» нечего и говорить. Но Лев Львович действительно кого угодно мог вывести из себя, а об отце он иногда говорил такое, что выглядит полной нелепицей: «Я скажу еще одну ужасную вещь. Он был завистлив. Он завидовал мне, моим годам, моим путешествиям, может быть, даже тому, что я лепил мою мать, а не его в последнее лето». Это даже странно, кажется написанным в каком-то затмении. Всё обстояло как раз наоборот; с полным основанием Лев Толстой утверждал в 1907 году: «Удивительное и жалостливое дело — он страдает завистью ко мне, переходящей в ненависть». Толстой видит сына насквозь, нисколько не сомневаясь в точности своих выводов. Испытывает боль, срывается и винит себя за столь нехристианское поведение: «Этому можно и должно радоваться, как духовному упражнению. Но мне оно еще не под силу, и я вчера был очень плох — долго не мог (да и теперь едва ли вполне) побороть недоброго чувства, осуждения к нему. Соблазн тут тот, что мне кажется главным то, что он мешает мне заниматься „важными делами“. А я забываю, что важнее того, чтобы уметь добром платить за зло, ничего нет».
Лев Львович был любимчиком Софьи Андреевны, и нередко они дружно поддерживали друг друга, нападая на Льва Николаевича. По отношению к старому отцу вел себя вызывающе, а, прямо говоря, — преступно. Тяжело и больно читать эти строки из потаенного дневника Толстого: «Ужасная ночь… И ужаснее всего был Лев Львович. Он меня ругал, как мальчишку, и приказывал идти в сад за Софьей Андреевной… Не могу спокойно видеть Льва», «Я совершенно искренне могу любить ее, чего не могу по отношению к Льву», «Льва Львовича не могу переносить. А он хочет поселиться здесь. Вот испытание».
Свою вину Лев Львович не отрицал, хотя и не любил к этим тяжелым временам возвращаться. После смерти отца думал о нем часто, постоянно, а иногда отец ему снился в особенно грустные минуты в каких-то сюрреалистических снах: «Если бы он был, я был бы другим. Одно его присутствие заставляло жить лучше. Его смерть и всё после этого меня погубило. Сегодня ночью вдруг ясно вижу его перед собой в тяжелом полусне. Лицо красивое, строгое, серьезное и смотрит на меня в упор. Я тоже смотрел на него жадно, ожидая совета, слова. И вдруг в отчаянии я ему закричал: „Папа, папа, папа!“ Тогда голова свернулась в сторону, поднялась в темноте и исчезла». Чаще, к сожалению, бранил отца направо и налево, высказывался о нем с осуждением и ненавистью, говорил, что стыдится его, отрекался от родства. Терпеливая, толерантная, добрая Татьяна Львовна жалела несчастного, жалкого, одинокого, бестолкового и бестактного брата, сокрушаясь и негодуя одновременно: «Это мое больное место, мой вечный крест» (в письме любимому брату Сергею 1937 года). О ничтожной и пустой жизни сына редко, но все же заговаривала Софья Андреевна; отчаяние Доры, жены Льва Львовича, в очередной раз проигравшего деньги (он был неизлечимый игрок, да и кутежи, женщины занимали неподобающе большое место для семьянина, отца восьми детей в его бесконечном досуге), побудило ее с горечью признать: «Дора говорит, что Лева проиграл около 50 тысяч. Бедная, беременная, заботливая Дора! Тысячу раз прав Лев Николаевич, что обогатил мужиков, а не сыновей. Всё равно ушло бы всё на карты и кутежи. И противно, и грустно, и жалко! А что еще будет после моей смерти!» Ничего после ее смерти не изменилось: продолжались всё та же игра и те же кутежи, что и при жизни Софьи Андреевны, давно уже не пользовавшейся авторитетом у сыновей.