Но порой становилось совсем нестерпимо. Почти весь 1884 год семейные скандалы сотрясали Ясную Поляну. Толстой чувствует себя одиноким в семье и окруженным домашними врагами, огрызающимися на «ворчливого старика», обличающего их безумство — праздную, сытую, веселую и пустую жизнь, вообще-то не такую уж безумную и праздную, а вполне добропорядочную и деятельную, хотя и не по тем правилам, которые считал общеобязательными Толстой, хотевший от членов своей разросшейся семьи служения, жертвенности, опрощения: «Очень тяжело в семье. Тяжело, что не могу сочувствовать им. Все их радости… успехи света, музыка, обстановка, покупки, всё это считаю несчастьем и злом для них и не могу этого сказать им. Я могу, я и говорю, но мои слова не захватывают никого. Они как будто знают не смысл моих слов, а то, что я имею дурную привычку это говорить». Ситуация неразрешимая; тут, как любил шутить Николай Лесков, «коза нашла на камень». А точнее, она могла быть разрешена только самым радикальным образом, на что Толстой по очень многим причинам пойти не мог.
Существовало еще одно обстоятельство, сильно осложнявшее семейную жизнь, становившуюся совсем несносной — очередная беременность Софьи Андреевны, требовавшей от мужа предельной внимательности и осторожности. На философский и толерантный лад настраивали чтение Конфуция и шитье башмаков, но далеко не всегда и это помогало. Толстой винит себя за несдержанность: «Я имел несчастье и жестокость затронуть ее самолюбие, и началось. Я не замолчал… Она очень тяжело душевно больна. И пункт это беременность. И большой, большой грех и позор».
Повинился в грехе, заодно пронумеровав его. Раздражение всё не проходило. Безумие окружающих невыносимо. Вновь через несколько дней срывается, на этот раз вымещая недовольство на дочери: «Стал выговаривать Тане, и злость. И как раз Миша стоял в больших дверях и вопросительно смотрел на меня. Кабы он всегда был передо мной! Большая вина, вторая за месяц. Всё ходил около Тани, желая попросить прощения, и не решился». Трогателен Толстой, ходящий около дочери и так и не решившийся попросить у нее прощения. Похоже, что он готов попросить прощения и у маленького Миши, вопросительно на него смотревшего. Нехорошо, стыдно, еще одна вина, еще один грех. Удивительно неугасающее чувство неудовлетворенности собой, бесконечный процесс самосовершенствования, потребность всегда ощущать устремленный на него вопрошающий взгляд невинного ребенка, уподобиться которому завещал не Конфуций, а другой учитель.