Сергей Львович был замкнут, сдержан и застенчив. Сестры его любили за благородство, честность, независимость и доброту. Младшая сестра Александра писала о нем с любовью и состраданием: «Он был самый серьезный и трудолюбивый из всех братьев Толстых, жил своей обособленной жизнью, не примыкая ни к матери, ни к отцу, редко делился своими мыслями с семейными, тая всё в себе, и только когда Сергей садился за фортепьяно и часами играл своих любимых Шопена, Бетховена, Баха, Грига и пытался что-то сам сочинять, все невольно заслушивались… только роялю одному Сергей открывал свою душу: в звуках то бурно-страстных, то нежно-певучих чувствовались и грусть, и внутренняя борьба этого некрасивого, замкнутого в себе юноши». Самый строгий и надежный из всех сыновей Толстого, которого, по мнению Татьяны Львовны, он не оценил по заслугам.
Толстой смотрел на детей как на различные отражения своего облика, и очень часто эти отражения ему не нравились, временами он даже с отвращением гляделся в безжалостные, равнодушно правдивые зеркала. Он не отделял и не мог отделить детей от себя. Нес ответственность за всё — и за благородные порывы, и за «нравственную тупость». Они были его детьми, его произведениями, его грехами, его добродетелями и пороками. «Мои дети, мое произведение со всех сторон, с плотской и духовной. Я их сделал, какими они есть. Это мои грехи — всегда передо мной. И мне уходить от них некуда и нельзя. Надо их просвещать, а я этого не умею, я сам плох. — Я часто говорил себе: если бы не жена, дети, я бы жил святой жизнью, я упрекал их в том, что они мешают мне, а ведь они — моя цель, как говорят мужики. Во многом мы поступаем так: наделаем худого; худое это стоит перед нами, мешает нам, а мы говорим себе, что я хорош, я бы всё сделал хорошо, да вот передо мной помеха. А помеха-то я сам».
Толстой считал воспитание процессом бесконечным и не оставлял без наставлений и советов уже выросших и повзрослевших, со сложившимися жизненными правилами и привычками детей; чем взрослее они становились, тем больше интересовали его — Толстой не жалел времени как на беседы, так и на переписку с ними. Споры, часто перетекавшие в ссоры, не останавливали и не смущали его. Много раз он срывался, слишком горячился, злился, гневался, обрывал с досадой разговор или брал не тот тон, актерствовал, не был искренен. Следовательно, не выдержал «экзамен», сплоховал — повод занести этот «грех» в дневник и постараться в следующий раз не провалиться. Воспитание у Толстого неотделимо от самовоспитания, от никогда не прекращающейся работы самосовершенствования. Слова отца могли задевать, обижать, больно ранить — на правах очень близкого родственника он позволял себе с детьми многое, особенно не церемонился и эмоций не скрывал — терпением Толстой не отличался, искусством иронии владел в совершенстве, но дети нуждались в слове отца и болезненнее всего переживали молчание. Сергей Львович, с которым Толстой спорил много и «придирался» к нему нещадно, измученный непривычно долгим молчанием отца, получив наконец от него письмо, признавался: «Я был очень обрадован и тронут твоим письмом. Меня всегда мучает твое молчание, и тогда мне кажется, что ты меня бесповоротно осуждаешь. А твое мнение, какое оно резкое ни было, мне всегда чрезвычайно дорого». Толстого тронуло письмо сына, может быть, более всего правдивостью. Сергей Львович был правдив и прямодушен, что Толстой, конечно, знал. Он беспокоил его гораздо меньше других сыновей, нуждавшихся в отцовских советах и наставлениях, то и дело своими импульсивными беспутными поступками огорчавших родителей. За старшего сына вполне можно было не беспокоиться, у него был сильный характер и минимум пороков, дурных привычек. Софья Андреевна любила всех своих сыновей больше дочерей, особенно «проблемных» — Льва и Андрея (они и были на ее стороне в год ухода Толстого из Ясной Поляны). Непутевые, больные и блудные дети особенно любимы.