Помещик Темешов, дальний родственник по Горчаковым, живший в сорока верстах от Ясной Поляны, пристроил Николаю Ильичу на воспитание свою незаконнорожденную дочь Дунечку. «Дунечка жила у нас и была милая, простая, спокойная, но не умная девочка и большая плакса, — вспоминал Толстой. — Помню, как меня, обученного уже французской грамоте, заставили учить ее буквы. Сначала у нас дело шло хорошо (мне и ей было по 5 лет), но потом, вероятно, она устала и перестала называть правильно ту букву, которую я ей показывал. Я настаивал. Она заплакала. Я тоже. И когда на наш рев пришли, мы ничего не могли выговорить от отчаянных слез... Она была не умная, но хорошая, простая девочка, а главное, до такой степени целомудренная, что между нами, мальчиками, и ею никогда не было никаких других, кроме братских отношений».
Когда Леве исполнилось восемь, семья переехала в Москву, чтобы дети могли там продолжить образование, для которого уроков одного лишь Росселя было недостаточно. Левушку переезд страшил — жаль было покидать родные стены, где все было таким знакомым, таким дорогим, и отправляться в неизвестность. Москва казалась далекой, чужой и даже враждебной.
10 января 1837 года семейство Толстых в полном составе выехало в Москву. Сто девяносто шесть верст «семейный обоз» преодолел за четыре дня — ехали обстоятельно, не спеша.
Москва поразила Леву, мальчику, уютный мирок которого доселе был ограничен Ясной Поляной, открылся настоящий мир! «Мне в первый раз пришла в голову ясная мысль о том, что не мы одни, то есть наше семейство, живем на свете, — писал он в «Отрочестве», — что не все интересы вертятся около нас, а что существует другая жизнь людей, ничего не имеющих общего с нами, не заботящихся о нас и даже не имеющих понятия о нашем существовании».
Поселились в снятом Николаем Ильичом доме Щербачева на Плющихе, ныне это дом № 11. Дом оказался большим — два этажа (правда, один — полуподвальный), фасад в одиннадцать окон, но, в сравнении с яснополянским, казался тесным. Но делать было нечего — пришлось привыкать к московской жизни. К лету мальчик в какой-то мере освоился, но тут пришла новая беда — умер отец. Николай Ильич Толстой не отличался здоровьем и к тому же много пил. 21 июня 1837 года он скоропостижно скончался от апоплексического удара. Произошло это прямо на улице в Туле, куда граф отправился по делам.
«Я очень любил отца, но не знал еще, как сильна была эта моя любовь к нему, до тех пор, пока он не умер», — признавался Толстой в «Воспоминаниях» .
Пелагея Николаевна тяжело переживала смерть сына, и хозяйственные заботы приняла на себя Александра Ильинична, в силу своей отрешенности от земной жизни начисто лишенная практицизма. Вскоре финансовые дела семьи пришли в упадок.
«Пришла беда— открывай ворота!» — в том же злосчастном 1837 году на Леву обрушилось новое несчастье. Бабушка, тяготевшая к гувернерам-французам, вознамерилась уволить добрейшего Федора Ивановича и заменить его неким Проспером Сен-Тома, молодым, бездушным и самодовольным. Педагог из Сен-Тома был никудышный — он не воспитывал своих учеников, а обламывал их, причем делал это грубо и безапелляционно. Лощеный француз настолько пленил старую графиню, что она доверила ему не только воспитание внуков, но и общее руководстбо чуть ли не дюжиной учителей, дававших им уроки. Федор Иванович умолил старую графиню оставить его при детях без жалованья, так как не в силах был расстаться с ними.
Несмотря на взаимную неприязнь, именно Проспер Сен-Тома первым разглядел в Леве будущего писателя. «У этого ребенка голова! — сказал он однажды. — Это маленький Мольер!»
Лева рос задумчивым, всегда был занятым собой, своими мыслями. Его постоянно занимал один и тот же вопрос — что думают о нем окружающие, какие чувства испытывают они к нему. Самый младший из братьев был на удивление честолюбив и всячески старался привлечь к себе внимание. Ради этого он мог даже выпрыгнуть из окна второго этажа.
Лева сильно переживал по поводу своей неказистой внешности, особенно усилились эти переживания, когда он впервые влюбился. Его избранницей стала Сонечка Колошина, очаровательная девятилетняя девочка, приходившаяся Толстым дальней родственницей. Мать Сонечки, Александра Григорьевна Салтыкова, была правнучкой графа Федора Ивановича Толстого, брата графа Андрея Ивановича Толстого, прадеда Льва Николаевича, и, следовательно, приходилась Льву четвероюродной сестрой. Короче говоря — седьмая вода на киселе. В «Детстве» Сонечка Колошина выведена под именем Сонечки Валахиной. «Я не мог надеяться на взаимность, — рассказывает автор устами главного героя Николеньки, — да и не думал о ней: душа моя и без того была преисполнена счастием. Я не понимал, чтобы за чувство любви, наполнявшее мою душу отрадой, можно было бы требовать еще большего счастия и желать чего-нибудь, кроме того, чтобы чувство это никогда не прекращалось. Мне и так было хорошо. Сердце билось, как голубь, кровь беспрестанно приливала к нему, и хотелось плакать».