Семейная жизнь Толстых была, по свидетельству родных и друзей, хорошей и счастливой. Мария Николаевна была не только на редкость образованной, но и умной женщиной, близкой отцу по своим мыслям и взглядам. В том же наброске к «Казакам» Толстой говорит дальше о матери Оленина, умершей после его рождения: «Образ матери был еще более туманный и еще более прекрасный. Как она любила сына! Как все не могли не уважать ее, как даже сам отец преклонялся перед нею! Мать была удивительная женщина. Из всех детских убеждений только эти два милые образа остались нетронутыми в душе мальчика, тогда как после смерти отца, переехав в Москву, началось вообще разрушение того детского мира» (6, 246-247). Это «разрушение» действительно началось в 1837 г., когда осиротевшие дети (их было пятеро) перешли на попечение тетки, А. И. Остен-Сакен, а после ее смерти (1841 г.) — на попечение другой тетки, П. И. Юшковой, жившей в Казани. Связи Толстых с Казанью были давние и крепкие: дед Толстого был казанским губернатором. Так случилось, что осенью 1841 г. тринадцатилетний Толстой очутился в Казани.
Старший брат, Николай, уже учившийся в Московском университете, перешел в Казанский; в 1843 г. туда же поступили следующие два, Сергей и Дмитрий; очередь была за Львом. Братья учились на так называемом втором отделении философского факультета, т. е. на физико-математическом отделении; Лев поступил на восточное отделение, чтобы (по его собственным словам) «впоследствии стать дипломатом». Это решение было принято, вероятно, потому, что восточное отделение Казанского университета считалось лучшим и было очень популярным. В только что вышедшей тогда и сильно нашумевшей книжке Э. Турнерелли это восточное отделение было прославлено на весь мир: «Я сказал, что Казанский университет может во многом соперничать с самыми знаменитыми европейскими университетами. Прибавлю, что в одном он превосходит все существующие. Я имею в виду изучение восточных языков. Во всем мире нет учреждения, которое давало бы для этой отрасли обучения столько преимуществ, сколько дает этот университет. Кроме многочисленных профессоров, большинство которых хорошо известно в Европе и лекции которых дают теоретическое представление о восточных языках, к услугам студентов имеется, чего недостает европейским университетам: обширное поле для практического пользования этими языками. Казань — единственный город в мире, обладающий университетом, в который стекается такое количество персов, монголов, турок, татар, армян и проч.»11. Такой отзыв о восточном отделении мог подействовать на выбор специальности — тем более что у Толстого с детства обнаружились способности к языкам; к этому надо прибавить, что именно в это время (в связи с позицией Англии в отношении к Франции) «восточный вопрос» был очень злободневным, а потому дипломатическая карьера привлекала к себе особое внимание.