В кремлевском ордонанс-гаузе вечно гостили какие-то родственники и знакомые, и прислуги было не меньше десяти человек. Мать почти не выезжала, целиком посвятив себя воспитанию маленьких Берсов, с которыми держалась строго, часто их пугая своей напускной холодностью; отец, напротив, отличался добротой, но из-за его вспыльчивости часто в доме стоял крик и происходили крупные сцены. Татьяна Кузминская, автор книги «Моя жизнь дома и в Ясной Поляне» — самых ценных мемуаров о Толстом, — пишет, что ее сестра Соня была очень живой, но сентиментальной девочкой, которая словно «не доверяла счастью, не умела его взять и всецело пользоваться им». Лиза, с которой у них еще в ранние годы начались столкновения и ссоры, прозвала Соню «наша фуфель», издеваясь над ее всегдашней меланхоличной чувствительностью. Когда летом 1856 года Лев Николаевич, автор уже прочитанных сестрами повестей, впервые побывал у Берсов, Соня, на которую он произвел большое впечатление, записала в своем дневнике: «Вернется ли когда-нибудь та свежесть, беззаботность, потребность любви и сила веры, которыми обладаешь в детстве?» А Лиза добавила на полях: «Дура».
В следующий раз он приехал к Берсам через пять лет, когда пришло время выдавать милых девочек замуж, и его визиты, частые в московскую зиму 1862 года, приобрели особенный оттенок. Незадолго перед тем у Сони вышел инцидент с учителем братьев, который, помогая что-то переносить, не сдержался и поцеловал ей руку. Она была шокирована подобной смелостью, а от матери выслушала жесткий выговор: вот с Лизой такого бы никогда не случилось. Конечно, не случилось бы, ведь Лиза каменная и никого не жалеет. О Соне этого сказать было нельзя.
Племянников Толстого, детей его сестры Маши, юные Берсы хорошо знали благодаря танцклассу, который устраивался у них по субботам. И сам Лев Николаевич незримо всегда присутствовал в их доме. Что-то о его детских годах наверняка рассказывала мать, а журналы с его произведениями у Берсов исправно читались.
Когда он начал бывать в доме постоянно, как-то сама собой пришла мысль, что все идет к его женитьбе на Лизе.
С нею он вел серьезные разговоры о своей школе, о журнале, который надумал издавать, и о статьях, которые она в этот журнал напишет, — две ее статьи действительно были напечатаны. Таня, его любимица, в свои неполные пятнадцать лет оставалась для него ребенком, и он ее катал по комнатам, усадив себе на спину. Соня ему нравилась своей серьезностью. Они играли в четыре руки на фортепиано, и она рассказывала, что готовится держать в университете экзамен на звание домашней учительницы. Экзамен был успешно сдан как раз той зимой. Очень помогли беседы с тем самым воспитателем братьев, который однажды позволил себе неслыханную дерзость — поцелуй, то есть признание в любви. Он был студент-медик, отъявленный материалист, поклонник Фейербаха, которого давал читать барышням, смущенным этой грубой философией. Впоследствии он прославился тем, что сочинил «Дубинушку», народную песню, сделавшуюся коронным номером в репертуаре Шаляпина.
О том, что у Сони серьезный роман, Толстой, вероятно, долгое время не знал. Героем этого романа был некто Поливанов, будущий лейб-гвардеец, учившийся в Петербурге в Инженерной академии. Считалось, что они с Соней влюблены друг в друга и что она его невеста, хотя пока круг младших Берсов все это держал в тайне, так же как роман Тани с ее кузеном Кузминским. «Мы все были понемногу влюблены, — вспоминает о том времени Татьяна Андреевна. — И эта любовь, такая детская и, может быть, смешная в глазах взрослых людей, понимающих жизнь, будила так много хорошего в наших сердцах. Она вызывала сострадание, нежность, желание видеть всех добрыми и счастливыми».
Лиза находила, что все это глупости. Когда затеяли любительский спектакль и она застала Поливанова, игравшего героя, припавшим к руке героини — Сони, то сухо объявила, что такое недопустимо даже на театральных репетициях. И что она обо всем расскажет мама.
Но Поливанов приезжал, только когда его отпускали из корпуса, а Толстой стал постоянным гостем, который больше всего любил проводить время с барышнями. Сочинил для них что-то вроде небольшой оперы, где был влюбленный рыцарь и грозный муж в исполнении немецкой гувернантки, облаченной по этому случаю в охотничьи шаровары. Читал вместе с ними новую повесть Тургенева «Первая любовь» и объяснил, что настоящее чувство было не у отца, старого развратника, а у чистого душой юноши — его сына. Сцену, когда отец плеткой ударил свою возлюбленную, заподозрив ее в неверности, а она поцеловала оставшийся рубец, мама запретила читать при Тане, а той, конечно, было ужасно любопытно послушать как раз эту сцену и, притворившись спящей, она своего добилась.