Когда деду стало скучно в деревне, он стал все чаще ездить к близким соседям, графам Олсуфьевым, которые безвыездно жили в своем подмосковном имении Обольянове. Олсуфьевы были исключительно культурной, талантливой и литературной семьей; у них часто бывали Толстые, не исключая и самого Льва Николаевича; к этой семье Олсуфьевых принадлежал молодой их сын, известный позднее как политический деятель, Д.А. Олсуфьев, член Государственного совета по выборам от Саратовской губернии. Под конец дед живал там подолгу, там и скончался.
Таков был дед, поскольку я его помню. Была у него вторая жена, с которой он не то развелся, не то разошелся. К нам она заходила не редко. Если в то время случайно бывал у нас дед, она из другой комнаты на него смотрела украдкой. Если, приезжая, он узнавал, что она у нас, он не входил. Кроме отца, у деда было трое детей: сын С.Н. и две дочери. Одна была замужем за железнодорожным чиновником; другая, незамужняя, служила актрисой на выходных ролях в Малом театре. Дядя, Сергей Николаевич, был человек очень способный, великолепный стрелок и сильный шахматист. Никакой школы он не окончил, не имел ни определенных занятий, ни службы и жил в другом имении матери, как будто управляя хозяйством. Из всей этой семьи только отец получил высшее образование и сам создал себе положение.
Он учился в 1-й Московской гимназии. Когда через тридцать лет я стал гимназистом, у меня был тот же надзиратель, глубокий старик Л.И. Ауновский, который в этой же должности служил при отце. Времена с тех пор изменились. Отец часто рассказывал про свои школьные годы. Тогда было грубое время: учеников могли сечь и без церемонии угощали подзатыльниками. Правда, зато зря не губили их жизни. Тогда родители могли за них заступиться, с ними считались. В классической же Толстовской гимназии моего времени было иначе. С учениками была внешняя вежливость: ни к одному мальчику не обращались на «ты». Но было беспощадное равнодушие к их судьбе со стороны государственной власти, которая без причин ученика могла навсегда погубить. После гимназии отец поступил на медицинский факультет. Хотел себя посвятить хирургии. Этому помешала случайность. На охоте на уток, в лодке, он за дуло потянул ружье на себя, зацепил за что-то курком, и заряд угодил ему в левую руку, разорвал сухожилие, и несколько пальцев левой руки перестали сгибаться. Для большой хирургии это было помехой. От этой специальности он должен был отказаться и перешел на офтальмологию, где для миниатюрных операций неисправность левой руки могла не мешать. Было и другое последствие того же неудачного выстрела: отец был очень музыкален и в молодости хорошо играл на скрипке; это стало невозможно без левой руки. Он скрипку заменил «фисгармонией», где беглость пальцев была не нужна. Но офтальмологии он остался верен до смерти и умер профессором по этой кафедре.