Немало беспокойства доставляли Кони дела семейные. Квази-семейные, как он называл их. После смерти отца он взял на себя заботу о девочках — Оле и Миле (Людмиле), определил в частный пансион, а потом в частную гимназию.
Девочки росли, требовалось время для того, чтобы всерьез заняться их воспитанием и образованием, а времени не было. При том, что в письмах к родным и друзьям Анатолий Федорович часто — если не сказать, постоянно — жаловался на свое нездоровье, в них почти нет упоминания о тех постоянных хлопотах, которые были связаны с заботами о молодых сестрах, о сосланном в Сибирь брате и его семье. Лишь иногда, наверное, в те дни, когда на душе было особенно сумрачно, позволял себе одну-две фразы:
«Дорогая Любовь Исааковна, к сожалению я не могу наверное обещать быть у вас в среду, но постараюсь. Я совсем разстроен новыми осложнениями, идущими из того же, известного Вам, quasi-семейного источника», — пишет он супруге Стасюлевича.
И тут же прорывается, словно стон сквозь зубы: «Иногда я себя спрашиваю… за что я, человек труда в «поте лица», должен принимать все эти жертвы, когда он, баловень судьбы от колыбели, мог со спокойною совестью пропить в год 20 т. р. чужих денег…»
Чувствовал он себя стесненно и в средствах, подрабатывал чтением лекций. Казалось бы, одинок, высокий пост и соответствующий оклад, но, кроме содержания девочек, каждый месяц посылка в Сибирь — помощь брату, матери. «Это бы ничего, если бы не денежный вопрос, — писал Анатолий Федорович Морошкину. — В этом отношении в последние годы приходится тяжеловато, и при петерб. дороговизне мои 4300 р. — сумма недостаточная и заставляет меня держаться за училище. Шесть лекций в неделю меня утомляют ужасно, — фатовство и преждевременный карьеризм большинства «государственных младенцев» отнимают желание зарабатывать свой хлеб».
Все печали, нервное расположение духа отступали на второй план, исчезали, когда по субботам приходили Оля и Миля, «его» девочки, и мрачноватая квартира наполнялась их звонкими голосами. Стараясь скрыть улыбку, с серьезным — согласно ответственности момента — лицом он выслушивал их отчет об успехах в занятиях, оттаивал душою, когда они поочередно читали стихи. Потом праздничный обед…
«По субботам я оживаю. Ко мне приходят мои девочки. Я исполнил, как умел, свой долг перед памятью отца. После долгих и тщетных трудов узаконить или усыновить их, я добился, что им разрешено носить фамилию Кони и иметь отчество Федоровых. Хлопоты по этому вопросу представляли немало комического. Персоны предержащие власть думали, что я прошу о своих незаконных детях, а я лукаво помалкивал. День, когда это было разрешено, был единственным счастливым днем в прошлом году. Я долго простоял над бедною могилою, придя отдать ему отчет в том, что отныне дети, которых он так любил, не омрачат его памяти упреком за свою безродность. Оне растут и крепнут (старшей уже 15 1/2 лет) — живут у очень хорошей старушки, содержательницы пансиона, и отлично учатся в гимназии. Их мать, тебе не безъизвестная имела хорошее место в «Голосе» и жила в Вене. Значительную часть расходов на детей высылала она, а я откладывал на их имя в банк таковую же часть на черный день. Но черный день пришел скорей, чем я думал. Барыня эта… перессорилась со всеми редакциями и ныне приехала в Петербург, где сидит без всякой работы. Дети ложатся всем грузом на меня и ничего уже откладывать не придется, ибо их воспитание и содержание обходится не менее, как в 1200 р. с. — Но это бы еще ничего, а дурно, что дети инстинктивно к ней привязаны и я не могу лишать ее материнских прав, а между тем она может иметь самое вредное на них нравственное влияние. Придется много и тяжело бороться. Субботу и воскресенье оне проводят у меня — и я становлюсь семьянином: читаю с ними, гуляю, обедаю, играю в шахматы и т. д. — и день проходит незаметно. Такова милость Господня: то, что меня страшило при мысли об отце и грозило мне сделаться тяжелою обузою обратилось мне в радость».
Анатолию Федоровичу пришлось пережить и горькие минуты — вскоре у Оли проявились симптомы нервного заболевания, а потом и помешательства. В 1884 году ее пришлось поместить в психиатрическую лечебницу, где она и скончалась.
Гатчинский парк выглядел унылым и пасмурным. Серо-голубые пятна снега в овражках создавали впечатления непростительной неряшливости — словно дворники, убирая парк, позабыли его как следует вымести. Могучие узловатые липы, еще не проснувшиеся после зимы, стойко мокли под мелким сеющим дождиком. Но уже порозовели, наполнились жизненными соками тонкие ветви тальника и сирени.