По приезде в Петербург отец имел лично аудиенцию у Императора Александра III, на которой подал донесение о «Свеаборгском деле» и о переводе не по заслугам на место судьи. Месяц спустя Александр III на должности окружного судьи отца утвердил, а следствие о «Свеаборгском деле» приказал продолжать. Спустя некоторое время отец натолкнулся среди участников на «чересчур сильных мира сего» и принужден был отказаться от дальнейшего ведения дела. 14 военных инженеров было отправлено на поселение в Сибирь, масса участников рассортирована по «всевозможным местам злачным». (Впрочем, часть отправленных на Сахалин попала под Высочайший манифест и была возвращена с разрешением поселиться в Южно-Волжских губерниях.)
Таким образом, в 1885 году все семейство наше (отец, мать, две сестры и я) переехало в Петербург.
За период времени с 1885 по 1888 год воспоминаний никаких нет; я только смутно помню, что перенес за эти три года несколько серьезных болезней, как-то: корь, скарлатина. Помню, как заболела старшая сестра дифтеритом; тогда меня и другую сестру на время куда-то увозили. В это же время всем семейством ездили на лето в предместье Гельсингфорса Мальма — этого я даже не подозревал бы, если бы не узнал об этом впоследствии. Потом жили следующий год в Дудергофе, о котором, исключая слабого представления в памяти какого-то пруда, груды камней около дороги, леса с грибами и пр., ничего не осталось. Ясные воспоминания начинаются только с 1889 года, полного более или менее крупных событий. Из чисто детских воспоминаний осталось воспоминание о ежедневном времяпрепровождении. Как у меня, так и у всех детей, с которыми я общался, игрушки (то есть разные покупные вещицы) совершенно игнорировались, а во всякой игре необходимыми являлись по большей части гладильная доска, заслонка от камина и швабра; стулья и столики шли на слом. Весной и летом все время проводилось на улице и на дворе. Нередко там заводились самые босяцкие знакомства, которые для меня доставляли немалое удовольствие. Отца я помню довольно скверно. С утра он уезжал в суд на службу, в 5 часов приезжал домой, обедали, потом он (за исключением, когда кто-нибудь приезжал) сидел в кабинете и весь вечер занимался. Последнее время он почему-то занялся изучением французского и английского языков и постоянно сидел или над бумагами, или над толстыми словарями.