Проживши шесть лет управляющим, отец решился испробовать счастья в гражданской службе, надеясь получить теплое местечко: притом скучная, вечно будничная жизнь управляющего, видимо, наскучила ему. Недолго думая купил он фургон, в который легко было запихать всю семью, и отправился искать счастья в один из юго-восточных губернских городов. По дороге, как рассказывала мне матушка, заезжали в Воронеж, а оттуда двинулись дальше. По приезде отец стал усердно хлопотать о месте, ссылаясь на бедность и многочисленное семейство и особенно напирая на множество сыновей, «которые (писалось в прошениях) готовы хоть сейчас сделаться усердными слугами царю и отечеству» (старшему было лет одиннадцать). Поиски увенчались полным успехом; открылось место смотрителя тюремного замка, и отец получил его. Нужно заметить, что прежде всего этого, тотчас по прибытии на место, был куплен дом, устройством которого отец мой занимался около года; переезжая в тюремный замок, на казенную квартиру, отец сдал его.
Воспоминания мои, как видно теперь, могут начаться только с этого времени, потому что только с поступлением моего отца в смотрители острога я начинаю помнить себя ясно и определенно; вся же предыдущая жизнь моя рисуется как бы в тумане, и нет ни одного события, которое запечатлелось бы в моей памяти так отчетливо и верно, как все приведенные ниже.
Тюремный замок, смотрителем которого был назначен мой отец, помещался близ заставы, на самом конце города. Он считался самым большим зданием в городе и вмещал в себе более восьмисот арестантов, хотя выстроен был только для двухсот. Каким образом помещались в нем остальные шестьсот человек, я до сих пор не могу объяснить себе… Помню только, что в некоторых камерах сидело человек по семидесяти, между тем как в такой комнате с трудом могло бы поместиться человек тридцать. В самую жестокую зиму в такие камеры вставлены одни только зимние рамы, то есть вторые, — о существовании летних не было и помину… Замок имел при себе три двора: два передних, обнесенных высокою стеною, и один задний, окруженный валом и рвом. На первом переднем дворе помещалась кухня и огороженное высоким забором место, на которое выпускали арестантов прогуливаться; на втором жил смотритель в укрепленном доме с железными решетками; тут же помещались арестантская баня, прачечная и цейхгауз. Женщины и пересыльные арестанты помещались в особых флигелях, выходивших окнами на первый двор. На заднем дворе находились погреба, колодезь, конюшня для рабочих лошадей и огороды для посева различных овощей.
В первые дни после нашего переезда отец был сильно занят приемом новой должности, почему дома бывал очень редко, и то ненадолго. Недели через три, когда все совершенно устроилось, он стал поговаривать о необходимости учить нас; помощником себе в этом деле он выбрал одного из арестантов, дворянина, посаженного в острог «за обман и мошенство», как гласила реестровая книга. Новый учитель был высокого роста, широкоплечий, рябой и с разорванною ноздрею; он с первого же раза навел ужас на меня, двоих братьев и сестру, обреченных на жертву науке. Пылкое детское воображение сейчас представляло себе этого варвара с нагайкою в руке, и глаза невольно застилались слезами при виде такого чудища.