Острогожский уезд со всею южной частью Воронежской губернии в то время принадлежал к Слободско-украинской губернии. В политических и социальных понятиях отца Николая Ивановича господствовала какая-то смесь либерализма и демократизма. Он любил толковать всем и каждому, что все люди равны, что отличие по породе есть предрассудок, что все должны жить, как братья, но это не мешало ему при случае показать над подчиненными и господскую палку или дать затрещину, особенно в минуту вспыльчивости, которой он не умел сдерживать; зато после каждой такой выходки он просил прощения у оскорбленного слуги, старался чем-нибудь загладить свою ошибку и раздавал деньги и подарки. Лакеям до такой степени это понравилось, что бывали случаи, когда его сердили с намерением, чтобы довести до вспыльчивости и потом сорвать с него куш. Впрочем, его вспыльчивость реже приносила вред другим, чем ему самому. Однажды, например, рассердившись, что ему долго не несут обедать, он в припадке гнева перебил великолепный столовый сервиз саксонского фарфора, а потом, опомнившись, сел в задумчивости, начал рассматривать изображение какого-то древнего философа, сделанное на сердолике, и, подозвав сына к себе, прочитал ему со слезами на глазах нравоучение о том, как необходимо сдерживать порывы страстей. С крестьянами своего села он обходился ласково и гуманно, не стеснял их ни поборами, ни работами; если приглашал что-нибудь делать, то платил за работу дороже, чем чужим, сознавал необходимость освобождения крестьян от крепостной зависимости и не скрывал этого перед ними. Вообще, надо сказать, что если он позволял себе выходки, противоречащие проповедываемым убеждениям свободы и равенства, то они проявлялись помимо его желания, от неумения сдерживать порывы вспыльчивости; поэтому все, кто не обязан был часто находиться при нем, любили его. В его характере не было никакого барского тщеславия; верный идеям своих французских наставников, он ни во что не ставил дворянское достоинство и терпеть не мог тех, в ком замечал желание щегольнуть своим происхождением и званием.
Николай Иванович впоследствии вспоминал: «Как бы в доказательство этих убеждений он не хотел родниться с дворянскими фамилиями и уже в пожилых летах, задумавши жениться, избрал крестьянскую девочку и отправил ее в Москву для воспитания в частное заведение, с тем чтобы впоследствии она стала его женою». Это было в 1812 году. Вступление Наполеона в Москву и сожжение столицы не дало ей возможности продолжать начатое образование: отец Николая Ивановича, услышав о разорении Москвы, «послал взять свою воспитанницу, которая впоследствии и сделалась его женою и моею матерью. Я родился 4 мая 1817 года. Детство мое до десяти лет протекало в отеческом доме без всяких гувернеров, под наблюдением одного родителя. Прочитав „Эмиля“ Жан-Жака Руссо, мой отец прилагал вычитанные им правила к воспитанию своего единственного сына и старался приучить меня с младенчества к жизни, близкой с природою: он не позволял меня кутать, умышленно посылал меня бегать в сырую погоду, даже промачивать ноги, и вообще приучал не бояться простуды и перемен температуры. Постоянно заставляя меня читать, он с детских моих лет стал внушать мне вольтерианское неверие, но этот же нежный возраст мой, требовавший непрестанных обо мне попечений матери, давал ей время и возможность содействовать этому направлению. В детстве я отличался необыкновенной памятью: для меня ничего не стоило, прочитавши раза два какого-нибудь вольтерова „Танкреда“ или „Заиру“ в русском переводе, прочитать ее отцу наизусть от доски до доски. Не менее сильно развивалось мое воображение. Местонахождение усадьбы, в которой я родился и воспитывался, было довольно красиво. За рекой, текшею возле самой усадьбы, усеянною зелеными островками и поросшею камышами, возвышались живописные меловые горы, испещренные черными и зелеными полосами; от них рядом тянулись черноземные горы, покрытые зелеными нивами, и под ними расстилался обширный луг, усеянный весною цветами и казавшийся мне неизмеримым живописным ковром. Весь двор был окаймлен по забору большими осинами и березами, а сбоку тянулась тенистая роща с вековыми деревьями. Отец мой нередко, взявши меня с собой, садился на земле под одной старой березой, брал с собою какое-нибудь поэтическое произведение и читал или меня заставлял читать; таким образом, помню я, как при шуме ветра мы читали с ним Оссиана и, как кажется, в отвратительном прозаическом русском переводе. Бегая в ту же рощу без отца, я, натыкаясь на полянки и на группы деревьев, воображал себе разные страны, которых фигуры видел на географическом атласе; тогда некоторым из таких местностей я дал названия. Были у меня и Бразилия, и Колумбия, и Лаллатская республика, а бегая к берегу реки и замечая островки, я натворил своим воображением Борнео, Суматру, Целебес, Яву и прочее. Отец не позволял моему воображению пускаться в мир фантастический, таинственный, он не позволял сказывать мне сказок, ни тешить воображение россказнями о привидениях; он щекотливо боялся, чтобы ко мне не привилось какое-нибудь вульгарное верование в леших, домовых, ведьм и т. п. Это не мешало, однако, давать мне читать баллады В. Жуковского, причем отец считал обязанностью постоянно объяснять мне, что все это – поэтический вымысел, а не действительность. Я знал наизусть всего „Громобоя“; но отец объяснял мне, что никогда не было того, что там описывается, и быть того не может. Жуковский был любимым его поэтом; однако же отец мой не принадлежал к числу тех ревнителей старого вкуса, которые, питая уважение к старым образцам, не хотят знать новых; напротив, когда явился А. Пушкин, отец мой сразу сделался большим его поклонником и приходил в восторг от „Руслана и Людмилы“ и нескольких глав „Евгения Онегина“, появившихся в „Московском вестнике“ 1827 года».