Были у Николая Ивановича еще братья: Александр, родившийся около 1797 года и умерший после 1815 года; Аммос, родившийся около 1806 года, умерший семнадцати лет. Этот учился уже вместе с братом Николаем в знаменитом московском пансионе Кряжева. Другие братья умерли детьми.
Иван Иванович Пирогов имел несколько дочерей. Как относилась Елизавета Ивановна к вопросу об их образовании, сказано выше. Две из этих дочерей долго жили с матерью у брата Николая Ивановича: Пелагея Ивановна, родившаяся около 1798 года и жившая еще в 40-х годах, и Анна Ивановна, родившаяся в 1799 году и умершая в семидесятилетнем возрасте. Сама Елизавета Ивановна умерла в доме сына, в Петербурге, 16 марта 1850 года.
Весь строй семейной жизни Пироговых был патриархальный, вся обстановка была консервативная. Детям прививалась религиозность в духе церковного благочестия. В положенные дни их водили в церковь, отец и мать подолгу читали молитвы, не пропускали заутрень, всенощных и обеден в праздничные дни. В особо торжественных случаях устраивались паломничества к Троице-Сергию. Посты соблюдались ревностно, а мяса в великий пост не получала даже кошка — любимица детей.
Жилось в доме Пироговых легко и привольно. Отец был примерный семьянин, мать любила детей горячо и дети платили ей тем же, и между собою жили дружно.
Детские годы оставили в душе Николая Ивановича светлые воспоминания. Прошли они под руководством няни, Екатерины Михайловны, о которой Пирогов вспоминал так же хорошо и сердечно, как Пушкин об Арине Родионовне, и благодетельное влияние которой признавал всегда.
Кроме няни, была еще в доме крепостная служанка, Прасковья Кирилловна, большая мастерица рассказывать сказки. Ей считал себя Пирогов обязанным любовью к народной словесности и возникшей отсюда любовью к литературе вообще. До глубокой старости помнил он сказки этой женщины, которая грамоты не знала, но память имела отличную. От Прасковьи Кирилловны запомнил мальчик разные стихи.
В раннем детстве занимали Пирогова потешные рассказы и прибаутки друга его отца, подлекаря Григория Михайловича Березкина. Он задавал мальчику загадки по-латыни, приучал его к обращению с этим языком.
Другим знакомым семьи Пироговых, имевшим значение для развития Николая Ивановича в детские годы, был знаменитый оспопрививатель и акушер Андрей Михайлович Клаус. До Москвы, куда он переехал в 1791 году, Клаус служил городским акушером в Уфе, и о нем сохранил теплое воспоминание Сергей Тимофеевич Аксаков. Пирогова занимал Клаус, кроме своей оригинальной наружности, маленьким микроскопом, всегда находившимся при нем в кармане. «Раскрывался черный ящичек, — вспоминал Пирогов в старости, — вынимался крошечный блестящий инструмент, брался цветной лепесток с какого-нибудь комнатного растения, отделялся иглою, клался в стеклышко, — все это делалось так тихо, чинно, аккуратно, как будто совершалось какое-то священнодействие. Я не сводил глаз с Андрея Михайловича и ждал с замиранием сердца, когда он пригласит заглянуть в его микроскоп».
Из детских игр любимейшими были у Пирогова игра в войну, где он проявлял, вызывавшие похвалу и уважение товарищей, отвагу и храбрость, и игра в лекаря, в которой он внешними приемами подражал их домашнему врачу Е. О. Мухину.
Грамоте Николай Иванович выучился без посторонней помощи по распространенным тогда, особенно в московских домах, картинкам — карикатурам на французов. Картинки эти изображали эпизоды из войны с Наполеоном, а пояснительные подписи начинались с соответственных букв русской азбуки. И содержание картинок, и подписи к ним были в педагогическом отношении нелепы, — признавал Пирогов впоследствии, но влияние их на детей было, по его словам, значительно.
Эти первые карикатурные впечатления развили в мальчике склонность к насмешке и свойство скорее подмечать и порицать в людях смешную и худую сторону, чем восторгаться кажущейся хорошей. Вместе с тем карикатуры над кичливым, грозным и побежденным Наполеоном, изображения его бегства и русских побед, по словам Пирогова, рано развили в нем любовь к «славе отечества». Но, как Николай Иванович сам впоследствии подчеркивал, наряду с горячей любовью к родине в нем рано развилась «непреодолимая брезгливость к национальному хвастовству, ухарству и шовинизму».
По этим же самым картинкам-карикатурам на Наполеона учился грамоте Александр Иванович Герцен, родившийся двумя годами после Пирогова, учились и другие их сверстники. Они дают такой же отзыв об их воспитательном значении.