Но не он был самым замечательным человеком среди молодого поколения Муравьевых, а Сергей Иванович Муравьев-Апостол (имя «Апостол» перешло к их роду по женской линии). Отец Сергея Иван Матвеевич, очень любимый цесаревичем Павлом Петровичем, состоял одно время «кавалером» при старших великих князьях, т. е. чем то средним между адъютантом и гувернером. Вступив на престол, Павел назначил его на важный пост российского резидента в Гамбурге, куда Иван Матвеевич и отправился вместе с женой и двумя мальчиками, Матвеем и Сергеем. Не надо судить о значении этого поста по малым размерам территории Вольного Города. Гамбург был в то время центром международного шпионажа, местом контакта и нащупывания почвы для воюющих сторон; через Муравьева начались имевшие столь важное значение переговоры Павла I с правительством французской Республики. В Вольном Городе жило в те годы много эмигрантов-роялистов, и Муравьев нередко принимал их у себя. Когда одного из них, по требованию Франции, готов был выдать гамбургский Сенат, его скрыл у себя в посольстве и спас российский резидент. «Monsieur Mouravioff а agi comme un Dieu», сказал по этому поводу император. Под влиянием рассказов эмигрантов о несчастьях их родины и страданьях короля, старший из мальчиков, пятилетний Матюша, был в то время страстным роялистом. Он плакал и топал ногами, когда играли «Марсельезу», и не дал укрывавшемуся в Гамбурге генералу Дюмурье взять себя на руки. «Je déteste, Monsieur, un homme qui est traître à son roi et à sa patrie!» сказал ему русский мальчик. Совсем крошечный Сергей политикой еще не интересовался.
Когда Ивана Матвеевича перевели послом в Мадрид, он по началу тоже взял туда семью, но вскоре отослал детей с женою в Париж, где и жизнь была приятнее, и легче воспитывать детей. Мальчики учились в частном пансионе Hix-а и, вероятно, говорили по-французски, как французы. Но языки в детстве легко усваиваются и так же легко забываются, и впоследствии Сергей делал по-французски ошибки: «Je vous désire santé», писал он сестре, дословно переводя с русского. Сохранилось маловероятное предание, что Сергей учился одно время и в Лицее St-Louis и что Наполеон, при посещении лицея, обратил внимание на хорошенького русского и нашел в нём сходство с собою. «Можно подумать, что это мой сын», будто бы сказал император. Но не надо было личной встречи, чтобы, как все его сверстники, мальчик увлекался Наполеоном, таил в душе честолюбивые и грандиозные мечты.
В 1805 году Иван Матвеевич, по неизвестной причине утерявший расположение своего бывшего воспитанника, императора Александра, удалился на покой в украинское имение своей жены — Хомутец. Много лет спустя он писал оттуда Державину: «Я родился с пламенной любовью к отечеству… благородное чувство, единое достойное быть страстью души сильной… Как в 20 лет я был, так точно и теперь: готов как Курций броситься в пропасть, как Фабий обречь себя на смерть. Но отечество не призывает меня. Итак, безвестность, скромные семейные добродетели, вот удел мой. Я и в нём не вовсе буду бесполезен отечеству: выращу детей, достойных быть русскими, достойными умереть за Россию». Вот в каком духе воспитывались молодые Муравьевы. Увы, пожелание сбылось совсем иначе, чем он это думал. Но сильнее, чем влияние отца, было, может быть, влияние матери, урожденной Черноевич, дочери сербского генерала. Она тоже, как и её муж, была писательницей, а по душевным качествам стояла выше его. Матвей Иванович, несмотря на весь свой цивизм, был эгоист и гастроном, повсюду возивший с собой собственного повара-испанца. Он прожил, проел свое состояние и только большое наследство спасло его от разорения. Она же была женщина высокого душевного строя, полная живой и сердечной религиозности. От неё Сергей унаследовал религиозность, нравственную чуткость, способность возмущаться людской несправедливостью. Долгие годы их детства, важные для образования характера, она прожила с мальчиками в Париже одна, без мужа. Там она осталась и после разрыва дипломатических отношений между Францией и Россией в 1805 году. Нравы тогда сильно отличались от нынешних и госпожа Муравьева, обратившись с письмом к императору, получила от Наполеона галантный ответ, «что она может остаться спокойно в Париже, пока сохраняется уважение к добродетели». Мир не достиг еще той ступени цивилизации, когда присутствие в стране подданных враждебной державы, даже женщин и детей, кажется немыслимым.
Муравьевы уехали из Парижа только в 1809 году. Дети России совсем не знали, но были преисполнены пылкого патриотизма и радовались возвращению на родину. Когда они добрались до границы, восторг их дошел до пределов, они готовы были расцеловать первого встречного казака… «Дети, — сказала им мать с грустной важностью — я очень рада, что долгое пребывание за границей не охладило вашего чувства к родине. Но готовьтесь, дети, я должна вам сообщить ужасную весть, вы найдете то, чего вы не знаете: в России вы найдете рабов!»