Воспитание в семье было спартанским. Дети постоянно страдали от холода, голода и жажды. Софья и ее старшая сестра Наталья для утоления жажды пили воду из собачьих мисок, поскольку мать строжайшим образом запрещала есть и пить в перерывах между трапезами. В семейных преданиях сохранилась история о том, как на Пасху, получив в подарок крашеные яйца, дети разыгрывали их, запуская по наклонной доске. Выигрывал тот, чье яйцо катилось дальше. Софья, выиграв девять яиц, немедленно забралась в свою комнату и, утоляя постоянный голод, проглотила их в один присест.
Ее буйная фантазия и любовь к сочинению разных историй проявлялась с раннего возраста и очень веселила отца, твердившего, что девочка талантлива.
В 1805 году мать Софьи, Екатерина Ростопчина, урожденная Протасова, перешла в католичество. Для Федора Ростопчина, ревнителя православной веры, это было жестоким ударом. К жене он относился с трепетной любовью, но этот шаг расценил как «позорное действие». Тем не менее, уважение и доверие к жене не поколебалось и, прощаясь с детьми, при их отъезде из Москвы в 1812 — году, он наказывал им: «Во всем берите пример с вашей матери и в случае моей смерти слушайтесь ее как меня!» Под влиянием матери и по ее настоянию Софья в возрасте 13 лет стала католичкой. Триумфальные победы Наполеона, рост его могущества к 1805 году побудили Ростопчина вернуться к общественной жизни. Он стал писать страстные политические памфлеты, насыщенные ненавистью к Наполеону. В конце марта 1812 года, когда полумиллионная армия Наполеона сосредоточилась на берегах Немана и война с Россией была, по сути дела, предрешена, граф Ростопчин был назначен генерал-губернатором Москвы.
«Французы приписывали пожар Москвы au patriotism feroce de Rostopchine (дикому патриотизму Ростопчина)», — писал Лев Толстой. Соответствует ли это исторической истине — вопрос спорный, но то, что граф Ростопчин, вырвавшись с семнадцатилетним сыном из пылающей Москвы, отправился в Вороново и при приближении наполеоновской армии сжег свою усадьбу дотла, оставив в домашней церкви проклятие французам «…здесь вы найдете только пепел!» — это факт, не вызывающий сомнений.
После окончания войны Ростопчины поселились в Санкт-Петербурге. Считая себя героем, Ростопчин был поражен и оскорблен тем, что никто не признавал его таковым. О нем просто забыли. Император Александр I своей холодностью явно показывал, что не нуждается больше в его услугах. Ростопчин вынужден был подать в отставку. В то же время, попадая на лечение заграницу, он всюду оказывался желанным гостем и его везде встречали как героя. Король Франции Людовик XVIII во время первого визита графа Ростопчина во дворец сказал: «Если бы не вы, нас бы здесь не было!» С 1817 года вся семья Ростопчиных поселилась в Париже в роскошном особняке, ранее принадлежавшем наполеоновскому маршалу Нею. Для Софьи Ростопчиной, девушки легко смущающейся и краснеющей до корней волос, началась пора балов и выезда в свет. В начале 1819 года она выходит замуж за графа Евгения де Сегюра, представителя знаменитой французской фамилии, правнука прославленного маршала Сегюра.
За шестнадцать лет графиня де Сегюр родила восьмерых детей и потеряла одного из них, сына Рено, погибшего в младенчестве. Рождение последней дочери Ольги в 1835 году чуть не стоило ей жизни и превратило цветущую молодую женщину в тяжелобольную, на долгое время прикованную к постели, что вынудило ее вести очень замкнутый образ жизни привело к охлаждению между супругами. Однако тяжелая болезнь, сопровождающаяся изнурительными МНОГОСУТОЧНЫМИ приступами жесточайшей мигрени с временным параличом конечностей, не отразилась ни на живом характере графини, ни на ее стремлении быть самым близким другом своих детей. По воспоминаниям ее детей и внуков в доме всегда царила атмосфера не просто любви, а взаимного обожания. По утрам дети собирались в комнате матери, они любили смотреть, как она причесывается и завивает волосы, старшие подавали ей щетки и туалетную воду, младшие скакали и кувыркались на ее кровати, "твердой, как мешок с орехами", по выражению ее сына. Воспитание и образование детей стало делом всей ее жизни. Подчиняясь желаниям мужа, она, страдая от разлуки с детьми, вынуждена была отправлять мальчиков в пансион, но обучением девочек руководила сама, продумывая его и создавая свою систему, которую впоследствии описала в качестве пособия для родителей.