В 1745 году Марфа Ивановна заболела тифом и скончалась в возрасте 26 лет. Пятеро детей, в том числе годовалый Семен, остались без матери. Лизе на тот момент едва исполнилось 6 лет. Смерть супруги самым негативным образом отразилась на характере Романа Илларионовича. Он совершенно забросил домашние дела, перестал интересоваться детьми.
Вскоре на бедственное положение семьи Воронцовых обратила внимание императрица Елизавета Петровна. Старших девочек Марию и Елизавету взяли ко двору, сыновей отправили к их деду, престарелому графу Воронцову, а младшая Екатерина стала воспитанницей ее дяди Михаила Воронцова, растившего дочь примерно такого же возраста.
Роман Илларионович, разбросав детей по городам и весям, стал жить с некой англичанкой Елизаветой Брокет, родившей ему двух сыновей, получивших вымышленную фамилию Ранцовы. Отпрысков от Брокет граф любил всем сердцем и, как сказал современник, «они пользовались особенною нежностью своего родителя, так что на них уходило его состояние».
В 1749 году императрица определила десятилетнюю Лизу в придворный штат 20-летней великой княгини Екатерины Алексеевны, супруги наследника престола Петра Федоровича. Будущая государыня Екатерина II так описала юную фрейлину:
«Очень некрасивый, крайне нечистоплотный ребенок с оливковым цветом кожи, а после перенесенной оспы стала еще некрасивее, потому что черты ее совершенно обезобразились и все лицо покрылось не оспинами, а рубцами».
Екатерина Алексеевна как чувствовала, что эта некрасивая девочка с рубцами на лице вскоре уведет у нее мужа…
Лиза Воронцова росла во дворце в весьма фривольной атмосфере, постоянно наблюдая за «игрищами» великой княгини Екатерины, великого князя Петра, их многочисленных придворных. Девочку практически не обучали ни наукам, ни каким-то премудростям, и она жадно впитывала то, что ее окружало, а именно великосветскую распущенность.
Несмотря на то что над Лизой откровенно потешались и обзывали «широкорожей», в возрасте 15 лет фрейлина смогла обратить на себя внимание самого наследника – Петра Федоровича, которого при рождении звали Карлом Петером Ульрихом.
Удивительно, но цесаревич, и по крови, и по убеждениям немец, да к тому же женатый на немке Екатерине (Софии Августе Фредерике Ангальт-Цербстской), влюбился в русскую барышню, дочку купчихи Марфы Сурминой. При этом свою жену Петр ненавидел всей душой, а та в полной мере отвечала ему взаимностью.
В своих знаменитых «Записках» Екатерина Алексеевна, уже ставшая императрицей, рассказывала, что Петр Федорович имел весьма странные вкусы: цесаревича тянуло на всевозможные уродства. Именно поэтому, по мнению Екатерины, наследник и изменил ей с «широкорожей» Лизой Воронцовой.
Юную протеже Петр называл как какую-нибудь старушку из народа – Романовна.
При дворе выбор цесаревича вызвал немалое удивление. По мнению большинства, сделав метрессой Романовну, наследник «выказал очень прискорбный вкус».
Изумлены были и за границей. Вот что писал о Елизавете посол Франции в России Жан-Луи Фавье:
«Безобразие Воронцовой было невыразимо и не искупалось ни хорошим сложением, ни белизной кожи. Она была не лишена ума и при случае смогла бы воспользоваться своим положением, если бы на то представилась хоть малейшая возможность».
Петр Федорович, который в 26 лет был сущим ребенком, обожал играть со слугами в солдатики. Девица Романовна – тоже неуклюжий, веселый и добродушный ребенок – полностью соответствовала его представлениям о дружбе и любви. В отличие от великой княгини Екатерины Алексеевны Лизе от Петра не нужны были ни дорогие подарки, ни награды, ни власть.
Воронцова искренне и с большим удовольствием участвовала в играх Петра, едва ли не единственная при дворе понимала и разделяла его детские причуды. Умная, властная, образованная, серьезная и жестокая Екатерина пугала наследника. Рядом с женой Петр чувствовал себя крайне некомфортно и после тяжелых разговоров с супругой подолгу плакал в объятиях доброй и ласковой Елизаветы.
Екатерина прекрасно знала о романе великого князя с фрейлиной, но не стремилась пресечь эти отношения. Дальновидная будущая государыня понимала: увлечение «широкорожей» окончательно уничтожает и без того ничтожную репутацию Петра, а значит, Воронцова невольно льет воду на ее, Екатерины, мельницу. Не видела ничего страшного в романе Петра с Лизкой и императрица Елизавета Петровна, называвшая Воронцову «госпожа Помпадур».