Полная отчаяния, Элизабет вместе с братом обосновалась в Англии. От ее непродолжительного брака с Жеромом, со средневековой жестокостью разрушенного Наполеоном, 7 июля 1805 года в городе Кэмберуэлл у нее родился сын, которому довелось стать родоначальником ветви американских Бонапартов.
Жером по приказу императора вернулся на флот, где получил командование небольшой эскадрой в Генуе. Вскоре он предпринял экспедицию в Алжир, откуда вернулся с двумя сотнями выкупленных из рабства французов и итальянцев, за что получил восторженную хвалу французских газет и повышение в чине. Жером стал контрадмиралом! По словам Рональда Делдерфилда, «Жером был, вероятно, единственным моряком в военно-морской истории, который получил такой ранг до своего двадцать второго дня рождения».
По возвращении в Америку несчастная Элизабет, ставшая предметом всеобщей жалости и осмеяния, крестила сына как Жерома-Наполеона Бонапарта. Некоторое время Жером еще писал ей, но через год письма перестали приходить. При этом Наполеон продолжал выплачивать ей обещанную пенсию.
Когда Жером стал королем Вестфалии, он еще раз написал Элизабет письмо с предложением отдать ему сына в обмен на княжество с ежегодным доходом в 200 тысяч франков. Элизабет гордо отказала Жерому, ответив, что Вестфалия, несомненно, является большим королевством, но недостаточно великим одновременно для двух королев.
Она презирала слабохарактерного Жерома и ненавидела Наполеона. При этом через 50 лет после своего выдворения из Франции она констатировала:
«Он выбросил меня обратно в то, что я ненавидела больше всего на свете, в мою балтиморскую безвестность, но даже это не могло разрушить того почитания, которое я ощущала к его гению и славе. Я все-таки побывала императрицей Бонапарт».
Умерла Элизабет Паттерсон в ненавистном ей Балтиморе 4 апреля 1879 года.
Обо всей этой неприглядной истории Рональд Дел-дерфилд пишет следующее:
«На протяжении ста сорока лет обличители Наполеона искали доказательства его исключительной жестокости и суровости мышления. Они ссылались на то, как он покинул жертвы чумы в Яффе, и на убийство герцога Энгиенского, используя и то и другое в качестве примеров его аморальности. Эти инциденты, вместе со многими другими, отмеченные тем же клеймом беспощадности, все же в какой-то степени могут быть оправданы военной или политической необходимостью, но нет никакого оправдания его обращению с Элизабет Паттерсон. Это брак, хотя и несомненно нелепый, тем не менее был законным. Жером получил разрешение от своего старшего брата и от своей матери, правда, только по совершении его. И, как отмечал папа, когда он отклонял притязания Наполеона, религиозные аспекты брака были совершенно правильными и осуществленными епископом Балтимора. Трудно даже понять, почему Наполеон вел себя с такой нетерпимостью в отношении молодой пары. Одобрение брака, по крайней мере, обеспечило бы ему расположение в Штатах и означало бы удар по династической традиции, которая ослабляла кровь каждого царствующего дома в Европе. Конечно, следует признать, что Паттерсоны были выходцами из буржуазии, но были ли они в большей степени буржуазны, чем мыловар Клари из Марселя или выращивавшие оливки Бонапарты с Корсики? В последующей жизни Наполеон часто обсуждал женитьбу Жерома, но никогда ему не удавалось оправдать свое безжалостное отношение к ней в то время, и сохранялось впечатление, что не сам этот брак вызвал у него такой приступ ярости, а тот факт, что он произошел во время дезертирства его брата из флота. Но даже если все было и так, его поступок был произволен и несправедлив. При всем том именно Жером выходит из этого жалкого дела с самым большим бесчестием, и его последующее поведение в качестве короля показывает, что Наполеону следовало бы позволить ему остаться в Америке, лишенным собственности и зависимым в средствах от щедрости семьи своей жены. Возможно, Паттерсонов стоило бы поздравить с их избавлением от Жерома, Жизнь с ним, получившим отказ в доступе к французским фондам, могла бы повергнуть в банкротство Уильяма и его сыновей».
Официально сын Элизабет Паттерсон и Жерома Бонапарта получил право носить фамилию Бонапарт лишь во время правления императора Наполеона III.
Жером-Наполеон Бонапарт-Паттерсон (1805–1870) был воспитан матерью в духе католицизма. В 14-летнем возрасте он переехал в Европу, где прожил несколько лет. В Италии он встретился с членами семьи Наполеона, жившими там после реставрации Бурбонов. Некоторое время даже стоял вопрос о его браке с принцессой Шарлоттой, дочерью Жозефа Бонапарта. В 1823 году он вернулся в США и учился в Гарвардском университете. Брак с принцессой Шарлоттой не состоялся, и Жером-Наполеон в 1829 году женился на уроженке Балтимора Сьюзан-Мэри Вилльямс, дочери богатого коммерсанта. Будучи очень обеспеченным человеком, он никогда не работал и умер от рака горла 17 июня 1870 года.