Загряжские очень гордились как знатностью своего происхождения, так и влиянием при дворе. Дед Натальи Ивановны, Александр Артемьевич Загряжский, был женат на внучке последнего независимого гетмана Малороссии. При присоединении этого края к России царь Алексей Михайлович дал на прокормление знаменитому вождю запорожцев обширную волость под Москвой — село Ярополец Волоколамского уезда.
Дядя Натальи Ивановны, утонченный вельможа екатерининских времен, красавец, был женат на Наталье Кирилловне Разумовской, дочери гетмана. В начале XIX века она известна всему великосветскому Петербургу оригинальностью своего ума и непреклонностью воли. Наталья Кирилловна оказалась настоящим кладезем ценных исторических воспоминаний, из которого не уставал черпать Пушкин, породнившись с нею через Наталью Николаевну.
Отец Натальи Ивановны Иван Загряжский, молодой блестящий офицер, служил в гвардии. Он не уставал поражать общество своими необузданными выходками, которые до поры до времени сходили Загряжскому с рук. Во избежание еще больших зол его женили на баронессе Строгановой. Надеялись, что ее крупное состояние поправит расшатанные дела Ивана Загряжского, а влияние умной и добродетельной жены остепенит повесу. Ничуть не бывало. Свалившееся на Ивана приданое еще больше развязало ему руки: картежная игра превратилась в настоящую страсть. После нескольких лет совместной жизни Иван Загряжский отвез жену с детьми в принадлежавший ему Ярополец, поселил их в только что отстроенном под наблюдением Растрелли прекрасном дворце, а сам вернулся к веселой холостой жизни, лишь изредка и ненадолго навещая семью.
Тем временем полку Загряжского выпала продолжительная стоянка в Дерпте (нынешний Тарту). Лифляндские бароны радушно встречали русских офицеров: балы и обеды не прекращались в окрестных замках. На одном из пиров у самого гордого, богатого и влиятельного барона Липгардта Загряжский увидел его прекрасную дочь, слывшую самой завидной невестой того края. Красавица Ульрика к тому времени была уже разведена со своим мужем бароном Морисом фон Поссе, имела от него малолетнюю дочь. Легкой интрижки возникнуть не могло: Ульрика была воспитана в строгих нравах, в другой вере, в недоступном кругу. Тем не менее Загряжский начал настоящее наступление на баронессу по всем правилам амурной науки. Опытный ловелас влюбил в себя молодую женщину и беззастенчиво обратился к отцу ее с официальным предложением. Ни один из его легкомысленных товарищей не проговорился о том, что Загряжский уже был женат.
Последовал отказ — в вежливой, но категорической форме. Барон Липгардт закрыл Загряжскому доступ в свой дом, а дочери запретил даже думать об отверженном претенденте. Но Ульрика была из тех пламенных натур, которые если любят, то до конца. Когда полк собирался выступить обратно в Петербург, молодая баронесса не смогла решиться на вечную разлуку с любимым и сдалась на милость победителю. Баронесса бежала из своего дома, от отца. Подкупленный священник обвенчал ее в скромном православном храме с чужим мужем.
Навсегда покинув Дерпт после рокового шага, новобрачная отправила отцу письмо, в котором, умоляя его о прощении, описывала всю силу своей любви и горечь терзаний, ей причиненных его, отца, непреклонным решением. Барон даже не ответил на эту мольбу, а через приближенного уведомил дочь, что баронесса Липгардт умерла для него и всей его родни и потому дальнейшие известия от опозоренной авантюристки его не интересуют.
Барон Липгардт свое слово сдержал: отношения были прерваны раз и навсегда. Характерно в этом смысле письмо Натальи Николаевны своему второму мужу П. П. Ланскому от 29 июня 1849 года: «…Β своем письме ты говоришь о некоем Любхарде и не подозревая, что это мой дядя. Его отец должен был быть братом моей бабки — баронессы Поссе, урожденной Любхард. Если встретишь где-нибудь по дороге фамилию Левис, напиши мне об этом, потому что это отпрыски сестры моей матери. В общем, ты и шагу не можешь сделать в Лифляндии, не встретив моих благородных родичей, которые не хотят нас признавать из-за бесчестья, какое им принесла моя бедная бабушка. Я все же хотела бы знать, жива ли тетушка Жаннет Левис, я знаю, что у нее была большая семья. Может быть, случай представит тебе возможность с ними познакомиться».
«Тетушка Жаннет Левис» — это та самая дочь баронессы Ульрики Поссе от первого брака, которую она навсегда оставила, уехав из дома, на попечение своих лифляндских родственников.
Молодая баронесса поняла: к прошлому возврата нет — и еще сильнее привязалась к своему легкомысленному супругу, который теперь должен был заменить ей все. Но достоверно известно, что из многочисленных романов Ивана Загряжского самым скоротечным было увлечение так нагло обманутой им Ульрикой Поссе. По прибытии в Петербург он понял, что не может ввести в круг своих знакомых вторую жену при живой первой: богатые Строгановы не простили бы ему столь низкого поступка. Выдать обманутую жертву за любовницу он тоже не мог, опасаясь мести возмущенной немецкой знатной родни Ульрики.