На протяжении всей их супружеской жизни Ли, как и многие другие мужья, в письмах старался подчеркнуть, что Мэри нравится их путешествие, хотя совершенно очевидно, что при удобном случае она предпочитала оставаться дома, в привычной обстановке и комфорте Арлингтона. Ее чувства к Сент-Луису не могли улучшиться после того, как они прибыли туда, обнаружив, что комнат, которые, как предполагал Ли, были сняты для них, не было, и тем более не могли улучшиться после того, как они узнали, что их мебель и домашние вещи, следовавшие за ними, были уничтожены, когда пароход, на котором их перевозили, взорвался (не такое уж редкое явление на ранних пароходах, поскольку американская страсть к скорости и конкуренции часто приводила к перегреву котлов). Они провели месяц в неудобных временных жилищах, прежде чем Ли удалось снять часть большого особняка, изначально построенного Уильямом Кларком из экспедиции Льюиса и Кларка, который Ли довольно дружелюбно разделили с Уильямом Бомонтом, армейским хирургом, и его семьей.
Сент-Луис ни в коем случае не был тяжелым местом службы, по армейскому выражению, фортом на границе, но даже Ли, который был равнодушен к неудобствам, жаловался на летнюю жару и на то, что улицы превращались в удушливые пыльные бури, когда дул ветер летом, были по щиколотку в грязи, когда шел дождь, и превращались в замерзшие колеи зимой, а Мэри писала домой, что ее "заживо пожирают мошки, потому что они густые, как рой пчел, каждый вечер". К счастью, ей нравилось общество семьи Бомонт, с которой они делили дом, и уютные вечера с гостями, когда "Таси" Бомонт, милая и забавная шестнадцатилетняя дочь доктора, играла на пианино, а Ли переворачивал для нее страницы; но вид трапперов, индейцев и азартных игроков на речных судах на улицах, какими бы экзотическими и красочными они ни были, похоже, не вызвал у нее особого интереса. Несмотря на свои особняки и светские претензии, Сент-Луис находился на окраине пограничной зоны и все еще оставался грубым, неспокойным местом.
Хотя семья Ли в конце концов приспособилась к жизни в Сент-Луисе, Мэри большую часть времени болела или, во всяком случае, страдала от того, что Ли называл либо "желчным приступом", либо "вялостью". Можно предположить, что причиной тому были частые беременности, тоска по дому, а также преобладающее медицинское невежество и ошибки того времени. Если читать между строк, кажется, что она рассматривала Миссури как своего рода вынужденную временную ссылку из дома в Вирджинии и не хотела или не чувствовала себя способной присматривать за мальчиками в тех редких случаях, когда Китти отсутствовала. Даже дома в Арлингтоне, в окружении слуг, Мэри жаловалась, что ее "детишки шкварчат", а с одним слугой, который присматривал за ними, их, должно быть, было труднее контролировать. Ее безразличие к тем обязанностям, которые в то время считались "женскими", - вести домашнее хозяйство, по крайней мере, наблюдать на расстоянии за приготовлением пищи и воспитанием детей - постоянно раздражало мужа, хотя он в основном маскировал свое неодобрение довольно принужденным добрым юмором.