На протяжении всей их супружеской жизни Ли, как и многие другие мужья, в письмах старался подчеркнуть, что Мэри нравится их путешествие, хотя совершенно очевидно, что при удобном случае она предпочитала оставаться дома, в привычной обстановке и комфорте Арлингтона. Ее чувства к Сент-Луису не могли улучшиться после того, как они прибыли туда, обнаружив, что комнат, которые, как предполагал Ли, были сняты для них, не было, и тем более не могли улучшиться после того, как они узнали, что их мебель и домашние вещи, следовавшие за ними, были уничтожены, когда пароход, на котором их перевозили, взорвался (не такое уж редкое явление на ранних пароходах, поскольку американская страсть к скорости и конкуренции часто приводила к перегреву котлов). Они провели месяц в неудобных временных жилищах, прежде чем Ли удалось снять часть большого особняка, изначально построенного Уильямом Кларком из экспедиции Льюиса и Кларка, который Ли довольно дружелюбно разделили с Уильямом Бомонтом, армейским хирургом, и его семьей.
Сент-Луис ни в коем случае не был тяжелым местом службы, по армейскому выражению, фортом на границе, но даже Ли, который был равнодушен к неудобствам, жаловался на летнюю жару и на то, что улицы превращались в удушливые пыльные бури, когда дул ветер летом, были по щиколотку в грязи, когда шел дождь, и превращались в замерзшие колеи зимой, а Мэри писала домой, что ее "заживо пожирают мошки, потому что они густые, как рой пчел, каждый вечер". К счастью, ей нравилось общество семьи Бомонт, с которой они делили дом, и уютные вечера с гостями, когда "Таси" Бомонт, милая и забавная шестнадцатилетняя дочь доктора, играла на пианино, а Ли переворачивал для нее страницы; но вид трапперов, индейцев и азартных игроков на речных судах на улицах, какими бы экзотическими и красочными они ни были, похоже, не вызвал у нее особого интереса. Несмотря на свои особняки и светские претензии, Сент-Луис находился на окраине пограничной зоны и все еще оставался грубым, неспокойным местом.
Хотя семья Ли в конце концов приспособилась к жизни в Сент-Луисе, Мэри большую часть времени болела или, во всяком случае, страдала от того, что Ли называл либо "желчным приступом", либо "вялостью". Можно предположить, что причиной тому были частые беременности, тоска по дому, а также преобладающее медицинское невежество и ошибки того времени. Если читать между строк, кажется, что она рассматривала Миссури как своего рода вынужденную временную ссылку из дома в Вирджинии и не хотела или не чувствовала себя способной присматривать за мальчиками в тех редких случаях, когда Китти отсутствовала. Даже дома в Арлингтоне, в окружении слуг, Мэри жаловалась, что ее "детишки шкварчат", а с одним слугой, который присматривал за ними, их, должно быть, было труднее контролировать. Ее безразличие к тем обязанностям, которые в то время считались "женскими", - вести домашнее хозяйство, по крайней мере, наблюдать на расстоянии за приготовлением пищи и воспитанием детей - постоянно раздражало мужа, хотя он в основном маскировал свое неодобрение довольно принужденным добрым юмором.
Для самого Ли "вялость" никогда не была возможной; он всегда был страшно энергичен. Его расстраивало недостаточное финансирование работ, медлительность рабочей силы, но все же ему удалось начать прокладку каналов через реки Де-Мойн и Рок-Айленд-Рапидс и начать работы по строительству дамбы, которая должна была перенаправить основное течение реки в сторону Сент-Луиса. Один из наблюдателей так комментирует усердие Ли: "Каждое утро с восходом солнца он отправлялся вместе с рабочими и день за днем работал под жарким, палящим солнцем - жара значительно усиливалась из-за отражения от реки. Он разделял тяжелую работу и общую пищу и пайки, предоставляемые простым рабочим, ел за одним столом... но ни разу не сблизился с ними. При любых обстоятельствах он сохранял достоинство и джентльменскую осанку, завоевывая уважение каждого, кто был под его началом". Очевидно, что загорелый молодой первый лейтенант стал предвестником величественного генерала.
В июле Ли наконец-то присвоили звание капитана, спустя десять лет после окончания Вест-Пойнта - долгое ожидание даже по тогдашним меркам, особенно учитывая его обязанности. В противовес этому скромному достижению его работа обязывала остаться в Сент-Луисе до зимы, поэтому они с Мэри пропустили традиционное празднование Рождества с ее родителями в Арлингтоне; это не могло быть легким для Мэри, которая придавала большое значение таким вещам - она впервые оказалась вдали от дома на Рождество. Кроме того, она снова была беременна, а в середине зимы лед на реке не позволял путешествовать на пароходе, а сухопутный путь, как известно, был сложен даже для самых бодрых и здоровых путешественников, не говоря уже о тех, кто был "в деликатном состоянии", согласно эвфемизму того времени. Мэри нелегко было провести Рождество вдали от дочери и ее родителей, и хотя у нее будет еще четверо детей, * сомневается, что она с нетерпением ждала новых родов, учитывая ее опыт в руках врачей, но она, во всяком случае, была полна решимости рожать в Арлингтоне, а не в Сент-Луисе.
Хотя Фримен предполагает, что Ли боялся, что "его семья увеличивалась быстрее, чем его доходы", на самом деле Ли, похоже, был рад перспективе появления еще одного ребенка; как бы он ни жаловался на низкую зарплату в армии, большая семья была тем, чего он хотел больше всего, и немногие отцы проявляли больший интерес к своим детям или наслаждались их обществом больше, чем Ли. Он любил их с такой интенсивностью, которую его собственный отец, который часто отсутствовал и редко проявлял большой интерес к своим детям, никогда не проявлял к нему. Взрослый Роберт Э. Ли словно хотел компенсировать то, что недополучил в детстве от Гарри Ли, став идеальным отцом, и эта роль ему удивительно удавалась, даже когда он был втянут в историю и стал главной фигурой в великих событиях.
Как оказалось, семья Ли покинет Сент-Луис только весной 1839 года, когда Мэри уже была на восьмом месяце. Они вернулись домой за почти рекордное для того времени время: на пароходе до Уилинга, штат Вирджиния; на частном трамвае до Фредерика, штат Мэриленд; затем на поезде до Вашингтона - в общей сложности одиннадцать дней, последние несколько из которых даже Дуглас Саутхолл Фримен, который время от времени проявляет определенное нетерпение к проблемам Мэри Ли, описывает как "тяжелое путешествие".
Ли пробыл в Арлингтоне всего две недели, прежде чем отправиться обратно в Сент-Луис, поэтому он не присутствовал при рождении Энн Картер Ли 18 июня и получил известие об этом только около 1 июля, к тому времени он уже вернулся в Сент-Луис. Его поспешное возвращение было вызвано отчасти тем неизбежным фактом, что работы на Миссисипи могли проводиться только в летние месяцы, когда вода была низкой, а отчасти тем, что его наставник генерал Гратиот был отстранен от командования Корпусом инженеров в декабре 1838 года после долгой вражды по поводу его счетов, которая была окончательно решена против него президентом. Говоря современным языком, речь шла о том, был ли оправдан отнесение Гратиотом определенных сумм на свой счет расходов и их возмещение; в ретроспективе кажется, что это был скорее вопрос политики, чем доказательство нечестности со стороны Гратиота, но Ли воспринял результат плохо и правильно опасался, что преемник Гратиота будет менее заинтересован в сохранении Сент-Луиса как порта - в конце концов, Сент-Луис был родным городом Гратиота. Возможно, проблема Гратиота заключалась лишь в том, что он не разделял почти навязчивого стремления Ли отчитываться за все до последнего пенни. Как правило, переписка Ли с Генри Кайзером невероятно подробна в отношении денег: "Я оплатил счет мистера Рикета за уход и конопатку "Жемчужины", сумма чека № 24 - 48,22 доллара... Это, согласно моей памяти, оставит в указанном банке в мой кредит 841,77 доллара, а не 840,57 доллара, как вы утверждаете" - один из примеров того, как Ли всю жизнь стремился сохранить идеальный контроль над своими финансами, какой бы низкой ни была его зарплата, и тем более над доверенными ему государственными деньгами. Он с готовностью включился в защиту Гратиота, собрал счета и бумаги генерала, пока находился в Вашингтоне; но даже он не смог выудить из них правду и в конце концов пришел к выводу, что Гратиот стал жертвой политических интриг и что нарушения, в которых обвиняли генерала, были лишь предлогом для его смещения. Как бы то ни было, одним из последствий падения Гратиота стало повышение (если это было возможно) требовательности Ли к деньгам и количества времени, которое он тратил на сведение счетов.
Улучшения, которых Ли добился, начав работы по строительству дамб на Кровавом острове, уже начали углублять канал в Сент-Луис и размывать часть песка вокруг острова Дункан, как он и предсказывал - и действительно, то, что Ли был на правильном пути, было наглядно продемонстрировано, когда разъяренные жители Иллинойса открыли огонь из пушек по некоторым из его рабочих бригад, опасаясь, что его планы уменьшат глубину канала на их стороне Миссисипи и отрежут их от потенциально "прибыльной" торговли; Возможно, это еще один пример растущей раздражительности и поворота к насилию штатов друг против друга, которые будут усиливаться в течение следующих двадцати лет. К счастью, здравый смысл возобладал, и землевладелец на иллинойской стороне реки, где надеялись построить портовый город, способный соперничать или даже затмить Сент-Луис, обратился к более мирным средствам и добился от судьи Второго иллинойского округа запрета на прекращение работ на Кровавом острове. Ли был обескуражен - дело будет рассматриваться на очередной сессии суда только в феврале 1840 года, а пока он не мог добиться дальнейшего прогресса в Сент-Луисе. Вместо этого он обратил свое внимание на два порога выше по течению, где его рабочие уже начали убирать огромные валуны и плиты известняка, каждый из которых весил более тонны, чтобы начать расчищать судоходный канал как в северном, так и в южном порогах - выдающийся подвиг гражданского строительства. Тем не менее, в письмах Ли все больше чувствуется разочарование, как будто увольнение генерала Гратиота и предписание убедили его в том, что его работа на Миссисипи, как он ее планировал, останется незавершенной или, по крайней мере, не будет им завершена. Если так, то он был прав.