Для самого Ли "вялость" никогда не была возможной; он всегда был страшно энергичен. Его расстраивало недостаточное финансирование работ, медлительность рабочей силы, но все же ему удалось начать прокладку каналов через реки Де-Мойн и Рок-Айленд-Рапидс и начать работы по строительству дамбы, которая должна была перенаправить основное течение реки в сторону Сент-Луиса. Один из наблюдателей так комментирует усердие Ли: "Каждое утро с восходом солнца он отправлялся вместе с рабочими и день за днем работал под жарким, палящим солнцем - жара значительно усиливалась из-за отражения от реки. Он разделял тяжелую работу и общую пищу и пайки, предоставляемые простым рабочим, ел за одним столом... но ни разу не сблизился с ними. При любых обстоятельствах он сохранял достоинство и джентльменскую осанку, завоевывая уважение каждого, кто был под его началом". Очевидно, что загорелый молодой первый лейтенант стал предвестником величественного генерала.
В июле Ли наконец-то присвоили звание капитана, спустя десять лет после окончания Вест-Пойнта - долгое ожидание даже по тогдашним меркам, особенно учитывая его обязанности. В противовес этому скромному достижению его работа обязывала остаться в Сент-Луисе до зимы, поэтому они с Мэри пропустили традиционное празднование Рождества с ее родителями в Арлингтоне; это не могло быть легким для Мэри, которая придавала большое значение таким вещам - она впервые оказалась вдали от дома на Рождество. Кроме того, она снова была беременна, а в середине зимы лед на реке не позволял путешествовать на пароходе, а сухопутный путь, как известно, был сложен даже для самых бодрых и здоровых путешественников, не говоря уже о тех, кто был "в деликатном состоянии", согласно эвфемизму того времени. Мэри нелегко было провести Рождество вдали от дочери и ее родителей, и хотя у нее будет еще четверо детей, * сомневается, что она с нетерпением ждала новых родов, учитывая ее опыт в руках врачей, но она, во всяком случае, была полна решимости рожать в Арлингтоне, а не в Сент-Луисе.
Хотя Фримен предполагает, что Ли боялся, что "его семья увеличивалась быстрее, чем его доходы", на самом деле Ли, похоже, был рад перспективе появления еще одного ребенка; как бы он ни жаловался на низкую зарплату в армии, большая семья была тем, чего он хотел больше всего, и немногие отцы проявляли больший интерес к своим детям или наслаждались их обществом больше, чем Ли. Он любил их с такой интенсивностью, которую его собственный отец, который часто отсутствовал и редко проявлял большой интерес к своим детям, никогда не проявлял к нему. Взрослый Роберт Э. Ли словно хотел компенсировать то, что недополучил в детстве от Гарри Ли, став идеальным отцом, и эта роль ему удивительно удавалась, даже когда он был втянут в историю и стал главной фигурой в великих событиях.
Как оказалось, семья Ли покинет Сент-Луис только весной 1839 года, когда Мэри уже была на восьмом месяце. Они вернулись домой за почти рекордное для того времени время: на пароходе до Уилинга, штат Вирджиния; на частном трамвае до Фредерика, штат Мэриленд; затем на поезде до Вашингтона - в общей сложности одиннадцать дней, последние несколько из которых даже Дуглас Саутхолл Фримен, который время от времени проявляет определенное нетерпение к проблемам Мэри Ли, описывает как "тяжелое путешествие".
Ли пробыл в Арлингтоне всего две недели, прежде чем отправиться обратно в Сент-Луис, поэтому он не присутствовал при рождении Энн Картер Ли 18 июня и получил известие об этом только около 1 июля, к тому времени он уже вернулся в Сент-Луис. Его поспешное возвращение было вызвано отчасти тем неизбежным фактом, что работы на Миссисипи могли проводиться только в летние месяцы, когда вода была низкой, а отчасти тем, что его наставник генерал Гратиот был отстранен от командования Корпусом инженеров в декабре 1838 года после долгой вражды по поводу его счетов, которая была окончательно решена против него президентом. Говоря современным языком, речь шла о том, был ли оправдан отнесение Гратиотом определенных сумм на свой счет расходов и их возмещение; в ретроспективе кажется, что это был скорее вопрос политики, чем доказательство нечестности со стороны Гратиота, но Ли воспринял результат плохо и правильно опасался, что преемник Гратиота будет менее заинтересован в сохранении Сент-Луиса как порта - в конце концов, Сент-Луис был родным городом Гратиота. Возможно, проблема Гратиота заключалась лишь в том, что он не разделял почти навязчивого стремления Ли отчитываться за все до последнего пенни. Как правило, переписка Ли с Генри Кайзером невероятно подробна в отношении денег: "Я оплатил счет мистера Рикета за уход и конопатку "Жемчужины", сумма чека № 24 - 48,22 доллара... Это, согласно моей памяти, оставит в указанном банке в мой кредит 841,77 доллара, а не 840,57 доллара, как вы утверждаете" - один из примеров того, как Ли всю жизнь стремился сохранить идеальный контроль над своими финансами, какой бы низкой ни была его зарплата, и тем более над доверенными ему государственными деньгами. Он с готовностью включился в защиту Гратиота, собрал счета и бумаги генерала, пока находился в Вашингтоне; но даже он не смог выудить из них правду и в конце концов пришел к выводу, что Гратиот стал жертвой политических интриг и что нарушения, в которых обвиняли генерала, были лишь предлогом для его смещения. Как бы то ни было, одним из последствий падения Гратиота стало повышение (если это было возможно) требовательности Ли к деньгам и количества времени, которое он тратил на сведение счетов.