В течение всего 1836 года Ли был измотан болезнями Мэри и утомительной работой. Лихой молодой выпускник Вест-Пойнта превратился в перегруженного работой военного бюрократа и мужа, постоянно беспокоящегося о здоровье жены и детей. "Я никогда не видел человека, настолько изменившегося и опечаленного", - заметил один из его родственников. Ли всерьез подумывал об уходе из армии и жаловался своему другу Талкотту на собственные "проволочки" и невезение. Его не утешило повышение в звании со второго до первого лейтенанта - скромный шаг вперед для человека, который служил в армии почти семь лет. Сам Талкотт уволился из армии и начал успешную карьеру инженера-строителя, но никто не потянулся за Ли в так называемый частный сектор, а он, казалось, не мог сделать первый шаг - в конце концов, армия была его жизнью с 1825 года, и он никогда не думал о чем-то другом. Медленное (но временное) улучшение здоровья Мэри и природные красоты Арлингтона немного приободрили Ли и подтолкнули его к тому, чтобы описать Талкотту виргинские пейзажи, которые он любил: "Страна сейчас выглядит очень мило, - писал он почти лирически в мае 1836 года, - а холм в Арлингтоне покрыт зеленью и благоухает цветами деревьев, цветами сада, медоносными сосенками, желтым жасмином и т. д.". Этот кокетливый Ли сильно отличается от величественного "Мраморного человека" из легенд или сурового полководца, которым он стал впоследствии и чье седое бородатое лицо украшает бесчисленные статуи и картины. Он продолжал добавлять флирт к "Талкотт, моя красавица" в своих письмах к ее мужу, описывая ее как "шедевр с голубыми глазами" и рассуждая о том, сколько у нее будет детей и можно ли устроить так, чтобы, когда они вырастут, они вышли замуж за него.
Он был обожаемым родителем, который каждый вечер спешил домой, чтобы увидеть своих детей; он был счастлив, когда в мае 1837 года Мэри подарила ему еще одного сына, и нет сомнений, что семейная жизнь утешала Ли в том, что он застрял на работе, которая не предлагала ему никаких волнений и вызовов. Он всегда был наиболее счастлив в компании своих детей и в Арлингтоне, который был его домом; тем не менее, когда генерал Гратиот наконец уступил его просьбам о крупной инженерной работе всего за два месяца до рождения его второго сына, Ли сразу же согласился, несмотря на то, что это увезло бы его из Арлингтона на неопределенный срок и без уверенности, что Мэри и дети смогут присоединиться к нему.
Его биографы объясняют это преданностью долгу, и, конечно, для Ли это всегда было важным фактором, но также кажется вероятным, что он просто не мог устоять перед авантюрой, которая вывела бы его из кабинета начальника инженеров в поле, далеко, с большей работой и гораздо большей самостоятельной ответственностью, чем та, которой он наслаждался в качестве помощника Талкотта при исследовании границы между Огайо и Мичиганом. Хотя за 144 года, прошедшие со дня смерти Ли, из его характера (наряду со всеми остальными недостатками) тщательно вытравили элемент честолюбия - ведь уже при жизни большинство людей считали его почти бесчеловечно самоотверженным, - факт остается фактом: и тогда, и позже он был очень мотивирован на личное продвижение, но всегда предпочитал представлять другим, а возможно, и самому себе, что он лишь выполняет свой долг и что, хотя выбор пал на него, он, вероятно, не был подходящим человеком для этой работы. Он всю жизнь повторял, что хотел бы, чтобы на должность, которую ему предстояло занять, выбрали кого-то более способного. В данном случае, получив желанную должность, Ли, как правило, писал в духе добродушного самоуничижения своему старому другу из Саванны Джеку Маккею, что "им нужен был искусный инженер... и они послали меня".