Конечно, отношение Ли к отдельным чернокожим отличалось от его убеждения, что как расе им лучше быть рабами. Подобно тому, как он проявил доброту к старому Нэту, бывшему кучеру своей матери, он подписал письмо во время президентской кампании 1868 года, в котором говорилось: "Идея о том, что южане враждебно относятся к неграм и угнетали бы их, если бы это было в их силах, совершенно необоснованна. . . . Они выросли среди нас, и мы с детства привыкли смотреть на них с добротой".
Несмотря на то, что Ли все еще оставался всего лишь младшим лейтенантом, он, похоже, одержал верх над полковником Юстисом в форте Монро, возможно, потому, что генерал Гратиот, начальник инженерного корпуса, имел больший вес в Вашингтоне, чем начальник артиллерии. Как бы то ни было, Ли вернулся к работе, и его главной задачей стало наблюдение за транспортировкой и отсыпкой большого количества камня и песка в Хэмптон-Роудс для расширения и укрепления пятнадцатиакрового "искусственного острова", названного Рип-Рапс (в честь риппрапа, сорта сыпучего камня различных размеров и форм, из которого он был создан), где в конечном итоге будет построен форт Вул, а также ведение строгого учета расходов, который требовал Инженерный корпус. Остров, расположенный на южной стороне навигационного канала, должен был поддерживать форт Монро и обеспечивать перекрестный огонь по вражеским судам, входящим в Хэмптон-Роудс. Работа давала Ли обязанности, но не вызывала у него восторга, и, возможно, он уже начал страдать от сомнений в разумности выбора военной карьеры, которые мучили его до того, как Мексиканская война дала ему шанс испытать себя в бою и командовании и ускорила его продвижение по службе, и которые возобновлялись и усугублялись с наступлением мира, пока отделение Виргинии неожиданно не сделало его генералом. Странно, но сомнение в себе и неудовлетворенность собственными способностями будут преследовать этого самого компетентного из мужчин большую часть его жизни.
Ему повезло, что его старшим офицером был Талкотт, и они стали близкими друзьями; присутствие ненужных дополнительных артиллерийских рот, которые были посланы для подавления любых дальнейших восстаний рабов, также увеличило темп общественной жизни в форте, хотя, поскольку новые люди состояли в основном из молодых офицеров, у которых было свободное время, она была преимущественно мужской и крепко выпивающей. Ли был терпим к любителям выпить, но сам редко пил и с трудом понимал тех, кто пил сверх меры. Пьянство, игра в карты и беготня за немногочисленными доступными женщинами были главными развлечениями молодых артиллерийских офицеров в Форт-Монро, но Ли старался держаться в стороне от них, хотя был того же звания, как и его друг Джо Джонстон, который тоже был воздержан. Стоит отметить, что даже на этом раннем этапе карьеры - среди армейских офицеров никто не был ниже временного второго лейтенанта - Ли выделялся среди своих товарищей как физической формой, так и врожденным достоинством. Он не был цензурным или душным, был хорошей компанией, участвовал в развлечениях (если они не мешали службе), но в его характере была определенная сдержанность, которую он должен был сохранить на всю жизнь, и это с самого начала выделяло его, хотя он был слишком скромным, чтобы это было его намерением. В нем было одиночество великого полководца, даже когда он был еще самым младшим офицером: этому он не учился и не предполагал, это было то, с чем он родился, что, возможно, подчеркивалось его отождествлением с Джорджем Вашингтоном с раннего детства.
После рождественского визита в Арлингтон Мэри Ли вернулась в Форт-Монро только в июне 1832 года. Она приехала с матерью и двумя рабами, так что какое-то время в покоях Ли, должно быть, было очень тесно, тем более что миссис Кэстис привезла с собой из Арлингтона достаточно мебели, чтобы сделать новый дом дочери более уютным. К тому времени Мэри Ли была беременна, и, конечно, она отправилась домой в Арлингтон, чтобы родить ребенка там в сентябре при помощи и поддержке матери и слуг. Ребенок родился здоровым мальчиком, Джорджем Вашингтоном Кэстисом Ли (его всегда называли Кэстисом, а не Джорджем), названным в честь своего деда, приемного сына Джорджа Вашингтона; это имя стало еще одним признаком инстинктивной эмоциональной связи Ли с отцом его страны.
После рождения мальчика Мэри проводила в Арлингтоне почти столько же времени, сколько и в форте Монро, что вынуждало Ли вести постоянную переписку с "Молли", как он часто обращался к ней в своих письмах, а иногда и укорять ее за то, что она не соответствует его собственным высоким стандартам. Речь шла не только об аккуратности, порядке и идеальном ведении домашнего хозяйства, за что Ли мягко, но жестко критиковал ее; например, когда шурин Талкотта Хорас Хейл умер, пока Мэри была в Арлингтоне, она явно не оправдала ожиданий мужа, справившись с горем их друга и соседа в Форт-Монро. "Мне жаль, - писал он ей, - что так получилось, что ты не была с миссис Хейл, когда в одном случае ей нужна была твоя помощь, а в другом - твое сочувствие". Это звучит как довольно жесткий упрек, исходящий от человека, столь преданного своей жене, каким, несомненно, был Ли, а также может свидетельствовать об определенном, возможно, подсознательном, нетерпении по поводу того, что Мэри начала проводить много времени вдали от форта, находясь под опекой матери и отца в Арлингтоне. Похоже, между ними не было никаких трений - его письма к ней ласковые, хотя иногда и раздраженные, хотя иногда он вынужден извиняться перед другими от ее имени: "Передайте дамам, что им известно, что миссис Л. иногда склонна к лени и забывчивости в ведении домашнего хозяйства. Но они могут быть уверены, что она делает все, что в ее силах". Или, по словам ее матери, "дух желает, но плоть немощна". Это голос любящего и прощающего мужа, но также и того, кто не закрывает глаза на недостатки своей супруги и удивительно откровенно рассказывает о них своим знакомым - сквозь него просачивается некий покровительственный тон, заставляющий подозревать, что хотя Ли, возможно, был самым понимающим мужем, с ним не так уж легко жить в повседневной жизни; перфекционисты редко бывают такими.
Мэри, как видно, ожидала, что о ней позаботятся и защитят, как это всегда было в Арлингтоне, и Ли делал все возможное, хотя и с меньшими ресурсами и меньшим количеством времени - в конце концов, он был занятым и амбициозным молодым инженером, тогда как мистер и миссис Кэстис всегда были дома и под рукой, чтобы позаботиться о ее нуждах и потребностях, не говоря уже о большом количестве преданных слуг, которым больше нечем было заняться. Ни Роберт, ни Мэри Ли не могли предвидеть, сколько времени армия будет разлучать их друг с другом в последующие годы, что, вероятно, было не хуже, или то, как она станет доверенным лицом своего мужа и его советчиком, с сильным и ярко выраженным собственным мнением. Он ничего не скрывал от нее, когда писал о своих политических взглядах и карьере, и она отвечала ему такой же откровенностью и разумными советами. Он никогда не скрывал от нее своей потребности в друзьях-женщинах или своего восхищения красивым лицом - он всегда был наиболее счастлив в домашней обстановке, даже если она была не его собственная, или болтая с женщинами об их жизни, их чувствах и их детях, хотя его тон с женщинами обычно был скорее ласковым, чем страстным, как у седобородого человека, который доволен посидеть в их компании за чашкой чая, не стесняясь сделать случайный комплимент или флиртовать настолько, чтобы вызвать случайный румянец на чьих-то щеках. Он не пытался скрыть это от Мэри, и она, похоже, не возражала. Пока она была в отъезде, во Флориде началась война с семинолами, в результате которой многие артиллерийские офицеры были отправлены на юг, оставив там своих жен, и некоторое время Ли наслаждался тем, что "находится в правильном положении, чтобы посочувствовать им, поскольку миссис Ли и ее маленькая конечность находятся в Арлингтоне".
Когда она вернулась с "мастером Кустисом", как Ли в шутку называл их младенца-сына, домашние условия в форте улучшились. Капитан Талкотт женился на Гарриет Рэндольф Хакли, известной всем, включая Ли, как "прекрасная Талкотт", а его овдовевшая сестра и ее дети съехали. Таким образом, Ли смогли переехать наверх, в более просторные помещения, чем две маленькие комнаты, которые они изначально делили, а также получили больше возможностей для уединения. Однако, поскольку Гарриет Талкотт вскоре забеременела, а Мэри Ли родила маленького ребенка, в покоях, отведенных для офицеров-инженеров, должно было быть достаточно домашнего уюта, чтобы удовлетворить даже Роберта Э. Ли. В то время Ли владел четырьмя рабами своей матери, а Мэри привезла одного из Арлингтона, так что недостатка в помощи они не испытывали, хотя Ли и заметил, что они подменяют количество качеством, не сумев предложить разумной альтернативы, кроме как сказать, что Мэри могла бы попробовать нанять того, кто был бы лучше обучен. Конечно, это была именно практическая, а не моральная проблема рабства - у рабов не было особого стимула оттачивать свои навыки, а хозяин оставался с ними на всю жизнь, если только не продавал их или не сдавал в наем.
Гарриет Талкотт должна была сыграть в жизни Ли большую - возможно, даже запредельную - роль. Даже такой преданный биограф, как Эмори М. Томас, называет их отношения "затянувшейся шуточной любовной интрижкой", хотя разделяла ли Харриет эту фантазию, определить трудно. Ли определенно не делал ничего, чтобы сохранить свой интерес к ней в тайне - он дошел до того, что включал в письма мужу Гарриет то, что было равносильно billets-doux, когда они находились вне форта, и в инженерном крыле форта Монро от внимания Мэри не могло ускользнуть, что Ли был очарован Гарриет или, по крайней мере, решил сыграть роль влюбленного слабака для собственного развлечения. Если на портрете Мэри Кьюстис изображено довольно простое лицо с тонкими губами, то портрет Гарриет Талкотт, напротив, демонстрирует несколько пышную красоту: экстравагантно оголенные плечи, рот, напоминающий рот Клары Боу, "девушки 1920-х", со знаменитыми губами-пчелками, длинная изящная шея и копна светлых волос. Судя по всему, она была остроумна и умна.