Ли отправился на север в Нью-Йорк на дилижансе и отплыл оттуда в Саванну в конце октября в сопровождении пожилого чернокожего кучера и домашнего слуги Нэта, который страдал от "какой-то медленной, разрушающей болезни" и, как надеялись, поправится или, по крайней мере, будет чувствовать себя более комфортно в том, что Фримен называет "мягким" климатом прибрежной Джорджии. Хотя этот случай обычно приводят в качестве примера заботы Роберта Э. Ли о рабах, и, возможно, так оно и есть, у нас нет версии Нэта - как и во всех историях о хозяевах и рабах, здесь есть элемент сомнения. Хотел ли Нэт быть оторванным от дома и семьи, которые были его домом и семьей всю его жизнь? Были ли у него жена, дети, внуки, которых он оставлял? Имел ли он вообще право голоса в этом вопросе? Возможно ли, что Ли просто нуждался в слуге и взял старого семейного слугу, которому его сестра Милдред была не нужна теперь, когда семейный экипаж и каретные лошади были проданы? Моральная двусмысленность рабства оставляет под сомнением даже то, что кажется благожелательным жестом.
Как бы Саванна ни отразилась на здоровье Ната, Ли нашел ее достаточно приятной. Здесь был небольшой артиллерийский гарнизон, и у него было несколько друзей-офицеров, один из которых, Джек Маккей, принадлежал к старой саваннской семье. Ли был сразу же принят. Ему отвели комнату в доме Маккеев, и вскоре он нашел свое место в саваннском обществе, где быстро приобрел привычку невинно флиртовать с хорошенькими девушками. Маккеи, как и Ли, были большой семьей - миссис Маккей была зажиточной вдовой с шестью детьми, четверо из которых были дочерьми, - и Ли, должно быть, чувствовал себя как дома. Всю свою жизнь он не любил ничего лучше, чем быть окруженным большой семьей, если не своей, то чужой.
С другой стороны, остров Кокспур, когда Ли впервые увидел его, имел "унылый и пустынный" вид, который более тщательное изучение не улучшило бы, и, должно быть, выглядел самым невероятным местом в мире для строительства форта. Майор Бэбкок, которому Ли должен был докладывать, уже был измучен климатом и "нагрузками", связанными с поисками места для форта, и вскоре должен был полностью отказаться от этой затеи. Ли, похоже, сразу же взялся за дело, заменив своего больного командира, и вскоре начал строить насыпи для сдерживания прилива и канал для осушения территории - по сути, его первой задачей было создать достаточно сухой земли для строительной площадки на болоте, которое превратилось в приливное болото. Поскольку это была его первая работа в качестве офицера инженерных войск, он трудился изо всех сил, день за днем погружаясь в воду по самые подмышки.
С наступлением лета работы на острове прекращались, поскольку даже закаленная рабочая сила из наемных белых и арендованных или взятых в аренду черных рабов не могла вести там раскопки в летние месяцы, когда сочетание жары и комаров делало остров практически непригодным для жизни. Взяв с собой Нэта, Ли отправился домой в длительный отпуск - то есть вернулся в Вирджинию и остановился у друзей, живших неподалеку от Арлингтона, поскольку к тому времени у него уже не было семьи, а его брат Картер переехал в Нью-Йорк. Как бы то ни было, его внимание было приковано к Мэри Анне Кьюстис, которую он, похоже, нежно обхаживал все лето. От его внимания вряд ли ускользнуло, что, хотя миссис Кэстис была довольна его очевидной привязанностью к ее дочери - миссис Кэстис была "родственницей" Ли, что имело большое значение в Вирджинии, а также преданной читательницей романтической фантастики, - мистеру Кэстису это не понравилось. Он любил Ли - тот был одним из немногих молодых людей, готовых слушать его бесконечные воспоминания о Джордже Вашингтоне, и, видимо, даже интересовался ими, настолько он уважал "отца своей страны", - но Кьюстис достаточно хорошо знал Гарри Ли, чтобы иметь сомнения относительно его сыновей, был в курсе скандала вокруг сводного брата Роберта Генри, и в любом случае он не понимал, как Роберт Ли на жалованье армейского лейтенанта мог содержать Мэри в том стиле, к которому она привыкла. За этим беспокойством, вполне естественным для того времени, скрывалась проблема финансового положения самого Кэстиса. Несмотря на величественный внешний вид Арлингтона, который представал перед знаменитым портиком, несмотря на владение многими тысячами акров земли, несколькими другими домами и 200 рабами, Кэстис всегда испытывал острую нехватку наличных денег. Он не был ни благоразумным, ни осторожным управляющим своими делами и любил жить в роскошном стиле, как "приемный сын Вашингтона", в его собственных глазах, по крайней мере, фигура государственной важности, не имея доходов для ее поддержания. Возможно, он надеялся, что Мэри решит свои проблемы, выйдя замуж за состоятельного молодого человека, или опасался расходов на пышную свадьбу, которую она и все остальные будут от нее ждать, или и то и другое, но в любом случае молодой лейтенант Ли не казался ему подходящим мужем, и он дал это понять.