Монументальные "флигели" форта Монро и строительство близлежащего форта Калхун (переименованного в форт Вул с началом Гражданской войны) на острове в Хэмптон-Роудс должны были занять Ли на ближайшие три года. Одно дело - читать об искусстве фортификации во французской классической литературе по этому предмету в Вест-Пойнте, другое - руководить огромными рабочими площадками, где велись земляные работы, закладка каменных и земляных фундаментов и окончательная планировка для подготовки к завершению сложных звездообразных, идеально взаимосвязанных оборонительных сооружений Вобана XVII века с их мириадами тщательно проработанных и красиво названных архитектурных деталей: бастион, равелин, гласис, контркарп - все из гладких и плотно подогнанных друг к другу каменных блоков, как во времена Людовика XIV, и научно разработанных для отражения артиллерийских выстрелов и для того, чтобы небольшое количество людей могло сдерживать атаки гораздо более многочисленной пехоты. Конечно, никому не приходило в голову, что потенциальный противник может состоять из американцев, нападающих на других американцев, а не из британцев, приближающихся по морю, но даже в этом случае Ли хорошо выполнил свою работу: несмотря на то что форты Монро и Вул находились в Виргинии, они оставались в руках Союза на протяжении всей Гражданской войны; более того, форт Монро после поражения Конфедерации будет служить тюрьмой для Джефферсона Дэвиса.
Работу Ли не облегчало разделение полномочий и ярость, царившие в форте. В форте Монро находилась артиллерийская школа армии, и ни ее командиру, ни его артиллеристам не нравилось присутствие инженеров, поэтому между ними постоянно возникали драки, а также споры между полковником Юстисом, который командовал фортом и школой, и капитаном Эндрю Талкоттом, который командовал инженерами и чья многочисленная и неуправляемая гражданская рабочая сила, белые и черные, раздражала полковника.
Роберт и Мэри Ли поселились в голых, скудно обставленных комнатах форта в начале августа 1831 года, после своеобразного медового месяца, проведенного в гостях у многочисленных родственников в сопровождении миссис Кьюстис. В переписке Ли пытались найти мягкое или шутливое упоминание о его сексуальных отношениях с невестой, но это кажется надуманным, поскольку единственный комментарий, на котором основаны эти попытки, содержится в письме капитану Талкотту, написанном из Рэйвенсворта во время медового месяца: "Я бы рассказал вам, как прошло время, но боюсь, что я слишком предвзят, чтобы сказать что-то большее, но что оно прошло очень быстро и продолжает идти", и извиняется за то, что не написал раньше. "На самом деле я не мог найти времени до отъезда из округа ни на что, кроме...". Эротика здесь довольно скромная, даже по меркам того времени, но никто не сомневался, что Ли был "блаженно счастлив", хотя те, кто видел новую пару, были больше впечатлены его внешностью, чем ее, а один из них заметил, что он уже "больше похож на великого человека, чем кто-либо, кого я когда-либо видел".
Контраст между внешностью Ли - торжественного "великого человека" даже в столь раннем возрасте - и игривостью и нахальным добрым юмором его поведения в частной или светской обстановке уже тогда был поразительным. Он любил играть с маленькими детьми и животными (особенно с кошками) и был очень сентиментален по отношению к лошадям. С красивыми молодыми женщинами он был кокетлив - похоже, что дразнить и флиртовать с ними было своего рода пожизненным хобби Ли. Например, во время своего медового месяца он написал Элизе Маккей, одной из девушек из семьи, у которой он остановился в Саванне, чтобы поздравить ее со свадьбой: "Как бы мне хотелось сказать: "Мистер и миссис Ли имеют честь принять любезное приглашение миссис Маккей. . . .' Но это не может быть мисс Элизе (моей возлюбленной), потому что оно прибыло сюда только вчера вечером, и это говорит о том, что с тех пор я в слезах при мысли о том, что могу потерять тебя. О я! . . . Но мисс Э. как вы относитесь к этому времени? Скажем, в 12 часов дня, когда вы видите, как тени начинают падать на восток, и знаете, что наконец-то солнце зайдет? Хотя вы, может быть, и не испугались, я полагаю, что вы очень встревожены".