Что бы он ни думал о выступлении Лонгстрита 2 июля, Ли продолжал называть его "мой старый военный конь", а когда Мид переправился через Потомак, разместил Лонгстрита и его корпус вокруг Калпепера на случай, если Мид предпримет атаку на Ричмонд. Он никогда не забывал, что его семья тоже страдает. Особенно он переживал за Руни, своего среднего сына (бригадного генерала Уильяма Генри Фицхью Ли), который был тяжело ранен в битве при Брэнди-Стейшн 9 июня. Руни отвезли в Хикори-Хилл, поместье У. Ф. Уикхэма, где за ним ухаживали жена Шарлотта, брат Роберт-младший, находившийся в отпуске, мать и две сестры, Агнес и Милдред. Хикори-Хилл, плантация площадью более 3 000 акров, с видом на реку Памунки, была домом тети Роберта Э. Ли. Теперь она находилась в опасной близости от линии войск Союза. Ли, который обычно быстро предостерегал свою семью от подобного риска, в этот раз, похоже, не был обеспокоен. Он не послал никакого предупреждения, возможно, потому, что полагал, что Руни, как раненого офицера, оставят в покое. Если так, то он ошибся. 26 июня семья услышала выстрелы из гикориевой рощи за воротами. Роберт-младший побежал вниз, чтобы выяснить, но увидел, что к особняку галопом несется федеральный кавалерийский патруль. Он побежал обратно в дом, чтобы предупредить брата, но Руни был не в том состоянии, чтобы быстро передвигаться, а поскольку он всегда досрочно освобождал раненых федеральных офицеров, то считал, что ему ничего не угрожает.
Он ошибся. Получив информацию о присутствии Руни, федералы пришли специально, чтобы схватить сына Ли. Солдаты Союза вынесли Руни из дома на матрасе, пока его семья наблюдала за происходящим. Под вооруженной охраной "в карете "Хикори Хилл", запряженной лошадьми мистера Уикхэма, его отвезли в камеру в форте Монро. Его брату Робу удалось сбежать, спрятавшись за живой изгородью в саду; но Руни оставался военнопленным в течение девяти месяцев, сначала в форте Монро, а затем в штате Нью-Йорк. В конце концов его обменяли на офицера Союза, равного по званию офицеру Конфедерации. "Я могу оценить вашу тревогу по поводу положения Фицхью", - писал Ли своей невестке Шарлотте. "Я глубоко сочувствую вам, и в одинокие часы ночи я стону от горя по поводу его плена и разлуки с вами. . . . Вы можете думать о Фицхью и любить его сколько угодно, но не печальтесь о нем и не грустите". Хотя Руни, как и предсказывал его отец, хорошо заботился о нем "в руках старых армейских офицеров и хирургов, большинство из которых - люди принципиальные и гуманные", дети Руни умерли от скарлатины во время его плена, а его жена Шарлотта "исхудала" и умерла "от разрыва сердца".
Ли был потрясен тем, что Руни фактически похитили, пока он восстанавливался после ранения. Как ни сурова была война, генеральские офицеры редко подвергались такому обращению. Ли также был огорчен тем, что захват был осуществлен на глазах у жены и детей Руни, и с ужасом узнал, что федералы жестоко избили старого слугу семьи, "дядю Уильяма", в попытке выяснить, где находятся лошади. "Я очень сожалею об обидах, нанесенных семье в Хикори-Хилл, и особенно о том, что наш дорогой старый дядя Уильям, которому идет восьмидесятый год, подвергся такому обращению", - писал Ли Мэри, призывая ее "покориться всемогущей воле [Бога], какой бы она ни была", хотя Мэри была склонна скорее обвинять федеральное правительство, чем принимать ситуацию как волю Бога.
Это была не единственная трагедия, коснувшаяся семьи Ли. Одним из людей, сыгравших долгую и важную роль в жизни Роберта Э. Ли, была Марта Кустис Уильямс Картер, двоюродная сестра его жены Мэри и его дальняя родственница. Марки, как ее называли, подолгу жила в Арлингтоне и ухаживала за отцом Мэри, Джорджем Вашингтоном Парком Кустисом, после смерти его жены. Марки действительно считала Арлингтон вторым домом, хотя она была северянкой и была глубоко потрясена южным рабовладельческим строем и отношением к рабам, чего не смогла стереть даже ее привязанность к Ли. Она была серьезно настроена и глубоко религиозна, но на ее портрете, написанном в Арлингтоне, изображена пышногрудая, улыбающаяся, вороненоволосая молодая женщина с озорным выражением лица и заманчивыми глазами. На картине она одета в гламурное платье, обнажающее плечи, и соломенную шляпку с лентой, совпадающей с розовым цветом ее пояса, и изображена на фоне садов Арлингтона, простирающихся до реки Потомак. Это, к сожалению, портрет мира, который вот-вот будет разрушен, вплоть до парусника вдалеке, который скоро сменится пароходами, изрыгающими черный дым. Марки переписывалась с Ли с 1844 года до его смерти, но хотя письма Ли к ней были в меру флиртовыми, как и его письма ко всем молодым женщинам, в них не было ничего даже отдаленно неприличного - вся семья Ли переписывалась с Марки, а ее письма к нему читались вслух. Она была любимым членом семьи.