Ли всегда знал, что всего в нескольких милях к северу, в Союзе, его друг и наставник генерал Уинфилд Скотт делал то же самое в гораздо больших масштабах и с гораздо большими ресурсами для командования. Несмотря на свою безупречную вежливость, Ли не смог добиться всего этого, не попортив при этом перьев, в основном потому, что он не казался многим людям достаточно воодушевленным по поводу сецессии или способности Юга выиграть войну. Отчасти это был реализм профессионального военного, не склонного к легкому оптимизму солдат-дилетантов; отчасти - тот факт, что, кто бы ни выиграл войну, мир, который он знал и любил, будет разрушен. Армии будут маршировать взад и вперед по Вирджинии, выкорчевывая семьи, уничтожая фермы и посевы, угрожая установленному порядку, который был так дорог Ли, и нарушая изящество, формальность и традиции 200-летней давности.
Это предчувствие потери глубоко тронуло Ли и сбылось быстрее, чем он предполагал. Хотя и он, и Кьюстис мягко - возможно, слишком мягко - предупредили миссис Ли, что ей, возможно, придется покинуть свой любимый Арлингтон, она осталась дома, написав ему в Ричмонд, что никогда не видела "страну более прекрасной, совершенно сияющей. Желтый жасмин [сейчас] в полном цвету и благоухает во всем воздухе".
"Ты должна переехать", - написал он ей в резкой форме 26 апреля. Когда она этого не сделала, через неделю он призвал ее "подготовить все вещи к переезду... ...и быть готовой к переезду в любой момент", но опять безрезультатно. В конце концов ее кузен Ортон Уильямс приехал из военного министерства, чтобы предупредить Мэри, что на следующий день дом займут войска Союза. Утром он снова приехал, чтобы сказать, что занятие Арлингтона откладывается, но не отменяется - она должна действовать, и быстро. Ее дочь Милдред была в школе, а Энни уехала на плантацию Памункей-Ривер со своим братом Руни и его женой, так что Мэри и ее дочери Агнес оставалось только руководить монументальной задачей по упаковке содержимого Арлингтона. Серебро семейств Ли и Кьюстис было уложено в два тяжелых сундука, вместе с личными бумагами Ли и "незаменимыми документами Вашингтона и Кьюстиса", и отправлено по железной дороге в Ричмонд. Семейные портреты и картины мистера Кьюстиса были аккуратно извлечены из рам и перевезены на повозке в Равенсворт для хранения. Ковры, ковровые дорожки, драпировки и книги были сняты и убраны на хранение, как и набор сине-бело-золотого фарфора Общества Цинциннати Джорджа Вашингтона, состоящий из 302 предметов. Наконец, его знаменитый кубок для пунша, * с нарисованным пером и чернилами американским фрегатом внутри, "корпус лежит на дне, мачты выступают до обода", чтобы пьющие могли опорожнить его от верхушек мачт до ватерлинии, был упакован в один из деревянных ящиков, которые были заколочены и убраны в погреб под замок, а последний был доверен одному из арлингтонских рабов: Селине Грей, "личной горничной" миссис Ли.
Лихие визиты лейтенанта Ортона Уильямса к миссис Ли в Арлингтон были частью его безрассудного, хотя иногда и рыцарского поведения, которое вместе с его нескрываемыми южными симпатиями привело к его аресту и краткому содержанию под стражей на острове Губернаторов в Нью-Йорке. Как офицер, служивший в штабе генерала Скотта, он имел доступ к военным планам Скотта, которые, как опасались, он мог раскрыть генералу Ли. Будучи романтиком, "по слухам, он влюбился в дочь своего тюремщика". В июне его досрочно освободили при условии, что он согласится не выезжать на юг в течение месяца, после чего он быстро явился в Ричмонд, чтобы получить звание офицера Конфедерации, хотя Ли, который опасался неустойчивости Ортона, был осторожен и не включил его в свой личный штаб.
Несомненно, семья Ли была в долгу перед Ортоном Уильямсом за то, что он убедил Мэри сделать то, что не смог сделать ее муж. 8 мая Мэри Ли и Агнес покинули Арлингтон в карете Ли и отправились в десятимильное путешествие в Рэйвенсворт, дом ее овдовевшей тети Анны Фицхью, за которыми следовали повозки, перевозившие многие вещи семьи, включая пианино, и все, что они могли упаковать в виде запасов еды и вина. Как ни тяжело было Мэри покидать родной дом, но физические трудности оказались еще тяжелее. Ли не считал ее в безопасности даже в Равенсворте и призывал "удалиться подальше от места военных действий, которые могут ворваться к вам в любой момент". Он также опасался, что присутствие Мэри в Рэйвенсворте может "вызвать раздражение [федеральных властей] у кузины Анны", добавив: "Я действительно боюсь, что вы можете принести ей больше вреда, чем пользы", опасаясь, что федеральные войска могут наказать Анну за то, что она приютила члена семьи Ли. Как обычно, Мэри осталась при своем мнении и не стала слушать. 23 мая она узнала, что 13 000 федеральных войск заняли Арлингтон, разбив палатки на лужайках и вырубив деревья вокруг особняка на дрова. Ее старший сын, Кьюстис, уволившийся из армии США и ожидавший назначения офицером в армию Конфедерации, присоединился к ней и Агнес в Равенсворте, очевидно, раздражая мать своим невозмутимым спокойствием. Мать не могла понять такого отношения, и она написала яростное письмо генерал-майору Чарльзу В. Сэнфорду, нью-йоркскому юристу и бизнесмену, который сейчас командовал оккупационными силами ополчения на Арлингтон-Хайтс: "Мне и в голову не приходило, - писала она, - что меня могут заставить судиться за разрешение войти в мой собственный дом и что такое безобразие, как его военная оккупация без участия меня и моих детей, вообще может быть совершено. . . . Я умоляю вас с вежливостью, приличествующей любой женщине, в которой не может отказать ни один храбрый солдат, позволить моему старому кучеру, которому я посылаю это письмо, получить свою одежду, передать несколько писем моему управляющему относительно фермы и т. д., дать моему рыночному служащему пропуск, чтобы он мог уехать и вернуться из Вашингтона, как обычно, где живет его семья". Далее она долго требовала разрешения для своего садовника Эфраима также посетить Вашингтон, чтобы "моему мальчику Билли" прислали его одежду, а ее горничные Селина и Марселина прислали ей некоторые "мелкие вещи", которые она не забыла упаковать. Сэнфорд был достаточно благоразумен, чтобы передать это письмо своему начальнику на другом берегу Потомака в Вашингтоне, бригадному генералу Ирвину Макдауэллу, который, возможно, не случайно вскоре станет первым генералом Союза, потерпевшим крупное поражение в Первой битве при Булл-Ран (или Первом Манассасе, как ее называли на Юге). Макдауэлл быстро отступил перед возмущенным натиском Мэри Ли и капитулировал с джентльменской вежливостью по всем пунктам.