Ли всегда знал, что всего в нескольких милях к северу, в Союзе, его друг и наставник генерал Уинфилд Скотт делал то же самое в гораздо больших масштабах и с гораздо большими ресурсами для командования. Несмотря на свою безупречную вежливость, Ли не смог добиться всего этого, не попортив при этом перьев, в основном потому, что он не казался многим людям достаточно воодушевленным по поводу сецессии или способности Юга выиграть войну. Отчасти это был реализм профессионального военного, не склонного к легкому оптимизму солдат-дилетантов; отчасти - тот факт, что, кто бы ни выиграл войну, мир, который он знал и любил, будет разрушен. Армии будут маршировать взад и вперед по Вирджинии, выкорчевывая семьи, уничтожая фермы и посевы, угрожая установленному порядку, который был так дорог Ли, и нарушая изящество, формальность и традиции 200-летней давности.
Это предчувствие потери глубоко тронуло Ли и сбылось быстрее, чем он предполагал. Хотя и он, и Кьюстис мягко - возможно, слишком мягко - предупредили миссис Ли, что ей, возможно, придется покинуть свой любимый Арлингтон, она осталась дома, написав ему в Ричмонд, что никогда не видела "страну более прекрасной, совершенно сияющей. Желтый жасмин [сейчас] в полном цвету и благоухает во всем воздухе".
"Ты должна переехать", - написал он ей в резкой форме 26 апреля. Когда она этого не сделала, через неделю он призвал ее "подготовить все вещи к переезду... ...и быть готовой к переезду в любой момент", но опять безрезультатно. В конце концов ее кузен Ортон Уильямс приехал из военного министерства, чтобы предупредить Мэри, что на следующий день дом займут войска Союза. Утром он снова приехал, чтобы сказать, что занятие Арлингтона откладывается, но не отменяется - она должна действовать, и быстро. Ее дочь Милдред была в школе, а Энни уехала на плантацию Памункей-Ривер со своим братом Руни и его женой, так что Мэри и ее дочери Агнес оставалось только руководить монументальной задачей по упаковке содержимого Арлингтона. Серебро семейств Ли и Кьюстис было уложено в два тяжелых сундука, вместе с личными бумагами Ли и "незаменимыми документами Вашингтона и Кьюстиса", и отправлено по железной дороге в Ричмонд. Семейные портреты и картины мистера Кьюстиса были аккуратно извлечены из рам и перевезены на повозке в Равенсворт для хранения. Ковры, ковровые дорожки, драпировки и книги были сняты и убраны на хранение, как и набор сине-бело-золотого фарфора Общества Цинциннати Джорджа Вашингтона, состоящий из 302 предметов. Наконец, его знаменитый кубок для пунша, * с нарисованным пером и чернилами американским фрегатом внутри, "корпус лежит на дне, мачты выступают до обода", чтобы пьющие могли опорожнить его от верхушек мачт до ватерлинии, был упакован в один из деревянных ящиков, которые были заколочены и убраны в погреб под замок, а последний был доверен одному из арлингтонских рабов: Селине Грей, "личной горничной" миссис Ли.
Лихие визиты лейтенанта Ортона Уильямса к миссис Ли в Арлингтон были частью его безрассудного, хотя иногда и рыцарского поведения, которое вместе с его нескрываемыми южными симпатиями привело к его аресту и краткому содержанию под стражей на острове Губернаторов в Нью-Йорке. Как офицер, служивший в штабе генерала Скотта, он имел доступ к военным планам Скотта, которые, как опасались, он мог раскрыть генералу Ли. Будучи романтиком, "по слухам, он влюбился в дочь своего тюремщика". В июне его досрочно освободили при условии, что он согласится не выезжать на юг в течение месяца, после чего он быстро явился в Ричмонд, чтобы получить звание офицера Конфедерации, хотя Ли, который опасался неустойчивости Ортона, был осторожен и не включил его в свой личный штаб.
Несомненно, семья Ли была в долгу перед Ортоном Уильямсом за то, что он убедил Мэри сделать то, что не смог сделать ее муж. 8 мая Мэри Ли и Агнес покинули Арлингтон в карете Ли и отправились в десятимильное путешествие в Рэйвенсворт, дом ее овдовевшей тети Анны Фицхью, за которыми следовали повозки, перевозившие многие вещи семьи, включая пианино, и все, что они могли упаковать в виде запасов еды и вина. Как ни тяжело было Мэри покидать родной дом, но физические трудности оказались еще тяжелее. Ли не считал ее в безопасности даже в Равенсворте и призывал "удалиться подальше от места военных действий, которые могут ворваться к вам в любой момент". Он также опасался, что присутствие Мэри в Рэйвенсворте может "вызвать раздражение [федеральных властей] у кузины Анны", добавив: "Я действительно боюсь, что вы можете принести ей больше вреда, чем пользы", опасаясь, что федеральные войска могут наказать Анну за то, что она приютила члена семьи Ли. Как обычно, Мэри осталась при своем мнении и не стала слушать. 23 мая она узнала, что 13 000 федеральных войск заняли Арлингтон, разбив палатки на лужайках и вырубив деревья вокруг особняка на дрова. Ее старший сын, Кьюстис, уволившийся из армии США и ожидавший назначения офицером в армию Конфедерации, присоединился к ней и Агнес в Равенсворте, очевидно, раздражая мать своим невозмутимым спокойствием. Мать не могла понять такого отношения, и она написала яростное письмо генерал-майору Чарльзу В. Сэнфорду, нью-йоркскому юристу и бизнесмену, который сейчас командовал оккупационными силами ополчения на Арлингтон-Хайтс: "Мне и в голову не приходило, - писала она, - что меня могут заставить судиться за разрешение войти в мой собственный дом и что такое безобразие, как его военная оккупация без участия меня и моих детей, вообще может быть совершено. . . . Я умоляю вас с вежливостью, приличествующей любой женщине, в которой не может отказать ни один храбрый солдат, позволить моему старому кучеру, которому я посылаю это письмо, получить свою одежду, передать несколько писем моему управляющему относительно фермы и т. д., дать моему рыночному служащему пропуск, чтобы он мог уехать и вернуться из Вашингтона, как обычно, где живет его семья". Далее она долго требовала разрешения для своего садовника Эфраима также посетить Вашингтон, чтобы "моему мальчику Билли" прислали его одежду, а ее горничные Селина и Марселина прислали ей некоторые "мелкие вещи", которые она не забыла упаковать. Сэнфорд был достаточно благоразумен, чтобы передать это письмо своему начальнику на другом берегу Потомака в Вашингтоне, бригадному генералу Ирвину Макдауэллу, который, возможно, не случайно вскоре станет первым генералом Союза, потерпевшим крупное поражение в Первой битве при Булл-Ран (или Первом Манассасе, как ее называли на Юге). Макдауэлл быстро отступил перед возмущенным натиском Мэри Ли и капитулировал с джентльменской вежливостью по всем пунктам.
Любая мысль о том, что этот жест умиротворит миссис Ли, была ошибочной. Ее способность гневаться намного превышала уровень комфорта ее мужа. Хозяйка Арлингтона, зависящая от щедрости своих многочисленных родственников, постоянно напоминала себе о том, чего ее лишил Союз. Все дома отныне казались ей временными пристанищами в ожидании восстановления Арлингтона, которое не состоялось при ее жизни. Она отказывалась видеть в этом мучительном паломничестве, как мягко предложил ей Ли, выражение "Божьей воли", а тем более доказательство того, что "мы не были достаточно благодарны за счастье, которое было нам доступно [в Арлингтоне], и наш небесный Отец счел нужным лишить нас того, что он нам дал". Как ни глубока и искренна была евангельская религиозная вера Мэри Ли, все это не утешило ее, и она по-прежнему была убеждена, что ее небесный Отец хочет, чтобы она вернулась в Арлингтон, даже когда она отправилась в Шантильи, дом ее родственников Стюартов, затем в Истерн-Вью, дом ее родственников Рэндолфов, а оттуда в Кинлох, дом Эдварда Тернера - последнее по предложению Ли, поскольку он знал, что северо-восточная Виргиния вскоре станет местом ожесточенных боев. Теперь семья Ли была рассеяна: Кэстис и Руни служили офицерами в армии Конфедерации; их брат Роб скоро присоединится к ним в качестве рядового в артиллерии; сам Ли постоянно находился в разъездах из Ричмонда во все места, находящиеся под его командованием; Милдред была в школе, а остальные девочки переезжали из дома в дом, к неудовольствию отца. "Я бы хотел, чтобы все они были в каком-нибудь тихом и безопасном месте", - писал он, вместо того чтобы наслаждаться бесконечными семейными праздниками, но у него не было ни малейшего представления о том, где такое место можно найти. Ирония истории заключается в том, что человек, которому предстояло стать главной фигурой в руководстве южан в Гражданской войне, стал одной из первых ее жертв: его имущество было захвачено, он и его семья остались без крова, земля, на которую он потратил столько времени и сил, чтобы сделать ее плодородной, теперь бесплодна и пуста, большие деревья, которые, как он думал, будут давать ему тень в старости, вырублены врагами для их печей.
Ли также знал, что война не скоро закончится. Вскоре после прибытия в Ричмонд он сказал Мэри Ли, что война может "продлиться десять лет". Он не скрывал своей уверенности в том, что война будет долгой, ожесточенной, "братоубийственной", но это было сообщение, которое не все хотели слышать. Шквал жалоб на Ли дошел до президента Джефферсона Дэвиса в Монтгомери, Алабама, тогда еще столице Конфедерации, с предупреждением, что Ли "слишком уныл" и что "его высказывания рассчитаны на то, чтобы одурманить наш народ". Некоторые даже обвиняли его в "предательстве". На Севере газеты предсказывали, что его имя будут "вспоминать с презрением", и клеймили его "предателем". Даже Мэри Чеснат сообщила в своем дневнике о таких высказываниях своих знакомых, как "В душе Роберт Э. Ли против нас - это я знаю"; и еще одно: "Генерал Ли будет повешен как предатель [дела Конфедерации]. . . . Он прокладывает путь позади них на случай отступления. Говорить об отступлении - это предательство, которое расстраивает солдат". Зажигатель сецессии Эдмунд Руффин, который был свидетелем повешения Джона Брауна и сделал один из первых выстрелов по форту Самтер, прибыл в Ричмонд, чтобы лично убедиться в том, что замышляет генерал Ли, и сообщил по телеграфу Джефферсону Дэвису: "ДЛЯ СПАСЕНИЯ НАШЕГО ДЕЛА СРОЧНО ПРИНИМАЙТЕ НА СЕБЯ ВОЕННОЕ КОМАНДОВАНИЕ". Никакое предложение не могло быть более вредным для Конфедерации. Ошибочное мнение о том, что президент Дэвис был военным гением или обладал даром командовать на поле боя, разделяли многие люди, включая самого Дэвиса, хотя, что интересно, не его вторая жена Варина. * Будучи военным министром, Дэвис признавал и вознаграждал выдающиеся качества Ли, поэтому он не был так тронут этими жалобами, как надеялись критики Ли. Действительно, когда они с Вариной прибыли в Ричмонд 20 мая, Дэвис, остановившийся в том же отеле, что и Ли, сразу же назначил его военным советником. Хотя 23 мая избиратели ратифицировали отделение Вирджинии, она оставалась независимой республикой до 17 июня, когда, наконец, официально присоединилась к Конфедерации. Присутствие президента и миссис Джефферсон Дэвис должно было ускорить принятие этого решения, и одним из способов обеспечить его принятие было удовлетворение гордости виргинцев путем размещения столицы Конфедерации в Ричмонде. Это была военная ошибка. Расстояние от Вашингтона (округ Колумбия) до Ричмонда (штат Вирджиния) составляет всего 106 миль. Символическое значение Ричмонда как столицы Конфедерации более или менее гарантировало, что там будут происходить великие сражения, что приведет к тому, что большая часть ограниченных сил Конфедерации окажется в северной Вирджинии, а войск никогда не будет достаточно для удержания значительной части Миссури, Кентукки и Теннесси. Выбор Ричмонда неизбежно означал, что "черный ход" Конфедерации на Западе был открыт для нападения.