3 июня 1863 года Ли начал по частям отводить свою армию из Фредериксбурга. Это произошло ровно через месяц после победы при Чанселлорсвилле, и остается удивительным, что так скоро после великой и дорогостоящей битвы армия смогла предпринять столь амбициозный фланговый марш на запад и север вокруг правой части Потомакской армии - или, что, возможно, более важно, что возглавил его человек пятидесяти шести лет и, возможно, не в лучшем состоянии здоровья.
Мы знаем, что к концу зимы Ли сильно болел, и по его симптомам можно предположить, что он страдал от артериосклероза и того, что сейчас называется стенокардией. Ни Тейлор, ни Маршалл, каждый из которых находился рядом с Ли днем и ночью, не упоминают о его здоровье, но, опять же, из всех мужчин Ли меньше всего был склонен жаловаться на него или позволять даже самым близким людям видеть что-то за его безупречной маской достоинства, самообладания и самоконтроля. Тем не менее в течение следующего месяца ему предстояло подвергнуться огромному и неустанному стрессу и в одиночку нести всю ответственность за самую большую армию Конфедерации и ее самое смелое стратегическое решение: вторжение на Север, призванное спровоцировать решающую битву, которая, наконец, принесет Югу независимость. Позже Лонгстрит напишет, что Ли был нетерпелив и возбудим, и если так, то это вполне объяснимо, но тогда Лонгстриту было что доказывать, и он писал уже после смерти Ли. Никто другой в то время, похоже, не обратил внимания на поведение и манеру поведения Ли: "мраморное лицо" и достойное самообладание оставались такими же, какими они были всегда, в победах и поражениях, чего бы они ему ни стоили.
Тот факт, что Ли "прореживает" свои силы, не остался незамеченным генералом Хукером, который 6 июня навел понтонный мост через Раппаханнок у Дип-Ран, чуть более чем в миле ниже Фредериксбурга, и перевел "большие силы" на правый берег реки, чтобы наблюдать за происходящим. Ли приказал А. П. Хиллу провести "аналогичную демонстрацию против Хукера", что убедило Хукера отвести свои силы, но он все еще был обеспокоен тем, что Ли может быть там, и отправил свою кавалерию под командованием генерал-майора Альфреда Плезантона через реку, чтобы найти его.
Результатом стало крупнейшее кавалерийское сражение Гражданской войны, произошедшее 9 июня у станции Брэнди, где Стюарт собрал свой кавалерийский корпус для смотра Ли. Трудно предположить, кто из двух генералов был больше удивлен: Плезантон, обнаруживший, что наткнулся на 9 500 конфедератов, или Стюарт, узнавший, что его атакуют 11 000 федеральных кавалеристов. К 1863 году кавалерия в любом случае чаще сражалась в пешем строю в роли "конной пехоты", чем в конном строю, но при Брэнди-Стейшн был целый день старомодных конных атак и контр-атак, которые велись в основном с помощью сабель (хотя пехота и легкая "конная артиллерия" тоже участвовали). Встревоженный возможностью того, что федеральная кавалерия может прорваться и достичь Калпепера, где расположились две трети его армии, Ли приказал пехотной бригаде выступить вперед, чтобы поддержать всадников Стюарта, и прибыл к месту сражения как раз вовремя, чтобы увидеть, как его второго сына, Руни, * уносят с поля боя с тяжелой раной в ногу. В конце концов, люди Стюарта нанесли почти вдвое больше потерь, чем получили, но это была не совсем чистая победа Стюарта, и, возможно, это оставило у него неприятные ощущения и привело к печальным последствиям. Что касается Плезантона, то его людям удалось переправиться через Раппаханнок, не дойдя до Калпепера, расположенного всего в шести с половиной милях, где расположились целых два корпуса пехоты Ли, оставив после себя более 900 убитых, раненых и пропавших без вести, а также три орудия - не совсем триумф разведки.