События развивались стремительно. 26 января отделилась Луизиана, а 1 февраля за ней последовал Техас, в одночасье превратив силы армии США в штате во врага, по мнению многих сторонников сецессии. Генерал Твиггс, * сменивший Ли на посту командующего департаментом Техас, считал, что его долг - сдать свои войска, и Ли не разделял его позицию, но Ли был избавлен от необходимости решать, что делать с его полком, поскольку ему было срочно отправлено сообщение с требованием немедленно вернуться в Вашингтон и "лично явиться к главнокомандующему к 1 апреля".
Правильно предположив, что в Техас он не вернется, Ли отправился в Сан-Антонио на конной "скорой помощи", вероятно, единственном закрытом транспортном средстве в кавалерийском полку, которое могло перевозить все его вещи и снаряжение. Это был "громоздкий и довольно ценный" дом вдали от дома профессионального солдата, который будет служить Ли на протяжении всей Гражданской войны. Он описал его своей дочери Агнес: "Справа от входа в палатку стоит железная походная кровать. Слева - походный стол и стул. В дальнем конце - сундук. Сбоку от входа ведро с водой и метла, одежда развешана в пределах досягаемости, шпага и пистолет очень удобны. У подножия кровати - седло и уздечка на деревянной лошади". Разумеется, все это было не так просто, но потребности Ли были спартанскими: письменный стол, книги, Библия, постельное белье, мундир и сапоги - вот и весь набор, который ему был необходим.
Не успел Ли прибыть в гостиницу в Сан-Антонио, как его окружили вооруженные люди в штатском. Жена друга, случайно проходившего мимо, сообщила ему, что генерал Твиггс только этим утром сдал свое командование и что все федеральные войска теперь "военнопленные". Ли был потрясен и возмущен тем, что с ним могут обращаться как с военнопленным. Он предусмотрительно переоделся в гражданскую одежду и отправился в штаб, где обнаружил, что сепаратисты уже находятся у руля и не настроены обращаться с ним с той вежливостью, на которую он рассчитывал. Он объяснил, что его верность - Вирджинии и Союзу, в таком порядке, и что он возвращается домой, но "техасские комиссары", как они себя называли, не успокоились. Если Ли согласится сложить с себя полномочия и принять службу в армии Конфедерации, сказали ему, он сможет свободно вернуться домой со своими вещами, но если нет, то ему придется оставить их.
Это кажется странным решением. Если техасские комиссары были готовы отпустить его домой, зачем было удерживать его багаж? Ли был в ярости и немедленно отправился в дом своего друга Чарльза Андерсона, юриста, открытого юниониста и аболициониста, который впоследствии стал полковником Девяносто третьей добровольческой пехоты Огайо, а затем губернатором штата Огайо. О Ли многое говорит тот факт, что он дружил с таким человеком, как Андерсон, который был с ним категорически не согласен, хотя на данном этапе, во всяком случае, он и Андерсон были одного мнения о техасских сепаратистах. Возможно, из-за того, что он был зол, Ли откровенничал о своей позиции больше, чем с кем-либо еще, кроме своей семьи. "Поведение этих людей [техасских комиссаров] не может отвратить меня от чувства долга. Я по-прежнему считаю... что моя лояльность Виргинии должна превалировать над лояльностью федеральному правительству. И я так и заявлю о себе в Вашингтоне. Если Вирджиния будет поддерживать Союз, то и я буду поддерживать, но если она отделится, то я пойду за своим родным штатом с мечом, а если понадобится, то и с жизнью". Хотя он сказал другому другу, что планирует вернуться домой и посадить кукурузу, и тогда в мире станет "на одного солдата меньше", он не мог представить, что Вирджиния будет нейтральной, или что его оставят в покое, чтобы возделывать свой сад. Ли попросил Андерсона придержать его вещи и переправить их в Арлингтон, на что Андерсон согласился. Решив эту проблему, Ли отправился домой через Индианолу (в то время это был процветающий техасский морской порт, но после Гражданской войны он превратился в город-призрак) и Новый Орлеан.
Он прибыл в Арлингтон 1 марта, за три дня до инаугурации Авраама Линкольна - первой президентской инаугурации в Вашингтоне со времен Томаса Джефферсона, на которой не присутствовал ни один из членов семьи Ли или Кэстис.
Хотя Мэри Ли была сильно больна ревматоидным артритом и иногда производила впечатление беспомощной южной красавицы, на самом деле она была смелой и откровенной женщиной, которая не разделяла ни нелюбви своего мужа к конфронтации, ни его относительно умеренных взглядов на растущую пропасть между Севером и Югом. Медицина в середине девятнадцатого века была такой, какой она была, и единственное лечение, которое врачи могли назначить для ее состояния, - это "принимать воды", то есть купаться или пить воду из минеральных источников, которых в Вирджинии было и остается великое множество, включая Горячие источники, Теплые источники, Белые серные источники и Рокбриджские ванны. Джонс Спрингс находился за границей, в Северной Каролине. Мэри посетила их все в поисках облегчения. Несмотря на то что путешествия были для нее мучительно трудными, ей удалось побывать на удивительном количестве курортов; А во время пребывания Ли в Сан-Антонио ей даже удалось добраться до Канады, в Колодец Святой Екатерины, расположенный к северу от Ниагарского водопада, - "долгое путешествие через Балтимор, Нью-Йорк и Эльмиру", которое она совершила в компании своего сына Кьюстиса, дочери Агнес и кузины Марки Уильямс, оставив дочь Энни присматривать за слугами в Арлингтоне и отправлять Милли (младшего ребенка Ли) в школу-интернат. Даже с тремя родственниками, помогавшими Мэри, путешествие не было легким, но, похоже, ей понравились главные живописные достопримечательности - Ниагарский водопад и озеро Онтарио, хотя даже более полутора веков назад она жаловалась на множество зданий вблизи водопада и коммерцию. Ее поразило большое количество беглых рабов, живших в Канаде, по другую сторону границы с Соединенными Штатами, и ужасные условия, в которых они жили. "Мне сказали, - писала она Энни, - что они очень страдают здесь в долгие холодные зимы". Возможно, к счастью, она не узнала среди них ни одного знакомого лица.
Оставив Агнес и Марки в Нью-Йорке, она вернулась в конце лета, несмотря на "все более поляризованную атмосферу" Севера. Маловероятно, что Мэри скрывала свои собственные чувства по этому поводу. Она была потрясена угрозами южан об отделении - не зря же она была сводной правнучкой Джорджа Вашингтона, - но не меньше ее возмущали растущие аболиционистские настроения северян, с которыми она встречалась. Даже когда Мэри Ли вернулась домой в Вирджинию, она обнаружила, что чувства северян тоже очень сильно возросли. Поэтому, когда Кэстису "пришлось отлучиться на несколько дней", он попросил своего сослуживца по военному министерству Ортона Уильямса, брата Марки, остаться в Арлингтоне, "чтобы присмотреть за нами, одинокими женщинами", как выразилась миссис Ли.
По мере того как штат за штатом отделялись друг от друга, и Кэстис Ли, и Ортон Уильямс стремились уволиться из армии США и поступить на службу в формирующуюся армию Конфедерации. Это вызвало гневное письмо Ли - именно такой поступок он не совершил бы сам и не хотел, чтобы совершил кто-то из его семьи; возможно, это способствовало формированию у него мнения о том, что Ортон Уильямс - горячая голова, что впоследствии будет иметь серьезные последствия как для Уильямса, так и для семьи Ли. Он был полон решимости хранить верность Соединенным Штатам до тех пор, пока Вирджиния не отделится, или если только не отделится, и по возвращении домой решительно пресекал любые вольные разговоры и спекуляции на эту тему. Это, однако, не помешало Мэри высказать свое твердое мнение, что, победив на выборах, Линкольн должен был уйти в отставку до вступления в должность, "если бы он был настоящим или бескорыстным патриотом", в качестве примирительного жеста по отношению к Югу: "Ничто из того, что он может сделать сейчас, - твердо продолжала она, - не встретит благосклонности со стороны Юга".
Даже если Ли был согласен с ней - а нет никаких признаков того, что он был согласен, - это было именно то крайнее мнение, которого он больше всего хотел избежать. Он прекрасно понимал, как важна точная формулировка в этот момент, когда он шел по тонкой грани между своим долгом перед правительством США и верностью Вирджинии. Он был не одинок. Мэри Чеснат, остроумная и неутомимая дневниковая писательница из Южной Каролины, чьи комментарии полны добрых сплетен и потрясающего здравого смысла, и которая, похоже, была знакома со всеми значимыми людьми в правительстве Конфедерации, отметила, что старший брат Ли, командующий Сидни Смит Ли, хотел бы, чтобы "Южная Каролина была разнесена в пух и прах... за то, что нарушает работу его любимого" флота США, и это чувство Роберт Э. Ли вполне мог разделять в отношении американской армии.
Кроме "долгой беседы" с генералом Уинфилдом Скоттом вскоре после возвращения домой, в которой Ли, предположительно, разъяснил Скотту свою позицию, а Скотт призвал его не делать ничего поспешного, он не делал ничего, кроме как наслаждался обществом своей семьи и ждал новостей, которые не заставили себя ждать. 16 марта он наконец-то получил звание полного полковника (до этого он был подполковником с бреветом полковника). Его новая комиссия была подписана президентом Линкольном. При обычных обстоятельствах это порадовало бы Ли, но трудно не увидеть в этом руку генерала Скотта. Неужели Скотт уже сообщил президенту, что считает полковника Ли самым подходящим человеком в армии США для командования полевой армией в случае войны? Была ли новая комиссия, подписанная президентом, сдержанным намеком на грядущее гораздо более высокое повышение, не столько quid pro quo - Ли был выше таких вещей, как хорошо знал Скотт, - сколько проверкой, согласится ли Ли на нее? Как бы то ни было, он сделал это 28 марта, по иронии судьбы примерно через неделю после того, как получил вежливое письмо от военного секретаря Конфедерации Л. П. Уокера, предлагавшего ему получить звание бригадного генерала в армии Конфедерации. Ли проигнорировал письмо Уокера; он придерживался своей формулы, которая заключалась в том, что он ничего не будет делать, пока Виргиния сама не решит свою судьбу.