Это кажется странным решением. Если техасские комиссары были готовы отпустить его домой, зачем было удерживать его багаж? Ли был в ярости и немедленно отправился в дом своего друга Чарльза Андерсона, юриста, открытого юниониста и аболициониста, который впоследствии стал полковником Девяносто третьей добровольческой пехоты Огайо, а затем губернатором штата Огайо. О Ли многое говорит тот факт, что он дружил с таким человеком, как Андерсон, который был с ним категорически не согласен, хотя на данном этапе, во всяком случае, он и Андерсон были одного мнения о техасских сепаратистах. Возможно, из-за того, что он был зол, Ли откровенничал о своей позиции больше, чем с кем-либо еще, кроме своей семьи. "Поведение этих людей [техасских комиссаров] не может отвратить меня от чувства долга. Я по-прежнему считаю... что моя лояльность Виргинии должна превалировать над лояльностью федеральному правительству. И я так и заявлю о себе в Вашингтоне. Если Вирджиния будет поддерживать Союз, то и я буду поддерживать, но если она отделится, то я пойду за своим родным штатом с мечом, а если понадобится, то и с жизнью". Хотя он сказал другому другу, что планирует вернуться домой и посадить кукурузу, и тогда в мире станет "на одного солдата меньше", он не мог представить, что Вирджиния будет нейтральной, или что его оставят в покое, чтобы возделывать свой сад. Ли попросил Андерсона придержать его вещи и переправить их в Арлингтон, на что Андерсон согласился. Решив эту проблему, Ли отправился домой через Индианолу (в то время это был процветающий техасский морской порт, но после Гражданской войны он превратился в город-призрак) и Новый Орлеан.
Он прибыл в Арлингтон 1 марта, за три дня до инаугурации Авраама Линкольна - первой президентской инаугурации в Вашингтоне со времен Томаса Джефферсона, на которой не присутствовал ни один из членов семьи Ли или Кэстис.
Хотя Мэри Ли была сильно больна ревматоидным артритом и иногда производила впечатление беспомощной южной красавицы, на самом деле она была смелой и откровенной женщиной, которая не разделяла ни нелюбви своего мужа к конфронтации, ни его относительно умеренных взглядов на растущую пропасть между Севером и Югом. Медицина в середине девятнадцатого века была такой, какой она была, и единственное лечение, которое врачи могли назначить для ее состояния, - это "принимать воды", то есть купаться или пить воду из минеральных источников, которых в Вирджинии было и остается великое множество, включая Горячие источники, Теплые источники, Белые серные источники и Рокбриджские ванны. Джонс Спрингс находился за границей, в Северной Каролине. Мэри посетила их все в поисках облегчения. Несмотря на то что путешествия были для нее мучительно трудными, ей удалось побывать на удивительном количестве курортов; А во время пребывания Ли в Сан-Антонио ей даже удалось добраться до Канады, в Колодец Святой Екатерины, расположенный к северу от Ниагарского водопада, - "долгое путешествие через Балтимор, Нью-Йорк и Эльмиру", которое она совершила в компании своего сына Кьюстиса, дочери Агнес и кузины Марки Уильямс, оставив дочь Энни присматривать за слугами в Арлингтоне и отправлять Милли (младшего ребенка Ли) в школу-интернат. Даже с тремя родственниками, помогавшими Мэри, путешествие не было легким, но, похоже, ей понравились главные живописные достопримечательности - Ниагарский водопад и озеро Онтарио, хотя даже более полутора веков назад она жаловалась на множество зданий вблизи водопада и коммерцию. Ее поразило большое количество беглых рабов, живших в Канаде, по другую сторону границы с Соединенными Штатами, и ужасные условия, в которых они жили. "Мне сказали, - писала она Энни, - что они очень страдают здесь в долгие холодные зимы". Возможно, к счастью, она не узнала среди них ни одного знакомого лица.
Оставив Агнес и Марки в Нью-Йорке, она вернулась в конце лета, несмотря на "все более поляризованную атмосферу" Севера. Маловероятно, что Мэри скрывала свои собственные чувства по этому поводу. Она была потрясена угрозами южан об отделении - не зря же она была сводной правнучкой Джорджа Вашингтона, - но не меньше ее возмущали растущие аболиционистские настроения северян, с которыми она встречалась. Даже когда Мэри Ли вернулась домой в Вирджинию, она обнаружила, что чувства северян тоже очень сильно возросли. Поэтому, когда Кэстису "пришлось отлучиться на несколько дней", он попросил своего сослуживца по военному министерству Ортона Уильямса, брата Марки, остаться в Арлингтоне, "чтобы присмотреть за нами, одинокими женщинами", как выразилась миссис Ли.