Важно понимать, что Ли шел к отделению неохотно, с бесконечными сомнениями и грустью, но с твердой чертой в голове, которую он не хотел или не мог переступить. Он не был солидарен с ликующими толпами, призывавшими к отделению, когда стало ясно, что Линкольн победил на президентских выборах 6 ноября 1860 года; он также не желал отказываться от звания в армии США, которого он так долго добивался. Кроме того, он был виргинцем, родился в поместье, которое часто посещал Джордж Вашингтон; он вырос в городе, где Джордж Вашингтон боготворил и посещал масонскую ложу; его сын владел домом, в котором Джордж Вашингтон ухаживал за своей женой Мартой. Федеральное правительство не было для Ли далекой абстракцией: от его дома до военного министерства было рукой подать. Ли было бы нелегко воспринимать это правительство как врага.
Через четыре дня после избрания Линкольна законодательное собрание штата Южная Каролина "выступило с призывом к съезду, чтобы вывести штат из состава Союза". В Техасе Ли увидел, как флаг Техасской республики "Одинокая звезда" заменил "Звезды и полосы" - флаг Союза. Это было, как он писал Кэстису, "конвульсией", которую он не мог одобрить. Уже было ясно, что Техас отделится, несмотря на противодействие губернатора Сэма Хьюстона, который, будучи изгнанным с поста, сказал разъяренной толпе: "Позвольте мне рассказать вам, что нас ждет. Пожертвовав бесчисленными миллионами сокровищ и сотнями тысяч жизней, вы можете завоевать независимость Юга, если Бог не будет против вас, но я сомневаюсь в этом. . . . Север полон решимости сохранить Союз. Они не такие вспыльчивые и импульсивные люди, как вы, потому что живут в более холодном климате. Но когда они начинают двигаться в заданном направлении, они движутся с неуклонной динамикой и настойчивостью могучей лавины". Хьюстон выразил то, чего уже опасался Ли. Задолго до отстранения Хьюстона от должности Ли писал Кэстису: "Я надеюсь, однако, что мудрость и патриотизм страны придумают какой-нибудь способ спасти его. . . . Три предложения [уходящего] президента Бьюкенена в высшей степени справедливы". Он сомневался, что план Бьюкенена одержит верх, но добавил: "Однако это моя единственная надежда на сохранение Союза, и я буду держаться за нее до последнего. . . . Хотя я хочу делать то, что правильно, я не желаю делать то, что неправильно, ни по указке Юга, ни по указке Севера". Один из их планов, похоже, заключается в возобновлении работорговли. Я против этого по всем пунктам".
Хотя были предприняты огромные усилия, чтобы отмежевать Ли от темы рабства, примечательно, что три "предложения" Бьюкенена, на которые он ссылался как на "единственную надежду на сохранение Союза", все связаны с рабством: (1) признание "права собственности на рабов" в тех штатах, где оно существовало "или может существовать в будущем" - последние четыре слова многие северяне расценили бы как приглашение к расширению рабства; (2) "обязанность" "защищать это право на территориях" - именно то, против чего боролись аболиционисты в Канзасе; и (3) "исполнение законов о беглых рабах с объявлением неконституционности законов штатов, изменяющих их", что означало принуждение федерального правительства к рабству в северных штатах. Ли не думал, что "северные и западные штаты [согласятся]" с этими предложениями, и он был абсолютно прав, но тем, кто полагает, что его единственной заботой было вооруженное принуждение южных штатов федеральным правительством, следует учесть, что еще 14 декабря 1860 года он написал Кустису, служившему тогда в военном министерстве, о своей уверенности в том, что принятие на национальном уровне трех предложений Бьюкенена о рабстве - единственный путь к спасению Союза.