Старое чувство неудачи, которое преследовало его всякий раз, когда он думал о своей военной карьере, вернулось к нему сильнее, чем когда-либо. Он был пятидесятитрехлетним мужчиной, прослужившим в армии тридцать пять лет, и чувствовал, что ему почти нечего показать, а надежд на продвижение по службе было мало. Его старый друг и однокашник Альберт Сидни Джонстон был повышен до генерал-квартирмейстера, что означало звание бригадного генерала, и Ли чувствовал себя еще большим неудачником, а пребывание в Сан-Антонио не способствовало поднятию его настроения. Поскольку он не знал, как долго продлится его командование, он поселился в пансионе, вместо того чтобы тратиться на обустройство собственного штаба. Ему не нравились ни еда, ни общество незнакомцев. Его главной заботой были набеги команчей, которые уносили скот, лошадей и мулов, но численность его отряда упала до такого низкого уровня, а состояние лошадей было настолько плохим, что в конце концов он был вынужден отправить членов группы на всех лошадях, которые они могли найти, на поиски индейских налетчиков.
Еще одной заботой Ли был мексиканский бандит Хуан Кортинас, который совершал набеги на американские поселения вдоль Рио-Гранде. Мексиканские власти практически ничего не предпринимали, чтобы помешать ему. Ли сам отправился в погоню за Кортинасом в сопровождении роты кавалерии, но обнаружил, что Кортинас бежал через реку в Мексику. Ли был готов преследовать его через границу Мексики, если потребуется, но не раньше, чем написал довольно жесткое письмо ближайшему мексиканскому начальству, "Его Превосходительству. Андресу Тревино, губернатору штата Тамулипас и т.д.", в котором довел до его сведения, что Ли "получил указание от военного министра США уведомить власти Мексики на границе Рио-Гранде, что они должны разбить и разогнать банды бандитов, которые участвовали в этих грабежах и искали защиты на мексиканской территории".
Это не остановило проблему, и через десять дней Ли получил протест от генерала Г. Гарсии по поводу некоторых техасских рейнджеров, которые пересекли границу реки в погоне за неуловимым Кортинасом. Его ответ Гарсии был еще более резким, чем его первое послание губернатору. "Для достижения этой цели, - писал он, - я задействую, если потребуется, все силы этого департамента". Хотя Ли в конце концов выполнил свое предупреждение, отправив две роты американской кавалерии через Рио-Гранде в Мексику, хитрый Кортинас продолжал ускользать от тех, кто был послан в погоню за ним. Это могло только усугубить уныние Ли. Можно было бы предположить, что отрыв от стола и возвращение в седло с саблей и пистолетом наготове в погоне за вооруженными бандитами поднимет Ли настроение, но, похоже, этого не произошло.
Даже рождение ребенка у Руни и его жены Шарлотты не избавило Ли от меланхолии. Он смотрел в будущее с мрачным реализмом профессионального военного, хорошо знающего армию: двадцать два человека, стоящие впереди него по званию и выслуге лет, скорее всего, никогда не достигнут звания бригадного генерала, прежде чем он выйдет в отставку. Своими мыслями он поделился с кузиной Анной Фицхью: "Разделенное сердце я слишком долго имел, и разделенную жизнь я слишком долго вел. . . . Успех не всегда достигается одним-единственным безраздельным усилием, [но] он редко идет по пути колебаний. . . . И вот я живу и не могу продвинуться ни на шаг. Но пока я жив, я должен трудиться и верить". Он жаловался ей не только на свой "медленный прогресс", но и на "тысячу тревог", предположительно по поводу ухудшающегося здоровья Мэри и будущего Арлингтона, и добавлял, что он "измотан и разбит на части" - сильные слова для человека, который во всех отношениях демонстрировал необычайную степень достоинства и самообладания, и никакой жалости к себе. Своей двадцатиоднолетней дочери Энни он написал, что, как бы ни был одинок и как бы ни скучал по ней и остальным членам своей семьи, им, возможно, было бы лучше без него. "Ты знаешь, я всем очень мешал, - писал он, - и мои вкусы и занятия не совпадали со вкусами и занятиями остальных членов семьи. Теперь, надеюсь, все стали счастливее". Это странное признание, и, возможно, его причина в том, что Ли было трудно общаться со своими дочерьми, когда они были уже не девочками, а взрослыми молодыми женщинами. Как бы ни был Ли доброжелателен как отец, он был не более терпим, чем любой другой отец того времени, к романтическим тоскам своих дочерей и их выбору кавалеров. Больной Мэри он жаловался на собственное здоровье, проблемы которого варьировались от упорной простуды до болезненного ревматизма в правой руке (Эмори М. Томас в своей биографии Ли предполагает, что эта боль могла быть уже первым симптомом сердечно-сосудистого заболевания). Это был не совсем кризис среднего возраста (фраза, которой еще не существовало), хотя Ли было пятьдесят три года, а скорее первый признак старения у человека, который чувствовал, что он не только потерпел неудачу в карьере и потерял шанс занять место в истории, но и подвел свою семью.
Как бы Ли ни нравился Сан-Антонио, он был не более рад, когда ему приказали вернуться в свой полк в Форт-Мейсоне, а на посту командующего департаментом Техас его сменил Дэвид Твиггс, который теперь носил звание генерал-майора. В конце концов, Ли уже почти десять месяцев командовал 1000 милями границы между Соединенными Штатами и Мексикой, а теперь он был всего лишь командиром значительно сокращенного кавалерийского полка в одном из отдаленных, пыльных, построенных на скорую руку "фортов", которые должны были препятствовать набегам команчей и киова на новые поселения в восточном и центральном Техасе.
Хотя Ли, возможно, и был склонен "оставлять политику политикам", он все же внимательно следил за событиями в Вашингтоне; трудно представить, как он мог поступить иначе, ведь нация, казалось, вот-вот расколется на две части. Многие из офицеров самого Ли "говорили об отделении, если "черные республиканцы", как называли новую партию на Юге, победят на президентских выборах". Хотя Ли осуждал такие разговоры, он также осуждал любые попытки принудить Виргинию; и республиканский билет Авраама Линкольна и Ганнибала Хэмлина вряд ли мог его порадовать. Не произвели на него впечатления и Стивен А. Дуглас и Гершель Джонсон, которые были выбором северного крыла Демократической партии, поскольку эта партия тоже, как и виги на предыдущих выборах, окончательно разделилась на северное и южное крыло. Еще в июле Ли выразил мнение, что сенатор Дуглас должен "выйти" из гонки и присоединиться или поддержать Джона К. Брекинриджа, кандидата от южных, сторонников рабства, демократов. "Политики, - заключил Ли, - боюсь, слишком эгоистичны, чтобы стать мучениками".
Раскол среди демократов практически гарантировал победу республиканцев на Севере, а вместе с ней и достаточное количество голосов выборщиков, чтобы привести Линкольна в Белый дом. Хотя Ли не останавливался на этом вопросе, его взгляды в это время были не очень далеки от взглядов Линкольна. Оба мужчины не одобряли рабство как институт и надеялись, что ему позволят мирно угаснуть. Ни один из них не верил, что негры и белые могут или должны жить вместе на равных. Ли был не более энтузиастом, чем Линкольн, в вопросе распространения рабства на новые территории, хотя они могли бы разойтись во мнениях по поводу возвращения беглых рабов их хозяевам из "свободных" штатов. Ли уже продемонстрировал готовность преследовать "собственность" своих рабов и добиваться ее возвращения - право, подкрепленное решением Дреда Скотта, но против которого, несомненно, выступил бы Линкольн. Поднявшаяся страсть южан к правам штатов была темой, к которой Ли, как и Линкольн, подходил с осторожностью, поскольку, помимо экономических вопросов, единственными правами, которые действительно оспаривались, были возвращение беглых рабов и распространение рабства на новые территории на западе. Практически все остальные претензии южных штатов к федеральному правительству можно было бы согласовать при наличии минимальной доброй воли с обеих сторон, но тема рабства поляризовала страну по обе стороны вопроса до такой степени, что разговоры об отделении быстро стали бы реальностью. Такая перспектива тревожила Ли не меньше, чем Линкольна - оба хотели сохранить Союз, но Ли не допускал никаких угроз силой принудить южные штаты. Это была небольшая трещина в прочности его верности Союзу, но она должна была иметь огромные последствия, как для него, так и для Соединенных Штатов.
Важно понимать, что Ли шел к отделению неохотно, с бесконечными сомнениями и грустью, но с твердой чертой в голове, которую он не хотел или не мог переступить. Он не был солидарен с ликующими толпами, призывавшими к отделению, когда стало ясно, что Линкольн победил на президентских выборах 6 ноября 1860 года; он также не желал отказываться от звания в армии США, которого он так долго добивался. Кроме того, он был виргинцем, родился в поместье, которое часто посещал Джордж Вашингтон; он вырос в городе, где Джордж Вашингтон боготворил и посещал масонскую ложу; его сын владел домом, в котором Джордж Вашингтон ухаживал за своей женой Мартой. Федеральное правительство не было для Ли далекой абстракцией: от его дома до военного министерства было рукой подать. Ли было бы нелегко воспринимать это правительство как врага.