Вдали от семьи он продолжал беспокоиться о каждой детали их жизни. Миссис Ли вместе с двумя дочерьми, Милдред и Агнес, приняла гостеприимство друзей семьи в их поместье на реке Джеймс, к западу от Ричмонда, оставив свою дочь Мэри Кэстис "набираться сил и веса". Не успела миссис Ли приехать, как поскользнулась на полированном деревянном полу и поранилась. Несмотря на мольбы мужа и врачей, она отказалась лечь в постель и, похоже, ничуть не пострадала от несчастного случая. Письма Ли всегда были полны любви и добрых советов, большинство из которых миссис Ли игнорировала, как и ее дочери. Хотя он призывал Милдред ("Драгоценная жизнь") продолжать вязать, она проводила большую часть времени за игрой на фортепиано и чтением. Он убеждал Мэри Кьюстис присоединиться к матери и сестрам в деревне, но она осталась в Ричмонде на большую часть лета, чтобы побыть с друзьями, пока жара не заставила ее уехать. И миссис Ли, и девочки много вязали, в основном носки, энтузиазм которых, возможно, был приглушен тем, что Ли отдавал их солдатам, которые нуждались в них больше, чем он сам. Женщины Ли были не одиноки. По всему Югу женщины вязали подарки и отправляли их генералу Ли, который раздавал их все - войскам или раненым в госпиталях. К отчаянию своего буфетчика и адъютантов, он раздал бесчисленные корзины с деликатесами. Интересно отметить, что когда нижнее белье генерала нуждалось в замене, новое кроила и шила миссис Ли, несмотря на ее артрит, хотя Ли, в своей обычной мягкой дразнящей манере, предположил, что более "проворные пальцы" Агнес могли бы быть использованы для их изготовления, предположительно в качестве подготовки к браку. Это предположение, похоже, тоже осталось без внимания.
Когда Ли проводил встречи в Ричмонде, он всегда посещал дом 707 по Франклин-стрит, скромный дом, который его старший сын, Кустис ("Бу"), снимал у мистера Джона Стюарта, и в котором теперь обычно жили его жена Мэри и дочери. Эти краткие проблески домашнего уюта были для Ли большим утешением, и, судя по отзывам посетителей дома, даже миссис Ли, несмотря на немощь и боль от потери Арлингтона, была в лучшем расположении духа, чем раньше - "казалось, она становилась все мужественнее и спокойнее по мере того, как новости с фронта становились все хуже".
Осень 1864 года принесла мало хороших новостей. Грант не прорвал линии Ли вокруг Петербурга, но теперь практически не было шансов, что Ли сможет вырваться, как и не было возможности обеспечить его достаточным количеством продовольствия и фуража. Племянник Ли генерал-майор Фицхью Ли * описывал солдат своего дяди как "оборванных, галантных парней... чьи щеки говорили о том, что их мучает голод, а дрожащие формы свидетельствовали об отсутствии надлежащей одежды". Как и Ричмонд, армия Северной Вирджинии находилась в осаде. Поражение было лишь вопросом времени, если не сказать чудом. В ноябре стало ясно, что чуда не будет - Линкольн был переизбран с перевесом в 400 000 голосов избирателей и победил во всех штатах, кроме трех, став первым президентом, выигравшим второй срок со времен Эндрю Джексона.
Письма Ли военному секретарю и президенту Дэвису были полны жалоб на нехватку пайков и одежды для его людей - в некоторых полках, указывал он, "не было обуви и у пятидесяти человек"; крошечные порции прогорклого бекона и заплесневелой кукурузной муки - все, чем он мог накормить свои войска. Полное отсутствие мыла, жаловался он, было причиной огромных страданий; и, возможно, неудивительно, что с наступлением зимы число дезертиров "тревожно возросло". За четыре дня до Рождества генерал Шерман завершил свой марш через Джорджию к морю, взяв Саванну. Это был лишь вопрос времени, когда он повернет свою армию на север, чтобы присоединиться к Гранту под Петербургом. Ситуация была слишком критической, а страдания его войск слишком велики, чтобы Ли мог провести Рождество с семьей.
Дезертировали не только войска Ли. С большой неохотой Конфедерация согласилась на призыв рабов в армию - дело было не столько в предрассудках, сколько в том, что рабы представляли собой собственность и богатство, а также в том, что в отсутствие большого количества белых мужчин они были единственной рабочей силой, оставшейся у многих землевладельцев. Неудивительно, что те, кто был призван в армию, дезертировали гораздо чаще, чем белые солдаты. Ли жаловался, что запросил 5 000 рабочих, а получил только 2 200 "небольшими группами и через разные промежутки времени", а к декабрю у него осталось менее 1 200 человек. Более радикальная идея вооружить рабов, чтобы они сражались за Конфедерацию, была выдвинута еще в 1861 году, но, учитывая отчаянную военную ситуацию, осенью 1864 года она стала более насущным вопросом. Альберт Бертон Мур в своем блестящем исследовании "Призыв и конфликты в Конфедерации" суммирует "кардинальные положения" тех, кто выступал против этого радикального шага: "1) вооружение рабов означало бы отказ от теорий и традиций Юга; 2) это означало бы отмену рабства, поскольку "если негр годится в солдаты, он не годится в рабы"; 3) это означало бы отказ от основания, на котором штаты отделились, если бы они позволили Конгрессу вмешиваться в институт рабства; и 4) это было бы оскорблением для белых солдат, и многие из них сложили бы оружие". Ли был "главной опорой" тех, кто выступал за этот радикальный шаг, написав члену законодательного собрания Вирджинии: "Мы должны решить, будет ли рабство уничтожено нашими врагами и рабы будут использованы против нас, или же мы сами будем использовать их, рискуя последствиями, которые могут быть вызваны нашими социальными институтами". Затем Ли разрубил гордиев узел, указав, что любой акт о зачислении рабов в солдаты должен содержать "хорошо усвоенный план постепенной и всеобщей эмансипации": нельзя ожидать, что рабы будут хорошо сражаться, если их служба в качестве солдат не будет вознаграждена свободой. Президент Дэвис не хотел решать этот самый деликатный вопрос на Юге, и Конгресс Конфедерации, и законодательные собрания южных штатов обсуждали и откладывали принятие решения. Дэвис, что неудивительно, предпочел подождать, "пока общественное мнение созреет по этому вопросу", но в результате "конец наступил раньше, чем [негритянский призыв] был начат". Примечательно, что Ли, по натуре самый консервативный человек и наиболее уважающий южные традиции и институты, в данном случае выступил самым радикальным сторонником призыва негров в армию и обещания им свободы одновременно с мушкетом.
4 февраля 1865 года Ли наконец-то был назначен "главнокомандующим" всех армий Конфедерации. Характерно, что он ответил, что "обязан только доброте его превосходительства президента" за "этот высокий и трудный пост", добавив, что еще более тревожно, что он "не получил никаких инструкций относительно моих обязанностей" и не знает, что президент Дэвис хочет, чтобы он взял на себя.
Ли официально объявил, что 9 февраля он "принял командование военными силами Конфедеративных Штатов", и сразу же обратил внимание на одну из своих главных проблем: он дал дезертирам и тем, кто отсутствовал без отпуска, двадцать дней на то, чтобы вернуться в свою часть или явиться к ближайшему офицеру, после чего они будут подвергнуты "наказанию, которое может быть назначено судом, и прошения о помиловании не будут приниматься к рассмотрению". Теоретически это означало помилование для тех, кто вернулся в армию, и смертную казнь для тех, кто этого не сделал, но на практике к этому времени ни суды Конфедерации, ни различные подразделения "ополчения", которым было поручено выслеживать и задерживать дезертиров, не справлялись с более чем 100 000 дезертиров. В некоторых случаях применялись тюремное заключение и казни, было как минимум одно линчевание, но падение боевого духа, нехватка припасов и ожидание поражения позволили большинству мужчин вернуться в сельскую жизнь, не донося на них соседям.
Каким бы непоколебимым ни выглядел Ли перед своими людьми, он не был жизнерадостным. Всего через десять дней после принятия назначения на пост главнокомандующего он написал Джону К. Брекинриджу, новому военному секретарю Конфедерации, что "может возникнуть необходимость оставить все наши города, и следует подготовиться к этой непредвиденной ситуации". Он также призвал сосредоточить "все наши армии" в Вирджинии, "поскольку по отдельности они, похоже, не в состоянии выступить против врага". Это была реалистичная, но неутешительная оценка - события на местах стремительно перечеркивали контроль правительства Конфедерации над тем, что осталось от нее. Ли уже подумывал о том, чтобы перебросить припасы и снаряжение из Ричмонда в Линчбург, где он мог бы удержать узел железных дорог Саутсайд и Дэнвилл, "чтобы сохранить связь с Севером и Югом, насколько это возможно, а также с Западом". О его душевном состоянии лучше всего можно судить по его письму от 21 февраля миссис Ли: "Если придется оставить нашу позицию, чтобы избежать окружения, что вы будете делать? Останетесь ли вы или покинете город?". К этому он добавил, зная, что Мэри Ли почти наверняка поступит именно так, как хочет: "Вы должны обдумать этот вопрос и принять решение".
Как раз в то время, когда Ли раздумывал, оставлять ли Петербург, его дочь Агнес, демонстрируя смелую независимость женщин Ли, решила принять давнее приглашение посетить город. Ее отец опасался, что она отложит визит на потом, но это не помешало ей отправиться на поезде в Петербург, который постоянно подвергался артиллерийским обстрелам, чтобы остановиться у своих друзей - семьи Мид. Она отметила, что жители Петербурга, казалось, не обращали внимания на разрывы пушечных снарядов на улицах. В первый же вечер военный оркестр "исполнил серенаду в доме Мидов" в честь присутствия одной из дочерей Ли, и "Агнес осыпала галантных музыкантов свежими розами". На следующий день Агнес отправилась на ферму, где находился штаб Ли, но обнаружила, что его отозвали из-за проливного дождя. На следующее утро он написал ей "поспешную [но любящую] записку".