Как раз в то время, когда Ли раздумывал, оставлять ли Петербург, его дочь Агнес, демонстрируя смелую независимость женщин Ли, решила принять давнее приглашение посетить город. Ее отец опасался, что она отложит визит на потом, но это не помешало ей отправиться на поезде в Петербург, который постоянно подвергался артиллерийским обстрелам, чтобы остановиться у своих друзей - семьи Мид. Она отметила, что жители Петербурга, казалось, не обращали внимания на разрывы пушечных снарядов на улицах. В первый же вечер военный оркестр "исполнил серенаду в доме Мидов" в честь присутствия одной из дочерей Ли, и "Агнес осыпала галантных музыкантов свежими розами". На следующий день Агнес отправилась на ферму, где находился штаб Ли, но обнаружила, что его отозвали из-за проливного дождя. На следующее утро он написал ей "поспешную [но любящую] записку".
Моя драгоценная малышка Агнес,
Мне так жаль, что я не пришел к вам вчера. Я мог бы убедить вас остаться со мной. Если бы вы остались или вышли сегодня в четыре часа утра, я мог бы увидеть вас своими усталыми сонными глазами. Теперь же я... не знаю, когда буду иметь удовольствие видеть вас.
Ли видел все признаки подготовки Гранта к атаке на линии Конфедерации и понимал, что в данный момент он мало что может сделать, чтобы остановить неизбежное. Тем не менее он был полон решимости сражаться дальше. Он предсказал, что Грант собирается "оттянуть на себя левый фланг с намерением охватить меня", именно это Грант и имел в виду, и убеждал своих офицеров в важности дисциплины. "Вид ровной, непрерывной линии более грозен для противника и делает его прицел менее точным, а огонь менее эффективным", - писал Ли, подчеркивая, что дисциплина имеет большее значение на поле боя, чем "численность или ресурсы". Однако он отметил, что его способность быстро перемещать армию сильно затруднена тем, что "кавалерия и артиллерия... все еще разбросаны из-за нехватки провианта, а наши поезда с провиантом и боеприпасами, которые должны быть с армией на случай внезапного движения, отсутствуют, собирая провиант и фураж". Еще более серьезной проблемой было то, что "состояние уныния, которое сейчас преобладает среди наших людей, плохо влияет на войска". Ли мало что мог с этим поделать. 24 февраля в длинном письме губернатору Северной Каролины Вэнсу он указал, что на войска "в значительной степени влияют письма... написанные их друзьями из дома", в которых они сообщают "своим друзьям в армии, что наше дело безнадежно, и что им лучше позаботиться о себе". Дезертиры обычно забирали с собой оружие, часто присоединялись к большим группам других вооруженных дезертиров, и во многих местах ополченцам было трудно их задержать. 9 марта, в ответ на ответ губернатора Вэнса, Ли согласился выделить два отряда войск с приказом "не брать пленных среди тех дезертиров, которые оказывают сопротивление с оружием в руках гражданским или военным властям". Ли все еще надеялся, что, сосредоточив все оставшиеся силы Конфедерации в Виргинии, он сможет провести там последнее сражение и победить Гранта, возможно, дав Конфедерации новую жизнь. На самом деле именно этого Грант боялся больше всего. Если затянувшуюся кампанию вокруг Петербурга и Ричмонда не завершить быстро, общественное мнение на Севере может обернуться против войны, которая, как многим казалось, затягивалась вечно.
Надежды Ли так и не оправдались. События не позволяли ему сосредоточить необходимое количество войск, прокормить их и снабдить боеприпасами. 17 марта он написал военному секретарю Брекинриджу, что больше не может "поддерживать даже наши небольшие силы кавалерии вокруг Ричмонда" из-за нехватки фуража. 27 марта он писал с ноткой горечи, учитывая, как долго он призывал правительство сформировать вооруженные отряды чернокожих: "Я ждал получения приказа от военного министерства о создании и организации цветных войск, прежде чем предпринимать какие-либо действия в этом вопросе. Насколько я понимаю, приказ был опубликован в газетах, но я его не видел. Тем временем мне сообщили, что в Петербурге можно получить некоторое количество рекрутов, если найти подходящих людей, которые заставят их записаться в армию".
В 4 часа утра 2 апреля Грант начал свое долгожданное наступление, "атаковав весь петербургский фронт" 125 000 человек против длинной, далеко растянутой линии Ли, насчитывающей не более 33 000 полуголодных бойцов. Независимо от того, могла ли миссис Ли и ее дочери Мэри Кэстис и Милдред видеть и слышать предварительную бомбардировку, от которой ранним утром небо над Петербургом окрасилось в красный цвет, Ли видел ее и знал, что она предвещает, и он "послал офицера, освобожденного от наказания, чтобы забрать Агнес из дома Мидов и отвезти ее на железнодорожную станцию". Отец предупредил ее, что она может оказаться в ловушке в городе, и в последнюю минуту организовал ее спасение, несомненно, с глубоким вздохом облегчения, что она оказалась на борту последнего поезда из Петербурга. Затем он перешел к написанию письма военному министру Брекинриджу. "Я не вижу перспектив сделать больше, чем удержать нашу позицию здесь до ночи. Я не уверен, что смогу это сделать; если смогу, то отступлю сегодня вечером к северу от Аппоматтокса. . . . Таким образом, наш единственный шанс сконцентрировать силы - сделать это у Дэнвильской железной дороги, что я и постараюсь сделать немедленно. Я советую сделать все приготовления, чтобы покинуть Ричмонд сегодня вечером".