В воскресенье, 2 апреля, миссис Ли и ее дочери посетили службу причастия в церкви Святого Павла, где увидели, как пономарь прошел к алтарю и почтительно наклонился, чтобы шепнуть президенту Дэвису. Дэвис поднялся со своей скамьи, за ним один за другим последовали "другие важные военные и правительственные деятели". Линия Ли под Петербургом была прорвана, и Ричмонд был потерян. К тому времени, когда миссис Ли вышла из церкви после службы, уже выстроились повозки, чтобы вывезти архивы и то, что осталось от золотых слитков правительства Конфедерации. К полудню она и ее дочери наблюдали за тем, как по городу распространяется паника. Члены правительства Конфедерации теперь были беглецами, разыскиваемыми людьми, бежавшими в никуда. "Все жители Ричмонда, богатые и бедные, высокородные и низкого происхождения, казалось, спешили покинуть город. Повозки и кареты, заваленные мебелью и бочками, толкали нескончаемый поток тяжело нагруженных пешеходов, стремящихся убраться куда-нибудь подальше, спасаясь от страшных янки. Через открытые створки семья прислушивалась к звукам бегства, топоту ног, скрипу колес повозок, плачу детей и вою испуганных лошадей, когда "мрачный ужас распространял свою дикую заразу"".
К середине дня город охватили грабежи и пьянство, а к вечеру по всему Ричмонду вспыхнули пожары на табачных складах, "подожженных по недоразумению". Вскоре город сотрясли огромные взрывы, когда оставшиеся боеприпасы и военно-морские склады были подорваны либо пьяными мародерами, либо отступающими войсками. Ричмонд был разрушен не мстительными войсками Союза, а брошен на растерзание собственными жителями. Перед самым рассветом в городе взорвался последний оставшийся пороховой магазин, и пламя двинулось на восток к Франклин-стрит, поглощая почти все на своем пути. По иронии судьбы 2 апреля было идеальным весенним днем, в воздухе витал аромат распускающихся деревьев и цветов; но когда 3 апреля взошло солнце, оно тускло осветило сквозь клубы едкого дыма и горящих обломков, наполнивших воздух, лишь остовы тлеющих зданий и обугленные, почерневшие деревья. Общественные и частные здания Ричмонда выбрасывали вверх потоки пепла, обгоревшей бумаги, сломанной мебели и резных деревянных панелей - все, что осталось от столетия процветания и благородной жизни. Миссис Ли наблюдала за происходящим из окна через лорнет, "одетая", как рассказывает ее биограф Мэри П. Куллинг, "в свое самое красивое платье, лучший чепец, вуаль и перчатки". Она, вероятно, не удивилась, когда огненный смерч чудом остановился рядом с ее домом. Когда наступило утро вторника, сквозь клубы дыма она увидела "старый, знакомый" флаг Союза, вновь развевающийся над куполом Капитолия, и услышала ровный шаг войск Союза, марширующих по улицам, чтобы потушить оставшиеся пожары и восстановить порядок. Командующий войсками Союза предложил эвакуировать ее и ее дочерей в более безопасное место, но Мэри Ли отказалась ехать. Для ее защиты у дверей поставили часового - возможно, намеренно, первым был чернокожий солдат, но Мэри Ли возразила против такого крайнего унижения, и его сменили несколько белых солдат. Немногим оставшимся гражданским были выданы продовольственные карточки, поскольку деньги Конфедерации теперь ничего не стоили, и девушки делали покупки, какие могли. Поскольку Мэри Ли была инвалидом, ей не довелось увидеть окончательное унижение, когда 4 апреля, всего через сорок восемь часов после того, как ее муж вывел свою армию из прорванных линий Конфедерации вокруг Петербурга, президент Линкольн с мрачным и растерянным видом проехал в открытой карете по призрачным руинам бывшей столицы Конфедерации, посетив наконец город, который его армия пыталась взять в течение четырех долгих, кровавых лет и который Ли так умело защищал с 1 июня 1862 года.