Трудности Генри усугублялись тем, что в Вирджинии сексуальные отношения между родственниками считались кровосмешением, а также тем, что из-за своей экстравагантности и плохой деловой хватки (в конце концов, он был сыном своего отца) он растратил большую часть денег своей жены, а также немалую часть денег Бетси. Он развернул активную кампанию по выдаче Бетси замуж за своего друга - по сути, Генри хотел продать ее врачу и писателю по имени Роберт Майо в обмен на кредит, который позволил бы ему сохранить Стратфорд, - но бабушка Бетси сорвала этот план. После краха этой схемы, которая, отнюдь не будучи тайной, стала предметом бесконечных писем как в семье Ли, так и в семье Маккарти, Генри был вынужден продать Стратфорд, чтобы расплатиться с долгами и выполнить решение суда о возврате денег, украденных им из наследства Бетси. Он и Энн, оставшиеся без крова, начали вести скитальческую жизнь, не имея никаких источников дохода, кроме сдачи в наем тех немногих рабов, которые у нее оставались.
К его чести, Генри никогда не отрицал своей вины, но, похоже, он не понимал, что обвинения в прелюбодеянии и кровосмешении делают его практически безработным. В 1825 году, в год поступления Роберта в Вест-Пойнт, Генри удалось добиться от президента Джона Куинси Адамса обещания "скромной" работы на почте США, но и это было отменено, когда история о его совращении Бетси стала известна президенту. К тому времени, когда Роберт вернулся в Вирджинию в отпуск, Генри и Энн жили в Нэшвилле, Генри пытался написать то, что сейчас бы назвали предвыборной биографией Эндрю Джексона, а Энн тщетно пыталась побороть свою наркотическую зависимость у недавно открытого теплого источника, названного его промоутером "Фонтан здоровья" и считавшегося исцеляющим почти от всех болезней.
Кульминация, достойная романтического романа XIX века, привела к тому, что Бетси вышла замуж, а ее муж купил Стратфорд, дом, где родился Роберт Э. Ли, где она была соблазнена своим деверем или соблазнила его, и где она потом жила, богатая и респектабельная, в течение следующих пятидесяти лет. Тем временем Генри и Энн, получившие временное спасение после победы Эндрю Джексона благодаря назначению Генри консулом США в Алжире, отплыли в Северную Африку, но узнали, что назначение было отозвано, когда на заседании Сената США, к ужасу семьи Ли, были зачитаны записи о супружеских изменах, кровосмешении и финансовых преступлениях Генри.
Наследственность - не точная наука. Никто не может сказать, во всяком случае, о человеческих существах, что X плюс Y приведут к появлению Z. Биографы Роберта Э. Ли противопоставляют дикость и безответственность сына Генри Ли III от первого брака респектабельности его детей от второго брака, но простого объяснения этому нет. Конечно, его дети от Энн, за исключением Картера, никогда напрямую не сталкивались со стремительным падением своего отца, но, с другой стороны, перед ними был неизбежный пример их сводного брата Генри Ли IV, который направил их на путь истинный и удержал на нем. Конечно, Роберт Э. Ли всю жизнь избегал излишеств, скандалов и неподобающего поведения, как и его братья и сестры, хотя Картер питал слабость к деловым схемам, которые не встречали одобрения Роберта и от которых Роберту почти всегда удавалось отговорить его, приложив немало такта и усилий. Однако дикость проявляется в разных формах. У Роберта Э. Ли она не брала верх над его личной жизнью или деловыми суждениями - он всегда был образцом честности, - но она сильно повлияла на его суждения и поведение на поле боя. Он чрезвычайно рисковал собственной безопасностью: даже будучи генералом Конфедерации, он бросался в самые ожесточенные бои, чтобы лично убедиться в происходящем, подвергая себя артиллерийскому обстрелу и залпам мушкетов с близкого расстояния, не задумываясь о собственной безопасности, даже если его адъютанты и солдаты умоляли его отступить. И как только его кровь поднималась, как жаловался генерал Лонгстрит в Геттисберге, Ли не щадил свои войска и не был шокирован страшными потерями: он сражался до конца, невзирая на шансы и потери. Как Наполеон полагался на знаменитую furia francese, чтобы выпутаться из трудных ситуаций, так и Ли полагался на ярость южан в бою - крики повстанцев, штыковые атаки, самообладание своих войск. У него не было, как у Гранта, репутации "мясника", но между дорогостоящим лобовым штурмом Гранта против Ли при Колд-Харборе (штат Вирджиния) в 1864 году, о котором он сам признавался как о решении, о котором больше всего сожалел во время войны, не так уж много различий, и решительной атакой Ли на центр линии войск Союза на третий день Геттисберга, знаменитой атакой Пикетта - обе они провалились, понеся потери, которые шокировали даже их ближайших помощников (почти 7000 у Ли и более 10 000 у Гранта).