С 1844 по 1846 год Ли чередовал службу в качестве своего рода прославленного клерка и связного с Конгрессом по правую руку главного инженера в Вашингтоне с работой на фортах в Нью-Йорке, при этом он был "назначен членом инженерного совета по обороне Атлантического побережья", что расширило его обязанности без какого-либо увеличения жалования или звания. В Вашингтоне его завалили бумажной работой, и он выражал свой растущий "ужас при виде пера, чернил и бумаги". В Нью-Йорке он руководил рытьем рвов и установкой тех немногих орудий, которые удалось сохранить. Это была неинтересная и тяжелая работа, хотя он развлекал себя тем, что в ярмарочные дни ездил на одной из двух своих лошадей из форта Гамильтон в Нью-Йорк, чтобы присутствовать на заседаниях инженерного совета, а зимой ездил туда и обратно на больших, переполненных конных санях, которые служили автобусами и на которых его внимание привлекали хорошенькие девочки, возвращавшиеся из школы, "державшиеся друг за друга на коленях с сумками книг и улыбающимися лицами". Он рассуждал со своим старым другом Маккеем о том, сядет ли одна из них к нему на колени, если он предложит ей такую возможность, но рыцарски решил уступить свое место. Невинное восхищение Ли красивым юным лицом не уменьшилось от того, что он стал отцом семейства.
Зима 1845-1846 годов ознаменовалась маленькой домашней трагедией, которая сильно потрясла Ли. Как раз когда Мэри Ли готовилась к отъезду в Арлингтон, ее второй сын, Руни, уже "авантюрный молодой человек" в возрасте восьми лет, забрался на сеновал, куда ему было запрещено ходить, и отрезал "кончики двух своих пальцев", играя с разделочным ножом. В ходе передовой для того времени операции оба отрезанных пальца были пришиты обратно. Помимо опасности заражения в те дни, когда антисептики еще не были в ходу, в течение нескольких дней было сомнительно, что они "срастутся", но удивительным образом это произошло. Фримен приписывает Ли ужас перед уродствами, что, возможно, усиливало его беспокойство, и это может быть так, но его дочь Энн родилась с большим родимым пятном на лице, и Ли, кажется, принял это в штыки; он даже трогательно написал об этом Мэри: "Мы должны постараться помочь ей скрыть, если не искоренить, это пятно чистотой и яркостью ее ума".
Как бы то ни было, Ли был самым достойным восхищения и заботливым из родителей, каждую ночь сидя с Руни, чтобы убедиться, что мальчик не перевернулся во сне, не нарушил повязку и не вырвал "лигатуры". "Возможно, он лишится пальцев и останется калекой на всю жизнь. . . . Вы не можете себе представить, как я страдаю при этой мысли", - писал Ли, но это кажется вполне естественным страхом для любого отца в подобных обстоятельствах. Неудивительно, что Руни был предметом стольких писем с советами и заботами, которые Ли писал своей жене на протяжении многих лет, о том, как приучить такого дикого и необузданного жеребенка к дисциплине, не разрушив его дух. Он описывал Руни как мальчика, которого нужно "держать в узде", но на самом деле Руни и его братья, похоже, были не более чем обычными непоседами.