Освободившись от этих забот, Роберт стал посещать один за другим большие дома своих родственников и друзей, и особенно Арлингтон, в Александрии, штат Вирджиния, с видом на Вашингтон, округ Колумбия, дом Джорджа Вашингтона Парка Кьюстиса, который был внуком Марты Вашингтон и приемным сыном Джорджа Вашингтона. Кустис был родственником Роберта по браку - он женился на Мэри Ли Фицхью, и в маленьком и немного кровосмесительном мире аристократии Вирджинии между мистером и миссис Кустис, Энн Картер Ли и ее детьми существовало бесчисленное множество связей, так что Роберт стал воспринимать Кустиса как своего рода снисходительного суррогатного отца, а Арлингтон - как второй дом. Как бы ни был он добр к мальчикам Ли, Кэстис был совсем другим человеком, чем их отец. Он радовался тому, что его называют "ребенком Маунт-Вернона", ведь он вырос в доме Вашингтона, и поэтому был склонен считать себя своего рода национальным институтом. Его широкие интересы - "хобби", возможно, было бы более подходящим словом - которые включали в себя написание "огромных полотен" с историческими сценами, сочинение эпических поэм, сохранение и демонстрацию вещей Джорджа Вашингтона, работу в качестве собственного архитектора и разведение овец, неизбежно сокращали количество времени, которое он мог уделять заботе о своих поместьях, и в любом случае он был больше заинтересован в великолепном фасаде, который он построил для Арлингтона, чем в том, что скрывалось за ним, или как за него можно было заплатить. Как и Томас Джефферсон, Кьюстис был самовлюбленным и заинтересованным во всем, но без универсального гения Джефферсона или его безупречного вкуса. В печати Кьюстис выглядит суетливым, слегка напыщенным и чрезвычайно самовлюбленным, а его портрет с непринужденно распахнутым воротником художника, в стиле Родольфо из "Богемы", предполагает довольно прищуренное лицо и опущенный рот, с выражением, передающим в равной степени трогательную гордость и тщательно замаскированную неуверенность в себе, а также болезненный страх, что люди смеются над ним. Он не похож на человека, с которым легко иметь дело.
На самом деле двое из старших мальчиков Ли, Генри и Картер, подшучивали над Кьюстисом, чей характер сильно отличался от характера их собственного стремительного и героического отца, но нет никаких свидетельств того, что Роберт так поступал. Напротив, Арлингтон произвел на него глубокое впечатление своим благородным фасадом, широким видом и комнатами, полными памятных вещей Вашингтона, и он почувствовал к Кьюстису некую долю сыновнего уважения и привязанности, которую его отец никогда не был дома достаточно долго, чтобы оценить. Арлингтон, с его любопытным диссонансом между огромными колоннами классического крыльца и довольно убогими комнатами дома за ним, был ближе к дому Роберта или, по крайней мере, к тому, что он хотел видеть в качестве дома, чем любое другое место, в котором он когда-либо жил. Даже в самом конце жизни он все еще скорбел о потере Арлингтона, и нет сомнений, что он внушал ему еще более глубокое благоговение перед Джорджем Вашингтоном, чем мог бы испытывать любой сын легкой лошади Гарри Ли.
Его интерес к единственному выжившему ребенку мистера и миссис Кьюстис, Мэри Анне Рэндольф Кьюстис, возник довольно рано, несомненно, к моменту его первого отпуска из Вест-Пойнта в 1827 году, когда он так щегольски выглядел на домашних вечеринках в своей серой кадетской форме. В соответствии со стандартами того времени, дружба между Робертом и Мэри развивалась ледниковыми темпами - нет никаких свидетельств того, что с обеих сторон произошел переворот, - и только при самом тщательном наблюдении и сопровождении. Тем не менее, ни от кого не ускользнуло, что молодой лейтенант Ли проводил гораздо больше времени в Арлингтоне, чем где-либо еще, и что Мэри Кэстис всегда смущенно радовалась, когда он сходил с места. Они оба любили делать наброски, в чем Роберт был довольно искусным любителем. К моменту окончания его отпуска между ним и мисс Кэстис, возможно, установилось некое взаимопонимание: ничего неподобающего или обязывающего - оба они понимали, что необходимо получить благословение мистера Кэстиса, - но этого было достаточно, чтобы дать им обоим надежду на более близкие отношения в будущем.