Это не помогло решить проблему Ли. У него не было ни малейшего соблазна продать рабов своего тестя, да он и не мог этого сделать - напротив, они с Мэри приложили немало усилий, чтобы выполнить условия завещания. И все же нельзя недооценивать последствия этой великой вынужденной миграции для самих рабов. Пусть некоторые из них были невежественны и неграмотны, но они понимали, что происходит, и это пугало их - и правильно, ведь если их продадут на юг, на новые плантации, они не только будут разлучены со всем и всеми, кого знали, но и, вполне вероятно, будут работать до смерти в жестоких условиях. Ли просто не понимал огромного чувства хрупкости в рабских общинах, подобных арлингтонской, и страха быть отосланным. Когда рабов нанимали, они не знали, куда и на какой срок их отправляют, и боялись, что вместо этого они могут оказаться на аукционе. На самом деле это была обычная практика - нанимать наиболее проблемных рабов и отправлять их куда-нибудь подальше от соблазна побега, чем северная Вирджиния.
Это был практический фактор рабовладения, с которым Ли был знаком, и, похоже, он не игнорировал его, выбирая, кого из рабов Кьюстиса сдать в аренду. Однако это была лишь одна из причин растущего недовольства среди рабов, у которых "сложилось общее впечатление", что они будут освобождены после смерти мистера Кэстиса, в чем, несомненно, был виноват сам мистер Кэстис, поскольку ему, вероятно, не удосужились объяснить, что их освобождение на самом деле не произойдет до тех пор, пока не будет решено его наследство. Не помогло и то, что Ли был пресловутой новой метлой, которая метет чисто. Его цель была достойной - восстановить имущество покойного тестя и сделать его прибыльным для собственной жены и детей, но сделать это можно было, только усерднее обрабатывая рабов и устраняя разгильдяйство, отсутствие надзора и мелкие привилегии, которые мистер Кэстис допускал на протяжении многих лет. Вероятно, не помогло и то, что Ли был бывшим суперинтендантом Вест-Пойнта и привык, чтобы его приказы выполнялись четко и беспрекословно - рабы Кустиса не были кадетами.
С самого начала у Ли возникли проблемы с беглецами, которые считали, что их следовало освободить, и возмущались его строгостью. Каждый из них требовал, чтобы Ли дал объявление о его возвращении и выплатил вознаграждение, когда раб был возвращен. Наказал ли Ли беглецов, кроме как сдав их в наем кому-нибудь на юге или западе, кто мог бы принять более жесткие меры, чтобы предотвратить их побег, неизвестно. Элизабет Браун Прайор в своей книге о письмах Ли "Читая человека" предполагает, что "столб для порки [все еще] стоял" в Арлингтоне, как и возле рабских помещений на многих других плантациях, но если это так, то он мог быть просто символическим - хотя нет ничего более мощного, чем определенного рода символ.
Сами Ли жаловались, что аболиционисты "таятся" в окрестностях Арлингтона, призывая рабов требовать свободы. Арлингтон и Александрия находились в двух шагах от Вашингтона, округ Колумбия, где существовала значительная община освобожденных негров и велась активная деятельность аболиционистов, настолько, что рабовладельцы в этом районе не решались посылать туда своих рабов на побегушки или нанимать их в городе. Один из основных маршрутов Подземной железной дороги заключался в переправке беглых рабов из округа Колумбия в свободные штаты Пенсильвания и Нью-Джерси.