Если Ли, жившие так близко к Вашингтону, чувствовали себя осажденными, то это было не без оснований. Ли еще не был знаменит, а вот мистер Кэстис, как последний живой родственник Джорджа Вашингтона, был; аболиционисты предполагали, что он освободил своих рабов, а Ли, тем не менее, держит их в рабстве. Ли был раздосадован, хотя и был уверен, что не только действует в рамках своих прав, но, что еще важнее, поступает правильно. Они с Мэри открыли школу (вопреки закону штата, запрещавшему обучать рабов чтению и письму), чтобы лучше подготовить рабов к освобождению, а Ли изо всех сил старался расплатиться с долгами и поставить разросшиеся плантации Кустиса на прочную деловую основу, без которой он не смог бы освободить рабов в течение пятилетнего срока, оговоренного в завещании; Но единственным результатом стало то, что рабочая сила становилась все более угрюмой и несговорчивой, а о Ли распространялись нелестные истории, которые достигли своего пика весной 1859 года после побега трех рабов из Арлингтона: Уэсли Норриса, его сестры Мэри и двоюродного брата.
С помощью аболиционистов или без нее трое добрались до Мэриленда, где их "задержали и бросили в тюрьму", а после двух недель пребывания в "рабской тюрьме" вернули в Арлингтон. Согласно рассказу Норриса, когда они предстали перед Ли, "он сказал нам, что преподаст нам урок, который мы никогда не забудем". Что произошло потом - вопрос спорный. Позже Норрис утверждал, что Ли приказал привязать всех троих к столбам в сарае и раздеть; что двое мужчин были выпороты пятьдесят раз, а женщина - двадцать; и что после этого их спины промыли рассолом, чтобы усилить боль от рваных ран, - и все это в присутствии Ли. Двое мужчин были отправлены в тюрьму на неделю, а затем наняты в качестве фермеров на юге; женщина была нанята в Ричмонде.
Утверждения об обращении Ли со своими рабами быстро дошли до Нью-Йорка в виде двух анонимных "писем в редакцию", опубликованных в один и тот же день.
Редактору газеты "Нью-Йорк Трибьюн".
Сэр: Как известно, почтенный Джордж Вашингтон Парке Кьюстис умер около двух лет назад; и те же газеты, которые объявили о его смерти, сообщили и о том, что на смертном одре он освободил своих рабов. Завещание по какой-то причине так и не было предано огласке, а самих рабов уговаривали, что должны быть сделаны какие-то незначительные необходимые приготовления, когда все они получат свои свободные бумаги. В конце концов им сказали, что должно пройти пять лет, прежде чем они смогут уехать. Тем временем их лишили всех возможностей время от времени немного зарабатывать для себя, как это было разрешено при жизни мистера Кустиса, заставляли работать больше, чем когда-либо, а часть времени сокращали до половины куска непросеянной муки в неделю на каждого человека, не давая даже на рыбу. . . .
Около трех или четырех недель назад трое, более смелые, чем остальные, думая, что их пятилетний срок никогда не закончится, пришли к выводу уехать на Север. Они были очень ценными слугами, но о них никогда не объявляли, и не было предпринято никаких попыток вернуть их, что выглядит так, будто мистер Ли, нынешний владелец, знал, что не имеет на них законных прав. Они не успели далеко уйти, как их путь прервал какой-то зверь в человеческом обличье, который заподозрил, что они беглецы, и, вероятно, пожелал вознаграждения. Их посадили в тюрьму и запугали, чтобы они рассказали, откуда пришли. Мистер Ли сразу же узнал об их местонахождении, после чего их доставили обратно, отвели в сарай, раздели, и мужчины получили по тридцать и девять ударов плетью из рук рабовладельца, когда тот отказался пороть девушку, и мистер Ли сам нанес ей тридцать и девять ударов плетью. Затем их отправили в Ричмондскую тюрьму, где они сейчас и содержатся. . . .
Второе письмо, более короткое, гласило:
Редактору газеты "Нью-Йорк Трибьюн".
Сэр: Я живу в одной миле от плантации Джорджа Вашингтона П. Кьюстиса, которая теперь принадлежит полковнику Ли, поскольку Кьюстис завещал ее Ли. Все рабы в этом поместье, как я понимаю, были освобождены после смерти Кьюстиса, но теперь находятся в рабстве у Ли. . . . У Кэстиса было пятнадцать детей от его рабынь. Я каждый день вижу его внуков; они темно-желтого цвета. На прошлой неделе трое рабов сбежали; за ними послали офицера, он догнал их в девяти милях по ту сторону Пенсильвании и вернул обратно. Полковник Ли приказал выпороть их. Это были двое мужчин и одна женщина. Офицер выпорол двух мужчин и сказал, что не будет пороть женщину, и полковник Ли раздел ее и выпорол сам. Эти факты я узнал от близких родственников тех, кого били... . .