Ли был против сецессии, считая ее "глупой" и эквивалентной революции. На самом деле он был скорее похож на Бьюкенена, человека, который, несомненно, был бы открыт для компромисса, если бы это позволило сохранить Союз. Он не был энтузиастом расширения рабства на территориях или возобновления работорговли, которую он ненавидел; тем более он не одобрял аннексию новой рабовладельческой территории на Кубе.
Защита президентом Пирсом своей спорной и неудачной отмены Миссурийского компромисса и аргументы против разумности попыток северян вмешиваться в рабство на Юге стали главной темой его послания Конгрессу в декабре 1856 года. В отличие от президента, Ли рассматривал рабство как духовный, а не политический вопрос. Сам он не был владельцем более чем нескольких рабов, которых, по его мнению, следует освободить после его смерти, и в основном его общение с рабами было связано со знакомыми и иногда любимыми домашними слугами, а не с полевыми рабочими, но в целом он находил обязанности по владению ими более обременительными, чем любая выгода, которую можно было получить от их труда. Насколько можно судить, он никогда не покупал рабов; он либо унаследовал их, либо получил в подарок от мистера Кьюстиса. Он разделял интерес нескольких членов семьи Ли к отправке освобожденных рабов в Либерию - дело, до сих пор вызывающее осторожную, хотя и несколько скептическую поддержку по обе стороны линии Мейсон-Диксон, но весьма незначительную со стороны тех, кого предлагалось туда отправить. Освобожденные чернокожие меньше всего хотели возвращаться через Атлантику в Африку в рамках масштабного социального эксперимента, призванного искупить вину белых американцев. Большую часть своих мыслей Ли изложил в письме к Мэри. После нескольких строк осторожного оптимизма по поводу послания президента Конгрессу в его письме к Мэри сквозит ощущение приближающегося кризиса, связанного с растущей решимостью северян ограничить рабство.
"Я был очень доволен посланием президента и докладом военного министра - единственными двумя документами, которые дошли до нас целиком. Из остальных до нас дошли только конспекты. Мнение президента о систематических и прогрессивных усилиях некоторых людей Севера вмешаться и изменить внутренние институты Юга, выражено правдиво и достоверно. Последствия их планов и целей также ясно изложены, и они также должны осознавать, что их цель является незаконной и совершенно чуждой им и их долгу; за которую они безответственны и неподотчетны; и может быть достигнута ими только через посредство гражданской и подневольной войны. В наш просвещенный век, я полагаю, мало кто признает, что рабство как институт является моральным и политическим злом в любой стране. Бесполезно рассказывать о его недостатках. Однако я считаю его большим злом для белой расы, чем для черной, и хотя мои чувства сильны в пользу последней, мои симпатии более сильны в пользу первой. Здесь чернокожим живется неизмеримо лучше, чем в Африке, - морально, социально и физически. Болезненная дисциплина, которой они подвергаются, необходима для их обучения как расы, и я надеюсь, что она подготовит и приведет их к лучшим свершениям. Как долго им придется находиться в подчинении, известно и предписано мудрым милосердным Провидением. Их освобождение скорее произойдет под мягким и тающим влиянием христианства, чем под бурями и штормами огненных противоречий. Это влияние хоть и медленное, но верное. . . . Хотя мы видим, что путь к окончательной отмене человеческого рабства идет вперед, и мы оказываем ему помощь нашими молитвами и всеми оправданными средствами, находящимися в наших силах, мы должны оставить прогресс и результат в руках Того, Кто видит конец; Кто выбирает медленное влияние; и с Кем две тысячи лет - как один день. Хотя аболиционист должен знать это и понимать, что у него нет ни права, ни власти действовать иначе, чем с помощью моральных средств и убеждения, и если он желает добра рабу, он не должен вызывать гневные чувства у хозяина; что, хотя он может не одобрять способ, которым Провидению угодно осуществить свои цели, результат все равно будет тот же; что причины, которые он приводит для вмешательства в то, что его не касается, подходят для любого вида вмешательства в дела наших соседей, когда мы не одобряем их поведение; и все же я боюсь, что он будет упорствовать в своем дурном курсе. Не странно ли, что потомки тех отцов-пилигримов, которые пересекли Атлантику, чтобы сохранить свою собственную свободу мнений, всегда проявляли нетерпимость к духовной свободе других?"