Биографы Ли обычно пишут о нем так, будто он не интересовался политикой, но это не совсем так. Хотя Ли с недоверием относился ко всем политикам, как Союза, так и Конфедерации, и стремился представить себя человеком без политики, на самом деле он был проницательным, хотя и осторожным наблюдателем политических событий, а поскольку значительная часть его военной карьеры до 1861 года прошла в общении с комитетами Конгресса по поручению главного инженера или военного министра, он обладал весьма развитыми знаниями в области политики для сравнительно младшего офицера.
Период, когда Ли занимал должность суперинтенданта Военной академии США, был периодом сильных политических потрясений и растущего раздражения между северными и южными штатами по поводу животрепещущего вопроса о том, можно ли распространить рабство на огромную территорию, захваченную у Мексики в 1848 году, и насколько далеко. Уровень политической ярости резко возрастал. Хотя большинство "умеренных" людей на Севере все еще смирялись с существованием рабства к югу от так называемой линии Мейсона-Диксона, то есть в тех штатах, где рабство было устоявшимся институтом еще до Американской революции, они в той или иной степени выступали против его распространения на новые территории. На Севере аболиционисты все еще оставались небольшой группой экстремистов. Даже те, кто выступал за окончательную ликвидацию рабства, в большинстве своем выступали за то, чтобы это происходило медленно, возможно, с некоторой компенсацией для рабовладельцев, но без какой-либо мысли о том, что бывшие рабы могут когда-нибудь стать согражданами с полным правом голоса. За исключением богатых рабовладельцев на плантациях глубокого Юга и тех, кто работал в сфере работорговли, большинство американцев относились к рабству как к трагической национальной ошибке. Отношение самого Ли к рабству было типичным для "умеренных" южан: они владели рабами, зависели от рабского труда и прилагали некоторые усилия, чтобы хорошо относиться к рабам в рамках реальности отношений между хозяином и рабом; но они надеялись, что в далеком будущем рабство в конце концов будет ликвидировано, а большинство рабов доброжелательно переселят в другое место, возможно, в Либерию. Тем временем жизнь рабов на фермах Ли оставалась неизменной, как и повсюду на Юге: долгий, изнурительный труд из поколения в поколение, без особых надежд на продвижение по службе.
В годы учебы Ли в Вест-Пойнте тема рабства уже становилась главной темой американской политики, и хотя сменявшие друг друга президенты и Конгресс со все большим трудом находили новый компромисс, который заменил бы предыдущий, каждое присоединение территории, каждое новое предложение о создании штатов для бывших территорий и даже такое дальновидное и благожелательное предложение, как строительство трансконтинентальной железной дороги, вызывало ожесточенные споры между сектами, в центре которых было рабство. Словно предзнаменование, в 1852 году была опубликована книга Гарриет Бичер-Стоу "Хижина дяди Тома", ставшая второй самой продаваемой книгой XIX века в США (после Библии), что еще больше накалило страсти по обе стороны раскола.
Напряжение быстро нарастало во время президентства Франклина Пирса, северянина, симпатизировавшего южным штатам. Он надеялся заменить старый Миссурийский компромисс 1820-1821 годов, по которому Миссури был принят в Союз в качестве рабовладельческого штата в обмен на запрет рабства к северу от параллели 36 градусов 30 минут северной широты на бывшей территории Луизиана. В 1845 году компромисс был продлен дальше на запад в рамках резолюции об аннексии Техаса. Также в 1845 году вызвавший огромные споры закон Канзаса-Небраски позволил поселенцам двух территорий определить "народным суверенитетом", хотят ли они разрешить там рабство. Сенатор Томас Харт Бентон из Миссури выразил мнение многих, сказав: "Чем оправданы все эти беспорядки и беды? Нам говорят, что это делается для того, чтобы вопрос о рабстве не попал в Конгресс! Великий Боже! Он был исключен из Конгресса, полностью, целиком и навсегда... если только Конгресс не втащил его туда, разрушив священные законы, которые его урегулировали!" Два сенатора из Огайо осудили законопроект "как грубое нарушение священного обещания... преступное предательство драгоценных прав", призванное превратить новые территории на западе "в мрачный регион деспотизма, населенный хозяевами и рабами".