Джэксон взял под прицел еще один столп американской системы — Банк Соединенных Штатов. В своем первом ежегодном послании конгрессу президент выразил сомнения относительно конституционности Банка и целесообразности его существования. В тот момент не было необходимости действовать, потому что полномочия Банка истекали лишь в 1836 году. Но уже в 1831 году Джэксон заявил Чарлзу Кэроллу, последнему из оставшихся в живых участнику подписания Декларации независимости, что намерен добиваться своего переизбрания «на принципе заставить Банк замолчать… Никакого Банка, и Джэксон или же Банк, и никакого Джэксона». Его враждебность отражала его убеждение, что Банк сколотил союз между бизнесом и администрацией и в результате немногие выигрывают за счет многих. Президент Банка Николас Биддл пытался в 1830–1831 годах ублажить Джэксона, но его усилия оказались тщетными, и ему пришлось согласиться с тем, чтобы Клей и Уэбстер сделали вопрос о Банке основным на выборах 1832 года.
В июне 1832 года возобновление полномочий Банка прошло через сенат, в июле — через палату представителей. В тот день, когда в доме Биддла шумно праздновали всю ночь победу, Джэксон изучал законопроект вместе с Ван Бюреном, только что вернувшимся из Англии, чтобы в паре с ним баллотироваться на пост вице-президента. «Банк, мистер Ван Бюрен, — сказал президент, — пытается убить меня». Переждав, он уверенно добавил: «Но я убью его».
Через неделю, 10 июля, Джэксон направил свое послание о вето в конгресс: «Приходится сожалеть, что богатые и обладающие властью зачастую используют действия правительства в своих корыстных целях… При любом справедливом правительстве различия в обществе будут существовать, но когда принимаются законы с целью добавить к этим естественным и справедливым преимуществам искусственные, чтобы сделать богатых еще более богатыми, а могущественных наделить еще большей властью, то фермеры, мастеровые и трудящиеся, у которых нет ни времени, ни средств для получения подобных преимуществ, вправе жаловаться на несправедливость своего правительства». Вето президента прошло, несмотря на яростные вопли Биддла и его сторонников. Полномочия Банка не были утверждены, и Банк еще не умер, но прежде чем окончательно разделаться с ним, Джэксону предстояло решить другие вопросы. С момента прихода Джэксона в Белый дом Южная Каролина приносила ему неприятности. Тариф 1828 года, известный как тариф абсурдов, вызвал негодование Юга по той причине, что защита промышленности Севера неизбежно вела к сокращению заморской торговли Юга. Джон Кэлхун написал «Мнение Южной Каролины», включавшее «Протест против тарифа 1828 года и принципы его отмены». Когда другой, столь же ограничительный тариф был принят в 1832 году, законодательное собрание Южной Каролины приняло ордонанс об отмене, объявлявший тариф недействующим, «не связывающим штат, его должностных лиц и граждан».
У Джэксона еще до этого была стычка с Кэлхуном по данному вопросу на обеде в честь Томаса Джефферсона 13 апреля 1830 года. После двадцати четырех заранее подготовленных тостов, главным образом в поддержку Южной Каролины, президент поднялся и стоял молча, ожидая приветствий. Ван Бюрен был настолько возбужден, что вскочил на стул, чтобы лучше видеть.
Джэксон уставился на Кэлхуна и затянул паузу, усиливая драматизм момента. Наконец он поднял бокал: «За наш Союз! Он должен быть сохранен». В напряженной обстановке все поднялись, чтобы выпить, включая и явно потрясенного Кэлхуна. Рука вице-президента тряслась, вино стекало по стенке бокала. Когда был восстановлен порядок и Кэлхуну предложили произнести тост, он остался верен себе: «За Союз, после самой дорогой нам свободы».
Ордонанс Южной Каролины об отмене федерального тарифа и угроза выхода этого штата из Союза представляли очевидный вызов федеральным властям. Джэксон действовал без колебаний. «Ни один штат или штаты не имеют права отколоться… — заявил он, — Поэтому отмена тарифа означает восстание и войну, и другие штаты вправе их подавить». Но в ежегодном послании, 4 декабря 1832 года, он занял более примирительную позицию, предложив в качестве компромисса более низкий таможенный тариф. Джон Куинси Адамс, возвратившийся в Вашингтон в качестве конгрессмена, полагал, что шаг Джэксона — «полная сдача на милость отменивших тариф». Но не прошло и недели, как Джэксон обратился к народу Южной Каролины с прокламацией, прозвучавшей достаточно сильно для Адамса, Уэбстера и других твердых сторонников Союза: «Раскол с помощью вооруженных сил — предательство. Готовы ли вы принять на себя вину?» После этого Джэксон внес в сенат законопроект, дававший президенту полномочия использовать вооруженную силу в поддержку федеральной власти. Он был готов направить армию в Южную Каролину, но его твердость пересилила гордость тех, кто отменял федеральный тариф. Они приняли символический компромиссный тариф, что позволило штату Южная Каролина аннулировать свой ордонанс.