Но гораздо серьезнее было то, что его ссора с Папой втянула Людовика XI в ожесточенный конфликт с герцогом Бретонским за феодальные прерогативы. Когда в 1462 году Франциск II отказался принять назначение двух прелатов (епископа и аббата, имевших тесные связи с королевским двором), французский король принял вызов и заявил о своей юрисдикции над церковными бенефициями в Бретани как суверенный государь. Герцог Франциск на королевские претензии ответил отказом. Помимо Бургундского дома, герцоги Бретани были самыми независимыми из французских принцев, а также одними из наименее послушных из них. Бретонцы, которые из-за своей кельтской крови и языка оставались ярыми сепаратистами, стремились сохранить свои собственные институты власти, обычаи и Церковь. Герцог Франциск II был легкомысленным, любящим удовольствия молодым человеком (еще будучи Дофином, Людовик однажды сказал Камольи, посланнику Сфорца, что герцог страдает от свища в голове), но он был окружен группой бывших королевских офицеров, которые после воцарения Людовика XI сочли благоразумным укрыться при Бретонском дворе и по своим собственным причинам они побуждали герцога Франциска отстаивать свою независимость.
Людовик попытался положить конец конфликту, назначив арбитражную комиссию, но этот маневр ни к чему не привел, и к тому времени, когда он покинул Эден в начале июля 1464 года, Франциск II открыто собирал войска и тайно пытался установить контакты с Англией. К его большому неудовольствию, королю вскоре сообщили (вероятно, граф Уорик), что Рувиль, вице-канцлер герцога Бретонского, пересек Ла-Манш под видом монаха и заключил с Эдуардом IV перемирие сроком на один год. Кроме того, Людовик узнал, что сам Франциск письменно обязался помочь королю Англии в случае, если тот предпримет попытку вновь завоевать Нормандию. Прибыв в Нормандию, Людовик ограничился оборонительными мерами и публично осудил сношения Франциска с англичанами.
Герцог отреагировал быстро и по предложению своих советников обратил обвинение против себя на своего противника. В начале августа Франциск II разослал письма принцам королевства, среди которых был Карл, герцог Беррийский, слабый и робкий молодой человек, который в возрасте 17-и лет был наследником престола как брат короля, в которых он предупреждал их, что их государь предложил Гиень и Нормандию англичанам при условии, что последние помогут ему сокрушить французское дворянство. Людовик поспешил разослать свой собственный циркуляр великим баронам, чтобы продемонстрировать абсурдность такого обвинения. Однако вскоре он понял, что это даст принцам прекрасный предлог для сплочения рядов, и что это может сбить с толку тех, кто, как Пьер де Брезе, разделял их взгляды. 1 сентября, проведя несколько дней в его обществе, Людовик восстановил его в должности Великого сенешаля Нормандии и капитана Руана. Брезе сказал королю, что, даже если ему придется тащить его силой, он будет рад привести к нему Франциска II, но, уже более серьезным тоном, добавил: "Сир, если вы хотите быть любимым французами… не ищите дружбы англичан…".
Провал попытки короля примириться с Бретанью создал благодатную почву для сплочения недовольных принцев. Выкуп Пикардии привел к тому, что Филипп Добрый сильно обиделся, а Карл, граф де Шароле, стал смертельным врагом короля. Герцог Орлеанский и его единокровный брат, грозный Жан, граф де Дюнуа, были в ярости от союза короля с Франческо Сфорца, который правил герцогством, на которое они сами претендовали. Племянник Филиппа Бургундского, герцог Бурбонский еще не оправился от потери власти в Гиени и, как и многие другие, возмущался тем, что король не включил его в число своих советников. Анжуйцы были уязвлены тем, что Людовик не послал ни войск, ни денег на помощь герцогу Иоанну Калабрийскому в Неаполитанское королевство и кроме того, они были возмущены тем, что король не восстановил Маргариту, дочь короля Рене, на английском троне. По словам Альберико Малетты, король был хорошо осведомлен о "взаимопонимании между принцами королевства".