В те редкие периоды, когда Карл находился в своем герцогстве, он вел войну с швейцарским патриотом и вольнодумцем Франсуа Бониваром. Франсуа упорно противостоял попыткам Карла Савойского утвердиться в Женеве, за это он был заключен в тюрьму Гроле в 1519 году, где просидел два года. Но это не остудило пыл неугомонного патриота и он продолжал свою политическую деятельность. Однажды, в 1530 году, Бонивар был пойман разбойниками, которые доставили его герцогу Савойскому за вознаграждение. Тот опять посадил патриота в тюрьму, на этот раз в Шильонский замок. Там Бонивар провел шесть лет, пока его не освободили жители города Берна.
За свою долгую жизнь – 77 лет – Франсуа был четыре раза женат. Первые три раза на богатых вдовах преклонного возраста, а последний раз на расстриженной монахине, которую впоследствии казнили за распутство. Сам герой вел разгульный образ жизни и погряз в долгах. Потомства у него не было, разве что внебрачные дети, о которых ничего не известно. Под конец жизни он написал рукопись об истории Женевы с самого ее основания. История жизни Франсуа Бонивара послужила основой для поэмы лорда Байрона «Шильонский замок».
Карл II не обладал ни доблестью своих средневековых предков, ни обаянием Зеленого графа, ни хитростью Амадея VIII. Герцог был больше склонен к долгим раздумьям, чем к действиям. Его медлительность и нерешительность стоила герцогству Савойскому огромных финансовых потерь. Из-за этого престиж дома Савойя сильно упал в глазах других европейских династий. Отвоевывать свои владения Карл II не умел и, возможно, не хотел. Он пытался избежать любых конфликтов, вел долгие и утомительные переговоры, которые, как правило, заканчивались ничем.
В Королевских музеях Турина есть портрет в профиль Карла II Савойского работы французского художника Жана Клуэ. На портрете изображен безвольный, меланхоличный молодой человек с длинным носом с небольшой горбинкой, слегка приспущенными веками, выпяченным подбородком и короткой шеей. Светлые глаза какие-то пустые, в них нет ни выражения, ни живости. Никколо Макиавелли пишет, что этот герцог Савойский обладал хитростью лисы и силой льва. Но ничего подобного не заметно ни в его облике, ни в характере. Скорее всего, политик просто польстил Карлу.
Герцог старался быть не на виду и избегал торжественных церемоний. Так, например, он не явился на коронацию Франциска I в 1515 году, а отправил вместо себя своего представителя. То же самое случилось и во время коронации императора Карла V в 1519 году. Только 12 лет спустя Карл II встречается с Карлом V на его коронации Железной короной лангобардов, которую ему возложил на голову римский папа Климент VII 24 февраля 1530 года в Болонье. Все это плюс нежелание воевать, приводит к тому, что генеральный совет герцогства отказывается субсидировать армию.
Карл II был женат на дочери португальского короля Мануэла I Беатрис Португальской, которая, в отличие от него, обладала сильным и волевым характером. Свадьба состоялась в Ницце 1 октября 1521 года. Сестра Беатрис Изабелла Португальская была выдана замуж за Карла V Габсбурга и стала императрицей. В декабре следующего года у Карла и Беатрис родился первенец Адриан, который умер в младенческом возрасте. Всего у супругов родилось 11 детей, из которых выжил только сын Эммануил Филиберт.
Беатрис Португальская была очень активная женщина, тесно связанная со своей сестрой Изабеллой, с которой она вела постоянную переписку. Она пытается преобразовать систему правления герцогства Савойского и превратить средневековое государство в современное. Кроме того, герцогиня постоянно пытается нарушить нейтралитет в политике, которого придерживался ее муж, и склонить герцога на сторону императора. Ей удается добиться того, что войско герцогства Савойя сражается на стороне Карла V в битве при Павии в 1525 году, во время которой была разбита армия Франциска I. В благодарность за это император конфискует владения маркиза Салуццо, сторонника французов, и дарит их брату герцога Карла графу Филиппу.
После этого Карл V завоевывает графства Асти и Чева, которые французы отняли у Савойя, и передает их Беатрис Португальской. Герцогиня въезжает в Асти 31 мая в сопровождении комиссара Карла V и торжественно принимает представителей графства. Таким образом, дом Савойя становится союзником императора в войне против короля Франциска I, а Карл V гарантирует защиту герцогства в случае нападения французской армии. Но вскоре герцогу приходится дорого за это заплатить.