В 1536 году Франциск I объединяется с немецкими князьями и с турецким султаном против императора. Первые владения, куда вторглись их объединенные войска, были как раз земли Савойя. Французы взяли без боя крепость Монтмелиан, которая находилась на перекрестке дорог, ведущих в Женеву, Лион и Турин. Карл II просит о помощи полководца императора в Ломбардии, но тот заявляет, что его армия слабее и не в силах помочь герцогу. Французы без боя оккупируют Турин и весь Пьемонт, Карл Савойский с семьей вынужден бежать в Верчелли.
Карл V Габсбург и Франциск I воевали еще около 10 лет без особого успеха, границы их территорий так и не изменились со времен заключения мира в Мадриде в 1526 году. Герцог Савойи был тем, кто пострадал от этой войны больше всего. В сентябре 1544 года король и император снова заключили мир в городе Крепи. По договору Франции отходили территории Савойя за Альпами, то есть долина Суза, Турин и Кивассезе. А императору – восточный Пьемонт. Карлу II оставалась только полоска земли, которая включала долину Аоста, Верчелли, Иврею, Асти, Фоссано, Кунео и Ниццу, где и поселился герцог.
Практически герцогство Савойское временно перестало существовать. Оно было просто поделено между французами и испанцами. После смерти Франциска I в 1547 году на трон Франции взошел его сын Генрих II, чьей супругой была Екатерина Медичи. Новый король продолжил войну с императором на территории Италии, но уже в районе Ренании. Итальянские войны закончились только в 1559 году подписанием мирного договора в Като-Камбрези, но Карл II до этого не дожил.
Герцог Савойский умер в ночь на 17 августа 1553 года во дворце епископа в Верчелли. Карл II долгое время страдал от подагры, а причиной его смерти стал инсульт. Так закончилось долгое, но неудачное правление Карла II Савойского, который потерял практически все свои владения. Наследником был его единственный выживший сын Эммануил Филиберт, которому предстояло восстановить доброе имя и земли своих предков. Но это оказалось нелегко в тех условиях, в каких его отец оставил герцогство.
По сути, это было отсталое государство по сравнению с другими дворами Европы, где блистали талантливые мастера: Леонардо да Винчи во Флоренции, Милане и Риме, Микеланджело Буонарроти во Флоренции и Риме, Алессандро Боттичелли во Флоренции, Рафаэль Санти в Урбино, Флоренции и Риме, Тициан Вечеллио в Венеции, Урбино и при дворе императора Карла V, Андреа Мантенья в Мантуе при дворе Гонзага.
Почти все замки уже были перестроены под виллы с прекрасными садами, в городах строили дворцы, которые украшали фресками, фламандскими гобеленами, шелковой тканью, мебелью из дорогого черного дерева, украшенную самоцветами. В просторных салонах принимали поэтов, которые слагали стихи в честь своих покровителей. Герцоги, графы и маркизы были меценатами и привлекали к своим дворам всех талантливых мастеров. Флоренция становится герцогством, которым управляет Козимо I Медичи, и там снова наступает золотая эпоха расцвета искусства. Но ничего этого не было в маленьком герцогстве Савойя.
Там как будто продолжалась эпоха Средневековья. Стиль жизни герцогов и их подданных оставался аскетичным, мода на костюмы менялась очень медленно, аристократы уделяли больше внимания не жизни двора, искусству и образованию, а красоте природы, зелени лесов, заснеженным вершинам гор, охоте и конным прогулкам. Замки Савойя маленькие и старомодные. Они не окружены садами, их стены не украшены фресками на мифологическую тему. Церкви и соборы простые толстостенные, внутри очень много алтарных образов на тему «Мученичество Святого Себастьяна».
Главная резиденция Савойя замок Шамбери был построен еще в эпоху правления Томаса I в середине XIII века на искусственном холме. С тех пор он ни разу не был расширен и модернизирован из-за особенностей местности. В XV веке внутри замка был построен аудиенц-зал, где графы и герцоги принимали своих вассалов. Еще там были апартаменты для герцога и отдельные для герцогини, а также кухня, склады, подвалы и комнаты для слуг.
Амадей VIII в свое время пристроил к замку библиотеку и начал постройку часовни, которую продолжил Амадей IX. Но комнат для гостей в резиденциях Савойя было очень мало, поэтому герцогам часто приходилось оплачивать для них гостиницы. А когда в 1416 году Карла II посетил император Сигизмунд – он отдал ему в пользование свой замок, а сам с семьей переехал к родственникам на время его визита. В благодарность император подарил Карлу множество дорогой посуды из позолоченного серебра.