Послы Генриха прибыли к Роберту Гвискару (вероятно, в Мельфи) в начале 1076 года и официально даровали ему императорскую инвеституру на все его владения. Не исключено, что они даже упомянули о возможности получения им королевской короны. Однако на Роберта это не произвело впечатления. Он и так уж пользовался полной свободой действий в своих владениях и потому не видел резона рисковать, давая Генриху повод для вмешательства в дела Южной Италии. Его ответ был твердым, хотя и немного ханжеским. Бог дал ему завоевать эти земли, они добыты им у греков и сарацин, за них пролито немало норманнской крови. За ту небольшую территорию, принадлежавшую империи, которой он владеет, Роберт готов быть вассалом императора, «всегда блюдя свой долг перед церковью» — оговорка, которая, как он прекрасно знал, сводила, с точки зрения Генриха, его верность на нет. Остальным же он будет владеть, как всегда и владел, по воле Всемогущего.
Тем временем папа Григорий действовал с обычной для него энергией. Во время проведенного им Великопостного собора в Риме в феврале 1076 года он отстранил всех непокорных епископов и объявил об отлучении от церкви самого короля Генриха. Это возымело в Германии эффект катаклизма. Ни один правящий монарх не подвергался отлучению со времен Феодосия Великого семью веками ранее, что поставило императора на колени, а теперь та же угроза нависла над самим Генрихом. Чисто религиозный аспект не беспокоил его — эту проблему можно было всегда решить с помощью своевременного покаяния, — однако политические последствия оказались весьма серьезными. В теории отлучение освобождало всех подданных короля от необходимости быть верным ему; напротив, они сами подвергались анафеме, если продолжали иметь с ним какие-либо дела или подчиняться ему. И если строго следовать этому, то власть Генриха должна была бы рухнуть, а сам он оказался бы не в состоянии дольше оставаться на троне. Неожиданно император обнаружил, что оказался в изоляции.
Можно представить себе жестокую радость папы, когда он наблюдал за тем, как король борется за то, чтобы вернуть себе верность тех, кто его окружал. Наложенный Григорием запрет оказался более действенным, чем можно было рассчитывать. Германские князья, встретившись в Трибуре, договорились дать своему королю год и один день от момента этого решения и до снятия папой отлучения. Они уже назначили съезд в Аугсбурге на февраль 1077 года. И если к 22-му числу этого месяца отлучение не будет снято, они официально откажутся соблюдать верность по отношению к нему и выберут на его место другого короля. Генриху лишь оставалось подчиниться этому решению. С его точки зрения, все могло кончиться еще хуже. Ультиматум князей означал для него всего-навсего страшное унижение перед папой. Если это плата за сохранение королевской власти, то он готов был заплатить ее. К счастью, один из альпийских перевалов, Монсени, не завалило снегом. Преодолев его с женой и маленьким сыном, Генрих прошел через Ломбардию и наконец нашел папу в замке Каносса, где последнего принимала в качестве гостя его друг, герцогиня Матильда, пока не прибыл эскорт, чтобы проводить его в Аугсбург. В течение трех дней Григорий заставлял Генриха ждать аудиенции. Наконец он сказал, что ему ничего не остается сделать, кроме как смягчиться, и даровал ему прощение, которого тот добивался.
История с Каноссой, обычно оживляемая елейным изображением короля, босого и в дерюге, дрожащего на снегу перед закрытыми воротами ярко освещенного замка, всегда пользовалась популярностью у авторов детских книжек по истории, которые преподносили ее в качестве наглядного примера суетности мирских вожделений. Однако на деле триумф Григория ничего не стоил, и Генрих знал об этом. Его собственное унижение не имело отношения к покаянию. Это был хладнокровный политический маневр, обусловленный необходимостью сохранить корону, и Генрих не собирался выполнять обещания после того, как они позволили достичь поставленной цели. Папа тоже не строил особых иллюзий по поводу искренности короля. Если бы христианская совесть позволила ему не снимать отлучение, он был бы только счастлив поступить так. Григорий одержал бесспорную моральную победу. Но какая польза была от победы, если побежденный вернулся в свое королевство, не чувствуя страха, в то время как победитель остался сидеть взаперти в тосканском замке, отрезанный от Германии крайне враждебно настроенными по отношению к нему ломбардскими городами, будучи не в силах вмешаться?
А Генрих, разумеется, показал, что не собирается исправляться. Он настолько обострил отношения с германскими князьями, что они избрали вместо него другого короля, Рудольфа Швабского. Григорий сделал все от него зависевшее в качестве посредника, чтобы примирить их, однако кончилось тем, что в 1080 году он вторично отлучил Генриха от церкви, объявил о его низложении и провозгласил королем Рудольфа. Увы, он поставил не на ту лошадь. В том же году Рудольфа убили в сражении. Что же касается Генриха, то никогда его мощь не была так велика. Он во второй раз объявил о низложении Григория, а затем созвал синод германских и итальянских епископов в Бриксене (ныне Брессаноне) в Тироле, который в июне 1080 года послушно избрал Гиберта, архиепископа Равенны, папой под именем Климента III.