Но избавившись от одного врага, Генрих тут же заимел себе другого, причем гораздо более грозного и опасного. Этим врагом стал папа римский Григорий VII. С утверждением его в Риме значение папской власти необычайно возросло. Он поставил себе целью освободить духовных сановников от ленной зависимости королям, воспретив инвеституру (так называлось утверждение поземельного владельца из духовного сословия в его лене, в знак чего король посылал каждому епископу после принесения вассальной присяги кольцо и посох). Григорий мечтал сделать Рим столицей всемирной духовной монархии, поставив на место императорской власти папскую, так чтобы короли были вассалами папы, повиновались ему и платили дань. В феврале 1075 г. он собрал в Риме церковный собор, на котором были строжайше запрещены симония (торговля церковными должностями) и брачная жизнь священников. Так как инвеститура давала много поводов для симонии (особенно в Германии и Ломбардии, где императоры самовластно назначали епископов, имея от этого немалый доход), то римский собор воспретил и её, предоставив только папе право назначать всех епископов. Было очевидно, что Генрих и Григорий не смогут ужиться вместе.
В Рим приходило множество жалоб на Генриха. Григорий внимательно разбирал все обвинения и не замедлил высказать своё мнение. В начале 1076 г. он отправил в Гослар своих легатов и велел Генриху в ближайший пост явиться в Рим на собор и оправдаться в преступлениях, приписываемых ему. В случае неповиновения папа грозил предать его апостольскому проклятию и отлучению от церкви. Генрих был несказанно оскорблен как самим письмом, так и его властным тоном. В январе он собрал в Вормсе собор немецких епископов и с легкомысленной поспешностью приказал им отлучить от церкви самого папу. Собор ломбардских епископов, собравшийся вскоре в Пьяченце, подтвердил вормское постановление и объявил, что Ломбардия не будет признавать Григория папой. Но собравшийся в конце февраля большой и представительный собор епископов в Риме выразил Григорию однозначную и полную поддержку. Епископы едва не растерзали пармского священника Роланда, который осмелился объявить волю короля о низложении папы. После этого Григорий провозгласил отлученным от церкви самого Генриха.