Это второе отлучение не произвело того впечатления, какое имело первое. Генрих узнал о папском проклятии в Бамберге, где он праздновал Пасху. Князья, съехавшиеся к нему на праздник, тотчас единогласно объявили, что перестают признавать Григория папой.
В конце мая Генрих собрал в Майнце собор немецких епископов, объявивший папу низложенным. К ним присоединился Бриксенский собор итальянских прелатов. В июне был избран папою архиепископ Равеннский Виберт, принявший имя Климента III. Рудольф в свою очередь был отлучен от церкви и предан проклятию. В октябре того же года Генрих вторгся в Тюрингию, разграбил и сжёг Эрфурт, дошел до Эльстера, но здесь его настиг Рудольф и принудил к битве на неудобной заболоченной местности. Королевская конница была утомлена трудным движением по вязкой почве, но все-таки Генрих разбил ту часть неприятельского войска, которая находилась против него. Епископы, сопровождавшие короля, уже начали служить благодарственный молебен, но тут саксонская пехота неожиданно напала на всадников, расстроивших свои ряды в погоне за побежденными. Все войско Генриха было охвачено паническим страхом; конница поскакала к реке, много воинов утонуло в Эльстере, другие были перебиты саксонцами во время бегства. Королевский стан был взят, и победителям досталась богатая добыча. Однако к великому несчастью победителей их король Рудольф получил в этой битве смертельные раны и вскоре умер. Воодушевленный этим Генрих в марте 1081 г. оставил вместо себя в Германии Фридриха Гогенштауфена, а сам выступил походом в Италию. Вся Ломбардия, давно уже враждовавшая с Григорием, приняла его сторону. В Тоскане у него также нашлось много сторонников, недовольных властным правлением Матильды. Лукка, Пиза и Сиена открыли перед Генрихом ворота. Около Троицы немецкое войско подошло к Риму и 21 мая раскинуло свой стан на Нероновом поле близ Ватикана. Римляне остались верны папе. На помощь Григорию подошли войска из Тосканы и норманны из Южной Италии. Натолкнувшись на упорное сопротивление, Генрих отправился опустошать владения Матильды. Зиму он провел в Равенне, а весной 1082 г. во второй раз подошел к Риму. Он несколько раз приступал к стенам Леонова города, но все приступы были отбиты. Началась долгая осада. Только 2 июня 1083 г. немцам удалось взойти на стену Леонова города, перебив всех её защитников. На улицах города Генрих тоже встретил отчаянное сопротивление, однако соотношение сил было не в пользу осаждённых. Григорий укрылся в замке святого Ангела. Генрих понимал, что ему выгоднее помириться с папой, чем злоупотреблять своим успехом. Он просил только, чтобы Григорий снял с него отлучение и короновал императорской короной, а решение всех спорных вопросов согласен был передать церковному собору. Многим сторонникам папы казалось, что такой исход борьбы не уронит папского величия; говорят, что они на коленях умоляли его примириться с королём. Но Григорий непреклонно требовал, чтобы Генрих, согласно церковному постановлению, сложил с себя королевский сан. Истощив все средства убеждения, Генрих созвал 21 марта 1084 г. духовных и светских сановников своего войска в собор святого Петра. Собрание объявило Григория низложенным и признало папой Климента III. Через десять дней новый папа торжественно короновал Генриха императорской короной. Затем Генрих начал осаду замка святого Ангела, но, узнав, что норманнский герцог Роберт Гискар спешит с большим войском на помощь папе, в мае ушел из Рима. Вскоре после его отступления норманны взяли Рим и подвергли его такому жестокому разгрому, какого этот город не испытывал со времен готов. Григорий после этого не мог оставаться в Риме, где все проклинали его имя. Вместе с Робертом Гискаром он поехал в Южную Италию и умер в мае 1085 г. в Салерно.
Тем временем Генрих вернулся в Германию, которую продолжали раздирать междоусобия. В его отсутствие враждебные князья избрали королём графа Люцельбургского Германа. С приездом императора война возобновилась с новой силой. Всякий порядок нарушился; повсюду владычествовало беззаконие; буйные войска грабили, опустошали, резали, и никто не смел требовать от них дисциплины или уважения к закону. В августе 1086 г. Генрих сразился с мятежниками у Плейхфельда, неподалеку от Вюр-цбурга. Сам император бился очень храбро, но кёльнцы и утрёхтцы отступили в самом начале битвы. Вслед за ними обратились в бегство рыцари и пехота, так что Генрих в очередной раз потерпел полное поражение. В том же году Герман, рассорившись со своими союзниками и утомившись войной, сложил с себя королевский сан. После этого самым грозным противником императора сделался молодой маркграф Мейсенский Экберт. В декабре 1088 г. он нанес Генриху тяжелое поражение близ замка Глейхен в Тюрингии. Император бежал и едва успел укрыться в Регенсбурге. Однако спустя несколько месяцев Экберт сам погиб в бою. Столь же ожесточённая война шла в Италии, где приверженцы Григория избрали в папы аббата Монте-Кассинского Дезидерия, принявшего имя Виктора III. Ему оказывала поддержку маркграфиня Матильда. Сторонники Генриха выступали вместе с Климентом. Оба папы предали друг друга взаимному отлучению, так что весь западный христианский мир оказался расколотым на два лагеря. После смерти Виктора в 1088 г. его сторонники избрали папой Оттона, епископа Остийского, принявшего имя Урбана II. Это был достойный приемник Григория, полностью разделявший его идеи. Он немедленно предал проклятию и отлучению Генриха и Климента III, в то время владевшего Римом. Ему удалось устроить в 1089 г. брак между двумя заклятыми врагами Генриха – маркграфиней Матильдой и графом Вельфом, сыном герцога Баварского. Известие об этом сильно встревожило Генриха и заставило его совершить второй поход в Италию.
