Генрих принял все эти условия, сложил с себя королевские регалии и поселился в Шпейере. Однако, опасаясь весьма вероятного торжества своих врагов на соборе в Аугсбурге, он решил не дожидаться папского суда, а ехать в Италию. В январе 1077 г. он отправился в путь, не имея при себе никого, кроме жены и одного немецкого дворянина, единственного сохранившего ему верность. С ним не было ни денег, ни дорожных запасов, так что иногда королю приходилось просить милостыню. Сверх того, князья заняли все проходы из Германии в Италию. Генрих принужден был пробираться через Савойю, где его теща, маркграфиня Сузская Адельгейда, дала ему несколько человек провожатых. Стояли такие холода, что Рейн замерз уже в середине ноября. Ехать по обледенелым горам было чрезвычайно трудно и опасно. В горах Це-ниса пришлось нанимать местных поселян, которые перетаскивали королеву, закутанную в воловью шкуру, с одной высоты на другую; мужчины продвигались ползком и не редко скатывались вниз по снежным уступам. Наконец, Генрих добрался до Италии, где к изумлению своему был принят с восторгом. В Ломбардии в это время распространился слух, будто император идет в Рим обуздать силой оружия гордого папу. В северных итальянских областях уже давно не любили Григория; светские владельцы оскорблены были его новыми законами, а духовенство негодовало из-за преследования симонии и введения безбрачия. Многие итальянцы, в том числе архиепископы Миланский и Равеннский, находились под церковным проклятием. Вообще, Генриху представлялся удобный случай возмутить Италию против папы, но последние события в Германии лишили его всякой надежды на успех борьбы: он думал только о примирении со своим врагом. В это самое время папа ехал в Германию на Аугсбургский съезд для суда над Генрихом; узнав о внезапном прибытии короля в Италию, он для большей безопасности свернул с дороги в укрепленный замок Каноссу, принадлежавший богатой тосканской маркграфине Матильде. Матильда пользовалась в Италии большим влиянием, в Тоскане и Ломбардии все ей повиновались. Она славилась решительным характером, благочестием и целомудрием. Генрих обратился к маркграфине, прося её о заступничестве перед папой. Григорий сначала отвергал все предложения и говорил, что дело должно решиться на предстоящем съезде. Наконец, он уступил просьбам и согласился впустить Генриха в замок. В покаянной власянице и босыми ногами вошёл король в ворота окруженного тройной стеной замка. Ему дозволили пройти во внутренний двор, но одному, без провожатых. По-прежнему держались жестокие морозы. Трое суток сряду, без сна, стоял Генрих босой во дворе замка. Все обитатели Каноссы жалели его. Маркграфиня Матильда обливалась слезами, и по её ходатайству Генриха, наконец, выпустили назад из замка. Только на четвертый день Генрих вместе с несколькими другими отлученными был введен в зал, где находился папа, окруженный кардиналами и друзьями. Король вместе с другими несчастными бросился на колени и, проливая слёзы, покаялся в грехах. Наконец, Григорий поднял всех кающихся, снял с них отлучение, дал им отпускное благословение и допустил в церковь, где совершал литургию.
После этого Генрих со стыдом и досадою оставил Каноссу. Итальянцы тотчас заметили перемену в его настроении и в отношении к папе; старые приверженцы императорской власти, из которых многие до сих пор находились под церковным проклятием, мало-помалу стали собираться к нему и побудили его провести зиму в Италии. Генрих, наделенный от природы достаточной дальновидностью, скоро заметил, что нигде основания папской власти не были так шатки, как в этой стране раздоров, и пришел к убеждению, что с помощью денег, разных обещании и коварства здесь можно приобрести множество приверженцев и успешно бороться с папой. В душе его страх перед Григорием уступил место прежней решимости, и с этих пор началась борьба, которую он вел мечом и словом в течение тридцати последующих лет и которая обнаружила в нём немало твердости и таланта.
Между тем враждебные Генриху князья обвинили его в нарушении данной клятвы. В марте 1077 г. они собрались на съезде в Форшгейме, объявили Генриха низложенным и выбрали императором герцога Швабского Рудольфа. Но далеко не все прежние противники Генриха поддержали этот выбор. Верность старому королю сохранили многие города, а также духовенство, опасавшееся властолюбия Григория. Немецкое национальное чувство вообще было оскорблено тем унижением, которому подвергся в Каноссе король. К тому же отречение с Генриха было снято, и он мог требовать от вассалов прежней покорности. Весной он вернулся в Германию. С ним было мало войск, но он вез большие суммы денег, полученные от ломбардцев, и поэтому смог быстро увеличить свои силы. Радость, с которой встретили короля граждане Регенсбурга, ободрила его. К Генриху отовсюду съезжались епископы и князья, уверяя его в своей преданности. После нескольких небольших сражений на Верхнем Дунае и Некаре Рудольф был принужден уйти из Южной Германии в Саксонию. Генрих собрал в Ульме съезд князей и на нём по алеманскому закону объявил мятежниками герцога Швабского, Баварского, Каринтийского и других князей, находившихся в войске Рудольфа, отнял у них лены, родовые имения, титулы и раздал их своим приверженцам. Герцогом Швабским он сделал храброго графа Фридриха Гогенштауфена, обручив с ним свою маленькую дочь Агнессу. Таким образом было положено начало могуществу этого рода. Вскоре страшная война охватила всю Германию. По свидетельству современников, убийства, грабежи, пожары и опустошения охватили страну от Дании до Апулии и от Франции до Венгрии. Трупы грудами валялись без погребёния, отданные в пищу волкам. Как и ожидалось, самую сильную поддержку Рудольф нашел в Саксонии. Также многих сторонников он имел в Баварии и Швабии. Но все остальные области Германии приняли сторону Генриха. В августе 1078 г. при Марлихштадте произошла кровопролитная битва. Вскоре после начала сражения левое крыло мятежников обратилось в бегство. Архиепископ Магдебургский был убит, архиепископы Майнцкий и Вормсский попали в плен к королю. Был также взят в плен герцог Саксонский Магнус. Но с другой стороны, левый фланг королевских войск также был разбит. Исход битвы остался нерешенным: противники разошлись, и каждый считал себя победителем. В январе 1080 г. произошло второе сражение – в Тюрингии, близ деревни Флархгейм. Оно также было очень упорным, и к вечеру Генрих, понеся большие потери, должен был отойти в свой стан. Победители на плечах отходивших ворвались в королевский лагерь и разграбили его. Общий исход сражения был очень неудачен для короля; его противники торжествовали победу. Григорий во время всех этих междоусобий старался сохранять нейтралитет, хотя явно и всей душой сочувствовал Рудольфу. Узнав о флархгеймской победе, он отбросил всякие колебания и объявил, что считает Рудольфа единственным законным правителем Германии. В Риме как раз проходил церковный собор, и на одном из заседаний папа вновь провозгласил Генриха отлученным от церкви и лишённым королевского сана.
