В марте 1090 г. император перешел через Альпы и начал войну против Матильды. Одиннадцать месяцев немцы осаждали Мантую, в которой заперся граф Вельф. На Пасху 1091 г. изнуренные голодом горожане открыли перед императором ворота. Вельф едва успел уйти. Генрих внезапно напал на его брата Гуго, охранявшего низовье По, и нанес ему тяжёлый урон в сражении у Триконтои. Узнав об этом, Урбан бежал на юг страны под защиту норманнов. Генрих вошёл в среднюю Италию и осадил Монтевио. Осаждённые искусно оборонялись, сделали вылазку и сожгли у императора все осадные машины. Тогда он пошел на Каноссу и в октябре 1092 г. потерпел под стенами этого замка новое поражение. Матильда и её вассалы приободрились. К довершению несчастья, раздор возник в собственной семье императора. Женившись через два года после смерти первой жены на русской княжне Евпраксии, Генрих стал вскоре подозревать её в супружеской неверности и даже в связи со своим старшим сыном Конрадом. Император начал обращаться с женой очень дурно, отнял у неё подобающие почести и держал её в такой строгости, что это походило на тюремное заключение. Когда же Конрад вступился за мачеху, отец вспылил и обвинил его в том, что он не его сын, а сын одного вельможи, на которого юноша действительно был очень похож. Враги немедленно воспользовались размолвкой между отцом и сыном. Матильда овладела доверием Конрада и склонила его на свою сторону. Празднуя в Павии Пасху 1093 г., Генрих узнал, что сын восстал против него и соединился с его противниками. Ломбардские города Милан, Кремона, Лоди и Пьяченца отложились от Генриха и приняли сторону его сына. Архиепископ Миланский Ансельм короновал Конрада королём итальянским. Генрих упал духом, заперся в замке близ Вероны и в порыве отчаяния хотел заколоться; друзья едва удержали его от самоубийства. Вскоре из-под стражи к Матильде бежала и жена Генриха Евпраксия. На Констанском соборе она объявила, что муж принуждал её к прелюбодеянию, чтобы тем легче было потом с ней развестись. Священники приняли сторону императрицы, объявили её брак расторгнутым и позволили ей вернуться на родину в Киев. С помощью норманнов и Матильды Урбан вернулся в Рим, а Климент бежал из него. Благодаря подготовке к Первому крестовому походу, авторитет Урбана поднялся очень высоко. Климент потерял всякое значение и должен был удалиться в Равенну.
Казалось, что дела Генриха идут очень плохо, но некоторые обстоятельства позволили ему поправить положение. Граф Вельф узнал, что его жена Матильда (которая была старше его двадцатью пятью годами) завещала все свои огромные имения папскому престолу. Возмущенный этим, он стал говорить, что его обманули, и принялся хлопотать о разводе. В 1096 г. он примирился с Генрихом, помирил с ним и своего отца, герцога Баварского. Император утвердил за ними владение Баварией. Примирение с могущественными Вельфами сразу переменило соотношение сил в пользу Генриха. В декабре 1097 г. храбрый Бертодьд Церингенский, воевавший с Фридрихом Гогенштауфеном из-за Швабии, вступил в мирные переговоры с императором. Генрих передал ему во владение Западную Швабию с герцогским титулом, и с этого времени Бертольд сделался его верным вассалом. В том же году Генрих возвратился в Германию. В 1098 г. он созвал съезд в Майнце. Конрад за мятеж, поднятый против отца, был лишён прав на корону, а наследником был объявлен младший сын Генрих. Здесь же был заключен мир с саксонцами. Главной причиной установившегося спокойствия было крайнее утомление немцев от беспрерывной многолетней войны. Вместе с тем много рыцарей покинуло тогда страну и приняло участие в крестовом походе. Уход этого буйного воинства благодатно сказался как на Германии, так и на Италии.
Хотя военные действия временно затихли, примирения между императором и папой не произошло. Вплоть до самой своей смерти в 1099 г. Урбан продолжал числить Генриха отлученным от церкви. Избранный на его место папа Пасхалий II также начал с того, что предал проклятию «Немецкого короля, не перестающего раздирать хитон Христов» и воодушевлял сторонников на борьбу с ним. В течение нескольких лет призывы его оставались без ответа. Конрад, разочаровавшийся в своих союзниках, отказывался воевать с отцом. В 1101 г. он умер во Флоренции. Папская партия только тогда добилась успеха, когда сумела возмутить против престарелого императора его второго сына Генриха. В декабре 1104 г. Генрих Младший бежал в Баварию и объявил, что не может примириться с отцом, пока с того не будет снято церковное отлучение. Папа Пасхалий приветствовал возвращение принца в лоно церкви. В мае 1105 г. на съезде в Нордга-узене он был провозглашен своими сторонниками королём. Баварцы и швабы немедленно восстали и поддержали нового правителя. В августе 1105 г. император выступил против сына и встретился с ним в Франконии на реке Реген. Но когда он уже готов был отдать приказ о начале сражения, князья объявили ему, что не будут сражаться против молодого Генриха. Император стал умолять их, по крайней мере, не отказывать ему в помощи, однако они молча ушли из его шатра. Опасаясь, что его смогут схватить, Генрих с небольшим отрядом бежал из своего стана в Майнц. Сын преследовал его. Увидев, что ему нет возможности выдержать осаду, старик поехал в Кёльн. Горожане готовы были поддержать его, и, чтобы избежать трудностей осады, молодой король решил прибегнуть к хитрости. Он договорился встретиться с отцом в Кобленце. Когда старый Генрих увидел сына, он упал перед ним на колени и заклинал его прекратить вражду. Молодой Генрих казался растроганным, сам встал перед отцом на колени и горячими речами убеждал его в Своей невиновности. Он говорил, что готов немедленно сложить с себя власть, пусть только император примирится с папой. Генрих отвечал, что согласен на примирение с Пасхалием и что во всем покорится решению сына и князей. Тогда назначено было, что он приедет в Майнц на очередной съезд и здесь решены будут все спорные вопросы. Генрих поверил сыну. Вдвоем они поехали в Майнц, дружески беседуя. Можно было подумать, что все разногласия между ними исчезли. В Бингене они провели вечер в задушевном разговоре. На утро был пущен слух, что швабы и баварцы заняли Майнц и угрожают императору расправой. Под этим пред-Логом сын убедил Генриха отправиться в замок Бекельгейм и здесь подождать, пока он успокоит своих союзников. Но едва император с немногими спутниками оказался за стенами замка, стража заперла ворога и отказалась впустить внутрь его конвой. Так император стал пленником своего сына. Надзор за ним был поручен Гебгарду, епископу Шпейерскому, одному из его злейших врагов. Он заставил своего узника терпеть голод и жажду, подверг его насмешкам и угрозам. Генрих писал, что ему не позволяли даже брить бороду и умывать лицо. В декабре старика привезли в Ингельгейм, и здесь в присутствии князей он отрекся от власти, объявил, что недостоин королевского сана, и передал сыну государство. Однако он наотрез отказался принести покаяние, которое требовали от него папские легаты. Его сын не имел духа настаивать на этом, так как видел, что многие князья растроганы до слез унижением их старого монарха. Низложенного императора отправили обратно в Ингельгейм, а сын заступил его место. Спустя немного времени Генрих бежал на корабле в Кёльн. Горожане приветствовали его как законного короля. Он поехал в Люттих. Граждане Бонна, Кёльна, Юлиха и других рейнских городов немедленно взялись за оружие. Герцог Лотарингский Генрих нанес у Визета на Маасе поражение молодому Генриху, который шёл захватить отца в Люттихе. Летом император переехал в Кёльн и стал готовиться к новой войне. В июле сын осадил его в этом городе, но был отражен мужественными защитниками. Вскоре после этой победы Генрих IV умер. Раздор его с церковью продолжался и после смерти. Епископ Люттихский похоронил императора с подобающими почестями. Но молодой Генрих заставил выкопать гроб и перевезти его в Шпейер, где в течение пяти лет тело умершего лежало не погребённым в деревянном гробу в одной недостроенной и неосвященной часовне. Только в 1111 г. папа Пасхалий снял с мертвого императора своё проклятие, и останки его, наконец, нашли последний покой в усыпальнице франконских королей.
