Одной из первых мер нового папы была попытка примирения с немецким королём. Он послал к Генриху двух французских духовных, епископа Шалонского и аббата Клюни, чтобы условиться с ним о восстановлении мира и заключении конкордата. Первый из них, встретившись с императором в Страсбурге, предложил Генриху компромисс, вследствие которого по одной из статей конкордата в пользу императора были сохранены все обязательства духовных вельмож к императору, проистекавшие из прежней формы инвеституры. Генрих отвечал, что при этом условии он готов отказаться от инвеституры. Созванный в Реймсе собор должен был подтвердить условия примирения. Папа совсем уже было собрался ехать на встречу с императором, но тут возникли новые затруднения. Два дня шли переговоры, которые не привели к соглашению. Тогда Каликст возвратился в Реймс и снова торжественно отлучил императора от церкви. Епископы и аббаты с восковыми свечами в руках должны были встать со своих мест, папа произнес проклятие против Генриха, антипапы и их приверженцев. Когда он, следуя в своём гневе воззрениям Григория VII на папское право, разрешил от присяги даже подданных Генриха, все присутствующие хором повторили формулу проклятия и бросили свечи на пол. Это случилось в октябре 1119 г.
После этого вся Северная Германия с новой силой поднялась против Генриха. В 1120 г. он изгнал враждебных ему епископов из Вор-мса и Шпейера, а затем подступил к Майнцу. С падением этого города он мог господствовать на всем течении Рейна. На помощь Майнцу подошли саксонцы. В июне 1121 г. враждующие армии встретились, но обе стороны уже так устали от десятилетней (а фактически пятидесятилетней) войны, что не спешили вступать в бой. Затем начались переговоры. Было решено предоставить решение спора суду 12 князей, выбранных обеими сторонами, и по прошествии трёх месяцев объявить их приговор на съезде в Вюрцбурге. В то же время весной 1120 г. папа Каликст приехал в Италию. Заручившись поддержкой норманнов, он через год подошел к Риму. Григорий VIII бежал в Сутри и после непродолжительной осады сдался. Он был заключен в темницу и находился там до самой смерти. Отправляясь на вюрцбургский съезд, Генрих уже знал о несчастной судьбе своего ставленника. Это заставило его быть более сговорчивым. После совещаний, продолжавшихся целую неделю, в Вюрцбурге, наконец, были выработаны условия мира: все королевские имения и доходы должны остаться за королём, все церковные – за церковью; похищенная собственность должна вернуться прежним владельцам; что касается инвеституры, то вопрос о ней должен быть решен большинством голосов на особом имперском съезде. В 1122 г. светские и духовные князья собрались в Майнц, куда папа прислал своих легатов. Здесь в октябре был согласован окончательный договор между папой и императором, положивший предел полувековой борьбе между ними. По этому договору император отказался от инвеституры, дозволил духовенству свободно избирать духовных сановников и обещал возвратить церкви все отнятое у неё имущество. Папа согласился, чтобы выбор епископов и аббатов происходил в присутствии короля или его уполномоченных, которые не будут употреблять ни подкупа, ни насилия. Договор постановлял, что духовный сановник, избранный в Германии, должен затем получить от короля ленные владения через вручение ему скипетра, при этом он давал клятву соблюдать обязанности вассала и только после этого рукополагался в сан. В других частях империи (например, в Италии) избранный духовенством сановник сначала должен был рукополагаться в сан, а потом получать ленные владения и приносить присягу. 23 сентября на широкой равнине рейнского берега у Вормса, при стечении множества народа император и папские легаты взаимно поклялись соблюдать заключённый договор, который вошёл в историю под названием Вормского конкордата. Император был снова принят в лоно церкви, и было провозглашено полное прощение и забвение всего прошлого.
Последние годы своей жизни Генрих прожил в мире с церковью, однако, смуты и войны преследовали его до самого смертного часа. Он умер от рака в Утрехте, не оставив после себя сыновей, и на нём пресеклась Франконская династия.
