Оттон Великий за те немногие дни, которые прошли с момента коронации, выразительно продемонстрировал в Риме, что считает свою императорскую власть возобновлением и продолжением каролингской традиции. В знаменитой привилегии, которую написал золотом кардинал-дьякон Иоанн, — так называемом «Ottonianum» от 13 февраля 962 года — Оттон в продолжение Пипинова дара и последовавших за ним каролингских «pacta» («соглашений») подтвердил владельческое право папского государства (косвенную роль сыграло при этом «Constitutum Constantini» («Установление Константина»)). Той же привилегией, и опять же по каролингскому образцу, он обеспечил за собой императорское право принимать обещание верности от папы, избранного клиром и народом.
После этого принципиального прояснения императорско-папских отношений Оттон взялся и за наведение ясности в отношениях с королевством Италия. Первоочередной предпосылкой для этого должно было стать подчинение самовластного Беренгария, за помощью против которого к Оттону, собственно говоря, и обратились. Поэтому Оттон попытался захватить его в горном убежище Сан-Лео (недалеко от Сан-Марино в Апеннинах), но вынужден был преждевременно снять осаду, так как папа Иоанн XII, охваченный страхом, что император добьется успеха и будет действительно властвовать, полностью сменил свою политику. Совершенно пренебрегая принесенной Оттону клятвой верности, он вступил в тайные переговоры с Беренгарием, Византией и даже венграми. Папа демонстративно лично принял в Риме сына Беренгария Адальберта. Однако этим он добился только того, что император счел свои прежние меры недостаточными и взял теперь курс на еще более определенное урегулирование ситуации — в первую очередь в Риме. В то время как Иоанн XII и его новый союзник Адальберт ввиду приближения императора попытались спастись бегством, Оттон позаботился о том, чтобы укрепить свое влияние в Риме. Поэтому он в изменение раздела «Ottonianum» о выборах папы повелел римлянам поклясться в том, что в будущем ни один папа не будет избран и посвящен в сан без предварительного согласия императора или его сына. Одновременно он убедил римский синод, заседавший под его председательством с начала ноября 963 года, устроить процесс над папой. Как и ожидалось, синод на основании длинного перечня папских грехов сместил приглашенного, но не явившегося в собрание Иоанна XII и поставил на его место чиновника папской канцелярии Льва, мирянина, который взошел на Святой престол под именем Лев VIII. Вскоре после этого, в последние дни 963 года, удалось также пленить в Сан-Лео Беренгария и его супругу Виллу; оба были отправлены в ссылку в Бамберг. Цель похода казалась достигнутой.
Однако ни Иоанн XII, ни сильная партия римлян не примирились с успехами императора. Объединившись, они оказали сопротивление новой власти и вынудили Оттона, который уже частично распустил свою армию, вернуться в Рим, чтобы защитить свое господство. Хотя он быстро и кровопролитно подавил римское восстание и заставил принести новую присягу себе и своему папе Льву, Иоанн XII вскоре сумел опять вытеснить Льва. Когда Иоанн в мае 964 года умер, римляне снова пренебрегли своими прежними клятвенными обязательствами, избрав, не считаясь с верным императору Львом VIII, нового папу, Бенедикта V. Ход событий и процесс перемен были окончательно запутаны. Однако Оттон вновь стал хозяином положения благодаря своей стойкости, которую Видукинд по праву прославлял как главную черту его характера. В июне 964 года император опять подчинил город своей власти и восстановил Льва в его правах, которые тот отныне сохранял за собой вплоть до своей слишком ранней смерти. Поскольку антипапа Бенедикт не отказался от своего сана, он, дабы не мог последовать примеру Иоанна XII, был также отправлен в ссылку в Гамбург.
Теперь цель похода была действительно достигнута: в Риме и в Италии наметилось начало стабилизации. После трех с половиной лет усилий и конфликтов Оттон мог вернуться в Германию с сознанием того, что его власть в Италии надежно обеспечена.