Сын Оттона Великого был натурой честной, с высоким представлением о своем долге государя. Соответствующие этому долгу задачи он пытался разрешать со всей серьезностью и самоотверженностью, но не обладал силой и уверенностью, присущими его отцу. Можно отчетливо проследить, как легко подпадал он под чужое влияние. Так, в первые годы своего правления он руководствовался мнением прежде всего своей матери Адельгейды и своего двоюродного брата Генриха Сварливого, герцога Баварского, который, как довольно скоро обнаружилось, не был таким уж бескорыстным советчиком юного правителя.
Оттон II не остался безучастным, когда в начале 974 года возникли первые внутриполитические проблемы. Причиной их послужило то, что группа южногерманской знати после смерти епископа Удальриха Аугсбургского, одного из самых верных сторонников Оттона Великого, без согласия императора приобрела епископство для одного из внуков Лиутпольдинга Арнульфа и двоюродного брата Генриха Сварливого. Однако Оттон разгадал эту интригу, и когда в 973 году после смерти герцога Бурхарда III осталось вакантным также герцогство Швабия, он при улаживании вопросов наследования повернул оружие противника против него самого. Швабия была передана им не под регентство Хадвиги, вдовы герцога и сестры Генриха Сварливого, а в качестве лена своему собственному племяннику Оттону, сыну прежнего герцога Людольфа. Поворот был очевидным и решительным. После возвращения Хадвиги обратно в Хоэнтвиль Генрих Сварливый, получив к тому же отказ Оттона II на свои притязания по поводу баварской Северной марки, вступил в контакты с князьями Богемии и Польши, задавшись целью свергнуть императора. Однако Оттон опередил его и призвал Генриха вместе со сторонниками на свой суд. Генрих был взят под стражу в Ингельхейме, однако в начале 976 года сумел бежать и устроить новый мятеж, правда, и на этот раз безуспешно. Когда он из-за этой неудачи в 976 году бежал в Богемию, герцогство Бавария было у него отнято и также передано Оттону Швабскому.
В то же время Оттон II использовал этот удобный случай и для перераспределения земель на немецком юго-востоке, которое казалось необходимым вследствие разрушения старых каролингских марок венгерскими нашествиями. Поэтому баварская Восточная марка была реорганизована и передана восточнофранконскому Бабенбергу Лиутпольду. Тем самым род Бабенбергов оказался вовлечен в решение масштабных будущих задач на юго-востоке. Одновременно было создано новое герцогство Каринтия, переданное Лиутпольдингу Генриху, которому были подчинены также итальянские маркграфства Верона и Аквилея. С этими преобразованиями началась и новая колонизация, поддержанная епископствами Пассауским, Регенсбургским и Зальцбургским и крупными баварскими монастырями. Епископ Пильгрим Пассауский в своем не чуравшемся подлога, но безуспешном стремлении приобрести для собственного епископства архиепископский статус распространил миссионерскую деятельность вплоть до Венгрии.
Однако самой Германии эти преобразования не принесли спокойствия. Действуя из Богемии, Генрих Сварливый прилагал все усилия для того, чтобы получить обратно свое герцогство, и в 977 году, после двух безрезультатных военных походов Оттона II на Богемию, снова поднял мятеж в союзе с недавно воцарившимся герцогом Генрихом Каринтийским и епископом Генрихом Аугсбургским. Только в 978 году после тяжелой борьбы император, власть которого на юго-востоке на сей раз подверглась серьезной угрозе, смог подавить это выступление. В результате силы заговорщиков были сломлены: решением императорского суда они были отправлены в заключение. Генрих Каринтийский потерял свое герцогство, которое перешло к Салию Оттону, сыну Конрада Рыжего и императорской дочери Лиутгарды, так что теперь два внука Оттона Великого, носившие то же имя, управляли тремя южногерманскими герцогствами. Эти перемены, очень существенно способствовавшие укреплению императорской власти, повлекли за собой изменения и в ближайшем окружении Оттона II. Императрица-мать Адельгейда потеряла свое прежнее влияние, уступив место Феофано. Вместе с супругой императора приобрели растущее значение в качестве его советников и помощников архиепископ Виллигиз Майнцский и его преемник на посту канцлера епископ Хильдебальд Вормсский. Болеслав Богемский вновь признал сюзеренитет императора.
