Эти действия Конрада ознаменовали начало открытой борьбы между Штауфенами и Вельфами. Сначала Генрих Гордый вел ее успешно. Альбрехт Медведь вынужден был покинуть Саксонию. Раздоры в герцогстве Саксония оказывали воздействие на отношения в Нордальбингии. Поскольку Адольф II Гольштинский, около 1130 года сменивший на троне своего отца, был на стороне Вельфов, то Альбрехт Медведь сместил его и передал приграничное графство Гольштейн-Штормарн в лен Генриху фон Бадвиде (из рода Люнебургов). Однако он не смог долго противостоять графу Адольфу. Внезапная смерть Генриха Гордого (20 октября 1139 года) не ослабила напряженности. Его десятилетний сын Генрих (Лев) получил признание в качестве герцога по всей Саксонии. Его бабка Рихенца, вдова императора Лотаря, возглавила здесь дело Вельфов.
Вельф VI, брат Генриха Гордого, стал вдохновителем восстания в Южной Германии. В августе 1140 года ему удалось одержать победу над Леопольдом IV под Фаллаем на р. Мангфалль. Теперь Конрад III сам отправился завоевывать швабские владения Вельфов. С ноября 1140 года он осаждал замок Вейнсберг недалеко от Хейльбронна. Вельф поспешил его деблокировать, но был разгромлен. После этого вельфский гарнизон крепости вынужден были капитулировать. Вполне достоверным является рассказ о том, что женщины замка воспользовались разрешением Конрада взять с собой столько имущества, сколько они смогут унести, чтобы вынести из крепости своих мужей и спасти их тем самым от смерти или плена.
Несмотря на этот успех короля, борьба продолжалась. После смерти Рихенцы в 1141 году Вельф IV один продолжал сопротивление. Перемирие наметилось только в следующем году. Альбрехт Медведь сложил с себя титул герцога Саксонского и на съезде князей во Франкфурте в мае 1142 года окончательно отказался от герцогства, но за это получил свои прежние владения, прежде всего Северную марку. Остается невыясненным, назначил ли Прибислав Бранденбургский его наследником уже тогда или позже. Генрих Лев был признан в качестве герцога Саксонского, однако вынужден был отказаться от Баварии. Перемирие между Вельфами и Бабенбергами должно было быть достигнуто браком овдовевшей герцогини Гертруды, дочери императора Лотаря, с Генрихом II Язомирготтом, который в качестве маркграфа Австрийского в 1141 году сменил своего брата Леопольда IV. Теперь он получил в лен герцогство Баварию. Однако надежды, которые связывались с этим браком, не оправдались, так как уже в 1143 году Гертруда умерла при родах. Кроме того, Вельф IV не признал отказа своего племянника от Баварии и продолжил борьбу против Бабенбергов в Южной Германии. При этом он добился не только финансовой помощи Рожера II Сицилийского, но и эпизодической поддержки своего штауфеновского племянника Фридриха, который после смерти своего отца Фридриха II унаследовал герцогство Швабию (1147 год).
Действия Конрада на восточной границе империи, в Богемии, Польше и Венгрии, имели переменный успех. В Богемии после смерти герцога Собеслава (1140 год) с помощью Конрада верх удалось одержать его племяннику Владиславу, которого он назначил своим преемником. В 1142 году король дошел до Праги. В Польше после смерти Болеслава III (1139 год) между его сыновями начались династические раздоры, в которых победил Болеслав IV. Его старший брат Владислав II, женатый на сводной сестре Конрада III, вынужден был покинуть страну. Попытка короля вернуть в страну своего зятя (1146 год) окончилась неудачей. Отношения с Венгрией и ее новым королем Гезой II (1141–1162) сначала были хорошими. Старший сын короля Конрада Генрих еще маленьким мальчиком был помолвлен в 1139 году с сестрой Гезы Софией. Когда Конрад поддержал другого претендента на венгерский трон, который получил также помощь византийцев, отношения между Гезой и Конрадом охладели. Поэтому Геза выступил против империи и в сентябре 1146 года на реке Лейта нанес тяжелое поражение Генриху Язомирготту.
Более успешными были попытки Конрада укрепить свои позиции на западе и юге империи. После смерти герцога Вальрама (1139 год) он передал Готтфриду Льву, родственику королевы, герцогство Нижняя Лотарингия. Пфальцграфство Рейнское получил его зять Герман фон Шталек (1142 год). Но в первую очередь Конрад принял существенное участие в расширении династической власти Штауфенов на юге империи. Благодаря браку с Гертрудой фон Зульцбах он укрепил позиции Штауфенов во Франконии. Унаследовав Эгер после пресечения династии Дипольдингов (1146 год), он смог увеличить имперское и родовое достояние на севере Баварии. Так же, как в своей территориальной политике он старался продолжать салическую традицию, так и, создавая свою канцелярию, он исходил из ее организации еще при Генрихе V. Важнейшим советником по всем политическим вопросам для него стал аббат Вибальд фон Ставло, который временно служил нотариусом в канцелярии, а в 1146 году получил важное имперское аббатство Кореей.
