За это время Ярослав вернул русские владения на Западе, отнятые Болеславом и польским войском во время похода на помощь Святополку Окаянному. На севере русских владений, в Ливонии, Ярослав в 1030 году основал город Дерпт (современный Тарту). Но несмотря на то, что владычество Руси над прибалтийскими народами — ливонцами и чудью — было относительно мягким (их не принуждали к принятию христианства и собирали весьма умеренную дань), они все же подняли бунт и в ходе длившихся несколько лет войн получили наконец вольницу.
С именем Ярослава связывают и основание города Ярославля. Древняя легенда рассказывает о том, что на месте, где сейчас стоит город, Ярослав убил медведицу, которую жители селения Медвежий угол спустили на князя. Там он впоследствии повелел основать крепость. Эту легенду отражает и герб города: на серебряном щите изображен медведь с секирой.
Говорят также, что князь обладал довольно крутым нравом, когда речь заходила о безопасности Киевских земель. Хорошим примером послужил 1035 год: умер Мстислав Таманский, брат Ярослава, гроза степей. К Киеву потянулись орды кочевых племен, по словам византийского историка — «многочисленное племя, которое вшей пожирает». Это были печенеги, они знали Ярослава как калеку и книжника, слабого и неспособного к обороне. Но их ждал полный разгром; не помогло даже то, что печенежский князь Куря когда-то сумел поладить с самим Святославом Игоревичем, одним из наиболее воинственных князей Киевской Руси.
После кончины Мстислава Ярослав стал наконец властителем всех русских земель, поскольку у Мстислава не было наследников. Владения Ярослава простирались от Балтийского моря до Карпатских гор и Черного моря.
Но ни междоусобные войны, вспыхнувшие после смерти Владимира, ни собственный опыт не преподнесли хороший урок русскому князю. И он дожидался лишь взросления своих сыновей, чтобы снова разделить между ними Русь и снова ввергнуть ее в междоусобицу. Князь был женат на дочери шведского короля Олафа Ингигердте. Подробности этой свадьбы содержатся в произведении Снорри Стурлусона «Круг земной», написанном в первой половине XIII века. Как только старшему сыну Ярослава и Ингигердты Владимиру исполнилось шестнадцать лет, отец отправил его княжить в Новгород.
После того как Ярослав объединил Русь, серьезную опасность для нее представляли лишь внешние враги. Больше всего неприятностей доставляли печенеги, регулярно тревожившие русских жителей своими набегами. Однажды им удалось собрать огромное войско и осадить Киев. На помощь Ярославу снова пришли варяги, составившие центр его войска. На левом фланге стояли новгородские воины, а на правом — киевские. Войско Ярослава одержало победу, которую Карамзин назвал счастливейшей для отечества, поскольку сокрушены были наиболее опасные враги русских земель. Печенеги были разгромлены, большая часть войска погибла на поле битвы, многие утонули во время беспорядочного отступления. На месте сражения Ярослав велел заложить церковь, раздвинув городские стены так, чтобы новый храм вошел в городскую черту. Появившиеся таким образом ворота были названы золотыми, а возведенная в честь победы церковь — Святой Софией.
Храм Святой Софии был построен греческими зодчими, приглашенными Ярославом. Впоследствии собор неоднократно перестраивался, сооружались разнообразные достройки. Тем не менее он до сих пор является образцом византийского искусства. Это единственное здание XI века, сохранившееся в относительно хорошем состоянии. Изначально храм представлял собой продолговатое каменное строение длиной около 36 м, шириной чуть более 70 м, высотой около 30 м, сложенное из довольно больших кирпичных плит. На трех сторонах здания располагались каменные хоры, поддерживаемые столбами с арками внизу и вверху на северной и южной сторонах. В храме был алтарь с двумя приделами (небольшими алтарями в пристройках). У здания было пять куполов, через которые в храм попадал свет; центральный купол был самым большим, а купола, расположенные над алтарем и хорами, — поменьше. Снаружи церковь окружала паперть, с которой на хоры вели две лестницы.