В 1814 году ему таки предоставили дебют в Павии в опере «Слезы вдовы» Пьетро Дженерали. Потом последовало приглашение в Брешию, на карнавал 1815 года, а далее — в Венецию в довольно известный театр «Сан-Мойзе». Вскоре певец заключил договор с могущественным импресарио Доменико Барбайей. Тот помог Рубини принять участие в спектаклях неаполитанского театра «Фьорентини». Джованни с радостью согласился — ведь такой контракт позволял среди прочего учиться у крупнейших певцов Италии.
Вначале молодой певец почти затерялся в созвездии талантов труппы Барбайи. Джованни даже пришлось согласиться на понижение зарплаты. Но упорство и занятия с известным тенором Андреа Нодзари сыграли свою роль, и вскоре Рубини стал одним из главных украшений неаполитанской оперы.
Следующие восемь лет певец с большим успехом выступал на сценах Рима, Неаполя, Палермо. Теперь уже Барбайя, чтобы удержать Рубини, идет на увеличение гонорара певцу.
6 октября 1825 года состоялся дебют Рубини в Париже. В театре Итальянской оперы он сначала спел в «Золушке», а затем в «Деве озера» и «Отелло».
Роль Отелло Россини специально переписал для Рубини — ведь он создавал ее первоначально в расчете на низкий голос Нодзари. В этой роли певец показал свою способность выделить порой малозаметные детали, придать всему образу удивительную цельность и правдивость.
С какой печалью, с какой болью израненного ревностью сердца проводил певец напряженную финальную сцену третьего действия с Дездемоной! «Мотив этого дуэта оканчивается довольно сложной и продолжительной руладой: здесь могли оценить мы вполне все искусство, все глубокое музыкальное чувство Рубини. Казалось бы, что всякая фиоритура в пении, исполненном страсти, должна охладить его действие, — вышло наоборот. Рубини сумел придать столько силы, столько драматического чувства незначительной руладе, что этой руладой глубоко потряс… слушателей», — писал один из современников после выступления артиста в «Отелло».
Итальянского артиста французская публика единодушно признала «королем теноров». После полугода парижских триумфов Рубини возвратился на родину. Выступив в Неаполе и Милане, певец отправился в Вену.
Первые успехи певца связаны с выступлениями в россиниевских операх. Казалось бы, стиль композитора виртуозно блестящий, полон живости, энергии, темперамента, лучше всего отвечает характеру дарования артиста.
Но свои вершины Рубини покорил в содружестве с другим итальянским композитором — Винченцо Беллини. Молодой композитор открыл ему новый увлекательный мир. С другой стороны, сам певец немало способствовал признанию Беллини, стай самым тонким выразителем его намерений и несравненным интерпретатором его музыки.
Впервые Беллини и Рубини встретились, готовясь к премьере оперы «Пират». Вот что пишет Ф. Пастура: "…С Джованни Рубини он решил заняться серьезно, и не столько потому, что солист должен был петь заглавную партию Гуальтьеро, — композитор хотел научить его, как воплотить именно тот образ, какой он нарисовал в своей музыке. И ему пришлось немало потрудиться, потому что Рубини хотел просто спеть свою партию, а Беллини настаивал, чтобы он еще и сыграл свою роль. Один думал только об эмиссии звука, о постановке голоса и иных хитростях вокальной техники, другой стремился сделать из него интерпретатора. Рубини был только тенором, Беллини же хотел, чтобы певец прежде всего стал конкретным действующим лицом, «охваченным страстью».
Граф Барбо оказался свидетелем одного из многих столкновений автора и исполнителя. Рубини пришел к Беллини репетировать свою вокальную строчку в дуэте Гуальтьеро и Имоджене. Судя по тому, что рассказывает Барбо, речь шла, видимо, о дуэте из первого акта. И чередование простых фраз, лишенных каких-либо вокальных украшений, однако напряженно взволнованных, не находило никакого отзвука в душе певца, привыкшего к условным номерам, иной раз более трудным, но зато наверняка эффектным.
Они несколько раз проходили один и тот же фрагмент, но тенор никак не мог понять, что же нужно композитору, и не следовал его советам. В конце концов Беллини потерял терпение.