В середине мая отношения Байрона с Терезой и ее мужем накалились. Гвичьоли уже не скрывал своего негодования. То, что он ищет доказательств неверности жены, стало ясно, когда Тереза взволнованно написала, что граф вскрыл ее стол и обыскал его. Тереза полагала, что графа подстрекали насмешки друзей из церковных кругов, которые, подозревая Байрона в приверженности к карбонариям, хотели выслать его из Равенны. Развязка наступила, когда вечером граф застал Байрона с Терезой и раздраженно попросил его прекратить визиты. Тереза в своих воспоминаниях написала, что «они, как обычно, беседовали», но Байрон был более откровенен. Он писал Меррею, что все началось «из-за того, что нас застали вдвоем и, что еще хуже, она ничего не отрицала».
Первым порывом Байрона было уйти и «пожертвовать» собой, а не идти на компромисс и не смущать покой семьи Терезы. Она рыдала и обвиняла его в холодности. Но Байрон с чистой совестью мог сказать, что она неправильно истолковала его стремление уехать. Настоящая причина, возможно, крылась в приверженности Байрона к условностям, как писала маркиза Ориго. Он много лет играл роль бунтовщика. «Но он никогда не оспаривал, как Шелли, ценности социальных норм». Байрон искренне называл себя и Терезу «заблуждающимися». У него было врожденное отвращение к открытой демонстрации излишней вольности в женщине.
Тереза была готова немедленно бросить графа и просить о разводе, но Байрон посоветовал ей «поговорить с папой». И в конце концов ее отец обратился к папе римскому с просьбой дать дочери развод. Решимость Байрона остаться с Терезой, несомненно, окрепла благодаря поддержке графа Гамбы и его друзьям в Равенне. 20 мая он написал Меррею: «…итальянцы на нашей стороне, особенно женщины, да и мужчины тоже, потому что говорят, что он не имел права затевать скандал после целого года снисходительного отношения. Закон против него, потому что он жил с женой после ее признания. Все ее многочисленные родственники, высокородные и могущественные, в гневе на его поведение и нежелание признать себя рогоносцем после нескольких измен, в то время как другие признают после одной».
На отношение графа Гамбы к этому делу повлияла не только Тереза, но и его любовь и уважение к Байрону. Похоже, он тоже был очарован молодым английским лордом и предпочел бы, чтобы именно он был его зятем вместо расчетливого старика, который плохо относился к его дочери. Байрон советовался с отцом Терезы по всем вопросам и предлагал наилучшие действия в борьбе за счастье и репутацию Терезы. Его расположение к Байрону подкреплялось их одинаковыми политическими взглядами.
Байрон с самого начала подозревал, что церковные круги используют любую возможность, чтобы выслать его из Романьи, хотя они и не смели прямо выступить против английского лорда. Можно было досаждать ему, затевая ссоры с его слугами-итальянцами. Самыми его преданными слугами были Лега Замбелли, бывший слуга Гвичьоли, сопровождавший его из Венеции в качестве секретаря, и внешне свирепый, но добродушный гондольер Тита Фальсиери. Байрону повезло, поскольку среди множества врагов из окружения кардинала-легата у него был друг, граф Альборгетти, который, возможно из корыстных побуждений, потому что уже был знаком с щедростью Байрона, но также из восхищения и преклонения перед ним, стал его посредником и агентом. Кажется бесспорным, что Альборгетти пользовался своим влиянием на кардинала, чтобы помочь Байрону и Терезе.
В мае и июне Байрон, как прежде, жил на втором этаже дворца Гвичьоли, играя с животными, тайно встречаясь с Терезой, пока Морелли и негритенок стояли на страже, и поздно ночью сочиняя стихи. Порой его беспокоила кажущаяся слабость Терезы по отношению к мужу, с которым ей посоветовал остаться отец, пока она не получит законного разрешения покинуть его. Может быть, в отношениях графа с женой было что-то более глубинное? Но Байрон решил быть верным Терезе до конца. Одно из писем больше всего поразило ее. Именно в этом она никогда не было уверена. Он написал: «…моя любовь, мой долг, моя честь обязуют меня вечно оставаться тем, кем я сейчас являюсь, – твоим возлюбленным, другом и, если позволят обстоятельства, твоим мужем».