Вскоре после этого Каролина возвратилась в Англию и начала требовать встречи с Байроном, «чтобы оправдаться, не знаю за что». Но он уже пообещал леди Оксфорд не соглашаться на встречу и специально отложил свой отъезд в Лондон. В дружелюбной атмосфере Айвуда, «за чтением, смехом и игрой в жмурки с вашими детьми», Байрон был счастлив, что его брак с «Принцессой Параллелограммой» не состоялся. «Я поздравляю Аннабеллу и себя с нашим спасением. Из нашего союза получилась бы холодная закуска, а я предпочитаю горячие ужины».
Наконец 21 ноября Байрон с сожалением покинул Айвуд и по дороге в столицу остановился в Миддлтоне в доме Джерси. Ему нравилась леди Джерси, но между ними не было ничего похожего на то, что было в Айвуде, где «гравюра с изображением Ринальдо и Армиды была самым привлекательным украшением». Байрон писал Хобхаусу, что «между мной и леди Каролиной Лэм все кончено. Я по-прежнему далек от брака и полагаю, что, когда это все-таки случится, «беспристрастная судьба» сделает меня рогоносцем».
Однако Каролина не собиралась успокаиваться. Она не хотела мириться с тем, что произошло. Сначала она попросила Байрона вернуть ей все письма, но, когда он согласился, отказалась возвращать его. Затем она потребовала назад подарки, думая, что он отдал их леди Оксфорд, и желая смутить его. После этого она удалилась в сельское поместье в Брокете, где бешено разъезжала верхом по дорогам и слала своему бывшему возлюбленному нелепые угрозы: «Ты рассказывал мне о мести иностранок, а я покажу тебе, как отомстит англичанка». К счастью, месть оказалась символической. Каролина собрала детей и заставила их исполнить нечто вроде ритуала с чтением стихов, а сама в это время сжигала портреты Байрона и копии его писем (она так и не смогла расстаться с оригиналами).
30 ноября Байрон прибыл в «Баттс-отель» на Дувр-стрит и обнаружил, что его финансовые дела находятся в ужасающем состоянии. Клотон продолжал оттягивать обещанную выплату за Ньюстед, но в конце концов согласился выплатить 5000 фунтов, часть из которых пошла на уплату давнишнего долга Скроупу Дэвису. Байрона осаждал Ходжсон, обвиняя своего старого друга в забывчивости и умоляя его немедленно одолжить 500 фунтов. Уладив денежные дела с Мерреем, который переехал с Флит-стрит на Элбермарл-стрит, 50, недалеко от Пикадилли, где и сейчас его потомки продолжают его книгопечатное дело, Байрон за неделю до Рождества вновь направился в Айвуд.
Нелепые выходки Каролины утомили Байрона. «Я начинаю подумывать, что она действительно сумасшедшая, иначе было бы немыслимо сносить все ее выходки», – писал он леди Мельбурн. В Айвуде, по словам Байрона, «все было спокойно и безмятежно: никаких сцен, много музыки, веселье, и каждый день все больше отдалял меня от Каролины». А впереди было еще много приятного. «Мы поговариваем о поездке на Сицилию весной…» В случае неудачи Байрон решил вновь отправиться на Восток с Хобхаусом. Любовь к Востоку была подобна лихорадке, постоянно живущей у него в крови, которая могла вспыхнуть с новой силой при любом воспоминании.
Оглядываясь на год, принесший ему известность, Байрон не мог вспомнить ничего более счастливого, чем дни, проведенные в Айвуде. В последний день года он писал леди Мельбурн, восхваляя свою «Армиду»: «Не стану утомлять вас перечислением всех ее достоинств, скажу лишь, что я ни разу не зевнул за все два месяца, проведенные под ее крышей, – нечто поразительное в моей жизни».
В начале 1813 года жизнь в Айвуде стала еще приятней. В начале января лорд Оксфорд уехал в Лондон, и Байрон две недели провел с леди Оксфорд и ее красивыми детьми. 2 января он отправил через Хобхауса письмо к Хэнсону с просьбой выделить сотню гиней, чтобы заказать портрет своей возлюбленной, и втайне от всех переслать их Меррею. Два дня спустя он писал леди Мельбурн: «Мы живем без ссор и всяких неприятностей, у нас очень мало гостей и никаких жильцов, только книги, музыка и тому подобное». Позднее Байрон вспоминал, что в Айвуде леди Оксфорд сказала ему: «По-моему, весь месяц мы жили как боги Лукреция». И Байрон добавил: «Так и было».