Аннабелла прервала свое описание на полуслове, возможно боясь, что сама не сможет вывести окончательное заключение. Однако ее ответ, который, хотя и выдавал волнение, заключался в том, что она отклоняла предложение Байрона, потому что не уверена в своих собственных чувствах, но не хочет прекращать знакомства, «которое является для меня большой честью и приносит столько радости и наслаждения». Байрон добродушно воспринял ее отказ, признавшись, что на самом деле был не очень заинтересован в исходе дела. Тем не менее его заинтриговал «очаровательный математик», о чем он и написал леди Мельбурн, завершив свое письмо словами: «Вновь благодарю вас за труды, предпринятые вами в отношении моей принцессы Параллелограммы, которая озадачила вас больше гипотенузы… Ее поступки чрезвычайно прямолинейны, и мы похожи на две параллельные прямые, которые уходят в бесконечность, но никогда не пересекаются».
В напряженные и суматошные дни Байрон нашел время, чтобы написать двести строчек сатиры, посвященной вальсам, которую и предложил Меррею. Зачатая в атмосфере ханжеской морали и в муках рожденная хромым автором, наблюдавшим за танцующими на лондонских и провинциальных балах, эта поэма была наполнена скорее горечью, нежели иронией. Гораций Хорнем, сельский эсквайр и вымышленный автор, сочинил хвалебную песнь «императорскому вальсу, привезенному с Рейна», который «побуждает пары причудливо кружиться». В поэме была затронута королевская семья, и именно по этой причине Байрон желал опубликовать ее анонимно: слишком явны были насмешливая дань уважения милостивому Георгу III, породившему на свет Георга IV, ироничные замечания по поводу «царственных ляжек» и «королевского бедра».
Леди Оксфорд, еще в Лондоне обратившая на Байрона благосклонный взгляд, находилась в Челтнеме и пригласила поэта в Айвуд, сельское поместье Оксфордов недалеко от Престона. Зрелая и спокойная красота этой дамы приятно поразила Байрона после импульсивной нервности Каролины, которая постоянно пыталась вызвать его симпатию или ревность рассказами о том, «сколько любовников принесли себя в жертву на алтарь этого образца постоянства». В Айвуде Байрон стал постоянным спутником леди Оксфорд – ситуация, которая весьма пришлась ему по душе. Позднее он говорил леди Блессингтон, что она «пробудила в моей груди прекрасные чувства, и даже теперь я вспоминаю красоту леди Оксфорд с большим восхищением».
Байрон обращался к леди Мельбурн, которая, с одной стороны, одобряла его увлечение, положившее конец связи с Каролиной, а с другой – опасалась, что перестанет быть его другом: «Неужели вы сомневаетесь во мне, находящимся под сенью «беседки Армиды»? Безусловно, я пленен, но ваши чары навсегда останутся со мной». И действительно, Байрон переживал прекрасные дни. Кроме очаровательной любовницы, он наслаждался обществом ее прелестных дочерей. Они находились именно в том возрасте, который всегда так волновал воображение Байрона. Его любимицей была одиннадцатилетняя леди Шарлотта Харли. Никто не смог бы с большей остротой осознавать всю прелесть невинной юности, чем разочарованный молодой лорд, слишком рано познавший горечь любовных услад. Его восхищение ребенком выразилось в идеализации образа матери. Седьмое издание «Чайльд Гарольда» он начал строчками к «юной пери Запада», изображенной под именем Ианты.
Но такая идиллия не могла длиться вечно. От Каролины пришло «нелепое, упрямое и угрожающее письмо». Она выражала свое презрение к Байрону, и, обиженный, он писал леди Мельбурн: «Даже если бы я не любил другую, то никогда не заговорил бы с ней вновь». В порыве откровения он продолжал: «Я не могу жить без предмета обожания и любви. Теперь я нашел его… Я слишком далеко зашел, чтобы отступать, и не жалею об этом».
Наконец разразилась буря. 9 ноября леди Оксфорд получила от Каролины письмо, «длинную тираду в германском духе», по словам Байрона, «очевидно, чтобы выяснить, каковы наши отношения». В письме было множество вопросов, на которые нет ответа, и Байрон убедил свою любовницу вовсе не отвечать. Он начал понимать, что оскорбленная Каролина пойдет на все, чтобы отомстить ему за измену. В тот же день он написал ей сдержанный и резкий ответ: «Леди Каролина, наши чувства не в нашей власти; мое сердце занято. Я люблю другую женщину. Мое мнение о вас изменилось, и если бы мне потребовались доказательства, то ваша ветреность, ваши капризы и низкие уловки, которыми вы в вашем легкомыслии воспользовались, полностью открыли мне глаза. Я больше не ваш возлюбленный…»