Вероятно, последняя встреча Каролины с Байроном состоялась незадолго до бала. На слова Каролины нельзя полагаться полностью, хотя и в ее утверждениях есть доля истины. В 1824 году она написала Медвину: «…в последний раз мы расстались навсегда, и когда он прижался губами к моим – это было у него дома, – то произнес: «Бедная Каро, если кто и ненавидит меня, так это ты, и твои чувства останутся неизменными из-за моего плохого отношения!» Я сказала: «Нет, я изменилась и больше никогда не приду к тебе». Он показал мне свои письма и сказал такое, чего я не могу повторить, после чего вся моя любовь умерла». Последнее утверждение явно неискренне, потому что Каролина продолжала преследовать Байрона, и ее чувство к нему продолжалось всю жизнь. Возможно, в отчаянии он показал ей письма Августы и в припадке гнева рассказал ей о своем увлечении мальчиками, в частности Раштоном, потому что позже обо всем этом Каролина поведала леди Байрон.
На второй день после маскарада, 3 июля, Байрон уехал в Сикс-Майл-Боттом. Он не виделся с Августой с начала апреля, еще до рождения ее дочери Медоры. Байрон не любил «плачущих и икающих младенцев», которые все пачкали и постоянно хныкали. Через три дня Байрон отправился в Кембридж, где распил немало бутылок вина с Хобхаусом и Скроупом Дэвисом. В Лондоне он в отчаянии тщетно пытался уладить дела с Клотоном и Хэнсоном, которые затягивали переговоры. «Я словно продавец свиней на мусульманском базаре, – писал он Муру, – если бы у меня были жена и дети, насчет отцовства которых я испытывал бы сомнения, я бы мог стать счастливым или, по крайней мере, довольным, как Кандид или Скарментадо».
Байрон испытывал такое раздражение и нетерпение еще и потому, что хотел как можно скорее закончить все дела и отправиться к морю с Августой, которая приехала в Лондон и остановилась на Элбермарл-стрит. Ходжсон, отдыхавший в Гастингсе, подыскал им уединенный дом у моря, но только 20 июля Байрон смог отправиться туда. Была еще одна причина его стремления уехать из Лондона. Мэри Чаворт, когда-то его возлюбленная «утренняя звезда Эннсли», собиралась приехать в столицу, и он не желал встретиться с ней в каком-нибудь из лондонских салонов. Вместе с Августой они отправились в Гастингс до ее приезда.
Три недели Байрон был счастлив в этом доме у моря, которое всегда действовало на него оживляюще. Он читал «Уэверли», еще не зная, что произведение принадлежит перу Скотта, и назвал его «самым лучшим и самым интересным романом, который я прочитал в своей жизни». Хобхаус уговаривал его вернуться в столицу и голосовать против правительственного указа об ужесточении ирландских законов, но теперь Байрон находил больше удовольствия в сельской жизни, чем в парламентских дебатах. Он писал Муру: «Я плавал и ел палтуса, занимался контрабандой чистого бренди и шелковых носовых платков, слушал разглагольствования своего друга Ходжсона о выборе хорошенькой жены, гулял среди скал, спускался вниз по холмам и все две недели проводил время в приятном ничегонеделанье. Я встретил сына лорда Эрскина, который женат уже год и называет себя «счастливейшим человеком», поэтому здесь стоит находиться хотя бы ради того, чтобы стать свидетелем совершенного счастья этих лисиц, которые сами отгрызли себе хвосты…»
Однако Байрон втайне готовился покончить с холостяцкой жизнью. Он продолжал получать «красивые и строгие» письма Аннабеллы, но не знал, как на них отвечать. Аннабелла была озадачена, не умея выразить обуревавших ее чувств, и написала Байрону сумбурное письмо, полное скрытого смысла. Ей было так же трудно не выражаться абстрактно, как для Байрона не писать прямо и четко. Аннабелла признавалась в своей симпатии к нему, которую сама считала «несовершенной». Он тут же сел писать ответ, но, вновь прочитав запутанное письмо Аннабеллы, усомнился, что правильно понял ее. «Прошу вас, напишите мне прямо и жестоко. Вы именно тот человек, которого я хотел бы понять правильно». Далее он прибавлял: «…моя память еще довольно хорошая, чтобы не слышать во второй раз, что вы привязаны к другому».