Тем не менее мирное существование в Айвуде нередко нарушалось весьма беспокойным образом. Каролина Лэм была серьезно настроена заставить Байрона заплатить за пренебрежение к своей особе. Он перестал ей писать, однако это не остановило поток ее красноречия. Каролина сообщила, что на пуговицах своей пажеской ливреи выгравировала слова «Не верь Байрону». Кроме того, она подделала письмо Байрона, чтобы получить от Меррея портрет своего бывшего возлюбленного, который, в свою очередь, заказала леди Оксфорд.
Когда в конце января Байрон вернулся в Лондон, то снял комнаты на Беннет-стрит, 4, неподалеку от Сент-Джеймса, и продолжал наслаждаться благосклонностью леди Оксфорд. Он также вращался в обществе принцессы Уэльской и ее приближенных. Поначалу ему было немного скучно с принцессой, и он был уязвлен поведением леди Оксфорд, которая ввела его в этот круг. В райский уголок Айвуда уже проник змей. Позднее Байрон говорил Медвину: «Мне невыносимо расстаться с ней, даже теперь, когда я знаю, что она была неверна мне». В Лондоне леди Оксфорд обратила внимание на других блестящих молодых людей. Это вошло у нее в привычку. Но Байрон слишком долго наслаждался ее безраздельным вниманием, чтобы отнестись спокойно к новым увлечениям своей возлюбленной. А у леди Оксфорд могли быть свои причины для ревности и разочарования. Если верить поздним «заявлениям» леди Оксфорд, то ее друг признал, хотя надо заметить, что он часто преувеличивал свои прегрешения, чтобы напугать ее, будто однажды леди Оксфорд «застала его, когда он заигрывал с ее тринадцатилетней дочерью, и пришла в неописуемую ярость».
Принцесса вскоре заметила трещину в идиллических отношениях «Армиды и Ринальдо». Своей придворной даме она писала: «Бедняжка леди Оксфорд на этот раз влюблена сильнее, чем обычно. Как-то вечером она была у меня и плакала в приемной: так лорд Байрон был суров с ней».
Но, ближе сойдясь с принцессой и перестав чувствовать отчуждение в ее обществе, Байрон завоевал ее сердце своим обаянием и веселостью. Возможно, его привлекли ее несвойственные аристократам естественность, прозаичность. Принцесса же пришла к выводу, что «он совсем другой, когда окружен людьми, которые нравятся ему и которым он сам нравится…».
Если порой Байрон и бывал раздраженным, то это потому, что в Лондоне его настигли неприятные известия. Клотон продолжал затягивать выплату денег за Ньюстед, в то время как самого Байрона осаждали кредиторы, узнавшие о продаже поместья. Хэнсон отговорил его от разрыва отношений с Клотоном, боясь, что во второй раз невозможно будет продать Ньюстед по столь выгодной цене. Больше всего Байрон мучился от своего бессилия, сознавая невозможность помочь друзьям, которые обращались к нему. Наконец он подписал долговое обязательство с Ходжсоном на сумму 500 фунтов, но не смог помочь своей сестре, чей супруг-игрок довел семью до бедственного положения.
Если бы леди Оксфорд не посоветовала ему вернуться к своим государственным обязанностям, Байрон с радостью бы не появлялся в парламенте. В феврале он побывал на нескольких слушаниях в палате лордов, но речи быстро наскучили ему. К концу марта он написал Августе, что «больше не намерен появляться на политической арене». Байрон с тоской продолжал оглядываться на свою юность и вспоминать романтические мечты, которые преследовали его во время бесцельных скитаний за океаном. Августе он признавался в своем полном поражении в жизни: «Возможно, ты слышала, что я глупо тратил время с разными «царственными особами», но чего еще можно ожидать от меня? У меня всего один родственник, которого я почти не вижу. У меня нет привязанностей, а к браку не имеется ни таланта, ни склонности».
По-прежнему величайшей мечтой Байрона оставался побег из Англии, который мог осуществиться по трем направлениям. Леди Мельбурн он говорил: «О первом вы знаете (поехать вместе с Оксфордами или за ними); второй – персидский план Слиго… Еще Хобхаус предлагает поехать на Восток или в Россию…» Тем временем в конце марта Байрон вновь с радостью вернулся под сень Айвуда вместе с леди Оксфорд. В столице Каролина Лэм докучала ему желанием встретиться. Ему удалось отделаться от нее, предложив встречу в присутствии леди Оксфорд. После этого Каролина стала требовать прядь его волос. Он удовлетворил ее просьбу поистине дьявольским образом: послал ей прядь волос леди Оксфорд.
