Байрону не удалось поговорить с Аннабеллой, но он все же обратил на нее внимание. Позже он говорил Медвину: «Во внешности мисс Милбэнк было что-то оригинальное и запоминающееся. Черты ее лица изящны и женственны, хотя и не отличаются правильностью. У нее необычайно светлая кожа. Сложена она превосходно для своего роста, и в ней есть простота, скромная сдержанность, приятно контрастирующая с наигранной искусственностью и суровостью, навязываемых модой. Она очень заинтересовала меня».
Однако в настоящее время его мысли были заняты Каролиной Лэм. Вначале он опасался, что будет для нее очередной прихотью, чтобы потешить самолюбие. Он преподнес ей розу и гвоздику, произнеся с иронической улыбкой, которая скрывала его истинные чувства: «Говорят, вашей светлости нравится все новое и необычное». Импульсивность Каролины одновременно восторгала и смущала Байрона. С этого дня они стали постоянно писать друг другу письма и стихи. Байрон был поражен ее щедростью и небрежностью. Роджерс вспоминал: «Она совершенно пленилась им… Она говорила, что если ему понадобятся деньги, то все ее драгоценности к его услугам. Настолько безумной была ее страсть к Байрону, что иногда, не получив приглашения на бал, где будет он, она терпеливо ждала его на улице!»
Существуют, однако, свидетельства того, что любовное приключение не полностью захватило Байрона. Он пользовался всеобщей популярностью и наслаждался вниманием многих женщин, с которыми вел себя вежливо, но ничего не обещая. Графиня Девоншир писала своему сыну Августу Фостеру в Вашингтон: «Сейчас предметом восхищения, любопытства и постоянного внимания являются не Испания и Португалия, не воины и патриоты, а лорд Байрон!..
«Чайльд Гарольд» есть в каждом доме, и, как только сам автор появляется, его немедленно обласкают, воспоют ему дифирамбы и скажут что-нибудь угодливое». Перед домом Байрона на Сент-Джеймс-стрит движение было затруднено из-за множества экипажей, подъезжающих к нему с приглашениями. «Гениальный талант автора, – говорил Роджерс, – его молодость, титул, романтические скитания по Греции, – все это вместе заставило свет преклоняться перед «Чайльд Гарольдом» и Байроном. Мне известно, что две старые служанки в Букингемском дворце плакали над строками «Чайльд Гарольда», где говорилось о «смеющихся девушках», которые «удовлетворяли юношеские страсти Гарольда».
Даже скромная и упрямая Аннабелла Милбэнк легко оказалась очарована автором. На вечере в доме леди Купер, дочери леди Мельбурн, она первая заговорила с ним. Матери Аннабелла писала: «У меня есть достаточно свидетельств его доброты. Тебе известно, как легко самому благородному сердцу соблазниться злом… Лорд Б., несомненно, очень интересен, и я тронута тем, что он хочет, чтобы к нему относились со спокойным снисхождением». Аннабелла не сознавала своей судьбы, когда в дневнике писала: «Я убеждена, что он глубоко раскаивается в содеянном зле, хотя без посторонней помощи у него не хватает решимости, чтобы в корне изменить себя».
Байрон обладал свойственной женщинам чувствительностью к доброму отношению и необыкновенной способностью представать перед собеседником с той стороны, которая того, несомненно, привлечет. Об этом можно судить по его дружбе с такими разными персонажами, как Хобхаус и Том Мур, Даллас и Дэвис, боксеры-чемпионы, служанки и графини. Инстинктивно Байрон стремился оказаться на равных с наивной, чистой мисс Аннабеллой. Она чувствовала, что глубже понимает Чайльд Гарольда, чем те женщины, которые набрасывались на него, когда он на вечере внезапно спрашивал: «Как вы думаете, есть здесь хоть один человек, который посмеет заглянуть в себя?» Позже, вспоминая об этом, Аннабелла писала: «Мне он казался самым притягательным человеком из всей толпы, но я не чувствовала привязанность к нему, пока он не произнес эти слова, обращенные не ко мне: «Во всем мире у меня нет ни единого друга!»… Я втайне поклялась стать преданным другом этого одинокого существа». 26 апреля Аннабелла написала матери: «Я считаю, что бесчеловечно и не по-христиански отказывать Байрону в удовольствии находиться в моем обществе. Он для меня не опасен. Не могу поверить, что он атеист: Бог живет в его сердце».