Что касается веселых и смеющихся «куртизанок» в аббатстве, как всему свету сообщил Байрон в «Чайльд Гарольде», то, возможно, это были служанки, скрашивавшие его одиночество. «Комната с привидениями», маленькая комната, прилегающая к спальне Байрона наверху, в которой, поговаривали гости, появлялась фигура монаха без головы, была занята Робертом Раштоном, красивым юношей, слугой Байрона.
Байрон постоянно торопил Хэнсона со сбором денег для поездки. 16 апреля он написал из Ньюстеда: «Если бы последствия моего отъезда из Англии были в десять раз плачевнее, чем вы пишете, все равно есть обстоятельства, делающие мой скорейший отъезд неизбежным». Байрон купил билет на пароход, отходящий б мая из Фалмута, и умолял Хэнсона поторопиться со сбором средств на «любых условиях». Манера, с какой Байрон пишет о своем стремлении уехать как можно скорее, более предполагает какую-то личную причину, нежели финансовое бессилие кредиторов. Позднее, в Греции, он вновь обратился с своему странному побегу из Англии и нежеланию возвращаться туда. Он уверял Хэнсона, что это отнюдь не страх перед последствиями, которые может произвести его сатира. «Если повезет, я никогда не вернусь в Англию. Почему? Пусть это останется в тайне». Эти смутные намеки, так непохожие на хвастливые рассказы о проделках с «нимфами» в Лондоне или откровенные признания Хэнсону о шалостях с Люси, наводят на размышления о том, что Байрон хотел убежать от своего влечения к юношам или даже боялся сблизиться с Эдлстоном, хористом из Кембриджа, который хотел поселиться с ним в Лондоне. Как бы там ни было, истинной причины мы, вероятно, никогда не узнаем.
25 апреля Байрон прибыл в «Батт-отель» на Джермин-стрит, чтобы узнать новости о своей сатире и получить деньги на путешествие. Некий мистер Собридж предлагал ему взаймы 6000 фунтов, однако переговоры должны были затянуться до июня и пришлось бы отложить поездку. Байрон был окрылен успехом поэмы и уже готовил второе, дополненное издание, на котором собирался указать свое имя. Однако бодрое настроение чередовалось с приступами отчаяния. Байрон дважды побывал на публичных выступлениях в Хэрроу. Его друг лорд Фолкленд был убит на дуэли, и Байрон, чтобы помочь вдове, наделал еще больше долгов, положив в чашку в доме леди Фолкленд 500 фунтов, которые она заметила только после его ухода.
С друзьями по Кембриджу Байрон был остроумным и жизнерадостным. Цинизм и беспечный фатализм Хобхауса, Мэттьюза и Дэвиса нравились ему больше, чем лицемерное ханжество общества. Он пригласил в путешествие Хобхауса и Мэттьюза, но только Хобхаус, который поссорился с отцом, принял приглашение, не имея на это средств. Однако Байрон, у которого было больше 13 000 фунтов, предложил снабдить Хобхауса всем необходимым.
В предвкушении путешествия Байрон раздражался, если отъезд затягивался по финансовым причинам. Он написал Хэнсону: «…добудьте мне три тысячи фунтов. Если возможно, продайте в мое отсутствие Рочдейл, выплатите ежегодную ренту и мои долги, а с остальным поступайте по своему усмотрению, только дайте мне уехать из этой проклятой страны. Клянусь, что лучше стану мусульманином, чем вернусь обратно». Ожидая заема от Собриджа, Байрон продолжал пользоваться услугами ростовщиков, обещавших в течение семи лет ежегодно выплачивать ему по 400 фунтов.
К 19 июня терпение Байрона истощилось, и он объявил о своем отъезде. Вместе с Хобхаусом он отправился в Фалмут в сопровождении слуг и багажа. Он взял старого Джо Меррея, Уильяма Флетчера, своего верного слугу, который служил хозяину до его кончины в Миссолонги, и Роберта Раштона, который, «подобно мне, кажется одиноким созданием», как говорил Байрон матери. Возможно, в Лондоне Байрон и Роберт позировали для портрета Сэндерса в широких галстуках.
Из Фалмута Байрон написал матери: «Я разорен, по крайней мере до продажи Рочдейла; и, если это не удастся, придется пойти на службу к австрийскому или русскому двору, а может быть, турецкому, если мне понравятся манеры турок. Весь мир лежит передо мной, я без сожалений покидаю Англию и не хочу видеть никого и ничего там, кроме тебя и твоего дома». Миссис Байрон, которая в отсутствие сына поселилась в Ньюстеде, писала Хэнсону то, что не осмеливалась сказать сыну: «Лорд Грей де Рютин женился на дочери фермера, а Смит Райт собирается жениться на леди с двумястами тысячами фунтов дохода!»