Такими были воспоминания леди Байрон о первых событиях и словах их семейной жизни, которые она записала сама или поведала своим друзьям. Байрон, слышавший часть этих обвинений, говорил Медвину: «Когда мы садились в карету, меня обвинили в том, что я женился на леди Байрон «назло», оттого что она дважды отказала мне… Я возразил. И если бы я был настолько груб, как утверждает леди Байрон, то она немедленно покинула бы экипаж… На это у нее бы хватило смелости, и она подобающим образом сумела бы ответить на оскорбление. Наш медовый месяц не был безоблачным, на семейном небосклоне появлялись тучи, но ни у кого он не был столь плохим».
Только после наступления темноты новобрачные прибыли в Халнаби-Холл. Слуги собрались поприветствовать их. Но Байрон, смущаясь своей хромоты, оставил Аннабеллу одну. Этой оплошности она впоследствии придала небывалое значение. Должно быть, Байрону удалось успокоить жену тем безмолвным способом, который оказался так эффективен во время первого визита в Сихэм, потому что Мур говорил Хобхаусу, что Байрон вспоминал в своих мемуарах, как «он до ужина уложил леди Б. на диван в первый день их совместной жизни».
Ужин и вино помогли скоротать вечер, и Байрон был приятно удивлен домашней библиотекой, уютной гостиной, окна которой выходили на юг. Однако его тон вновь стал горьким и негодующим. Еще в пути начался снегопад, и Байрон понял, что простудился, – естественно, это не обрадовало его. Стесняясь своей ноги, он всегда спал отдельно от своих любовниц, и теперь стыд сделал его жестоким, или так показалось Аннабелле, которая вспоминала: «Он с отвращением спросил меня, буду ли я спать с ним в одной постели, сказал, что ненавидит спать с женщинами, но что я могу поступать так, как мне захочется». И вновь он сумел успокоить ее или убедить, что его раздражение скоро пройдет, потому что наконец они уединились за алым пологом, прикрывающим постель. Проснувшись и увидев огонь камина за красной тканью, Байрон, глядя на жену, подумал, что «находится в аду с Прозерпиной рядом». Байрон признался Хобхаусу, что в первую ночь его охватил прилив грусти, и он встал с постели. Когда же наконец вернулся, то пролежал в кровати до полудня.
Утром Байрон выглянул в окно и увидел заснеженный парк и замерзшее озеро. Когда он спустился в библиотеку, то понял, что Аннабелла опять обиделась на его пренебрежение. Она чуть не плакала, но он сказал с иронией, возможно решив, что она уже сожалеет о браке: «Теперь слишком поздно, я ненавижу сцены». Позднее Аннабелла вспоминала: «Я изо всех сил пыталась притворяться веселой и улыбаться, чтобы вызвать в нем самые лучшие и великодушные чувства».
Аннабелла была влюблена в Байрона и легко прощала его, стоило ему повести себя мягче. Ее пугала лишь его непредсказуемость, и она не понимала, что его часто злила ее собственная чопорность. Когда она вела себя естественно и переставала быть безупречной мисс Милбэнк, вместе им было весело и хорошо. Байрон искренне радовался и называл ее душкой из-за круглого румяного лица. А она называла его милым гусем, ласковым прозвищем, вероятно предложенным Августой. Байрон и не подозревал, как жену пугали его меланхолия и резкие перепады настроения. Часто она казалась ему приятным и умным спутником, с которым легко находиться рядом. 7 января Байрон написал леди Мельбурн: «Мы с Белл пока уживаемся очень хорошо в обществе друг друга… Очень надеюсь, что наш брак окажется удачным».
Байрон с Аннабеллой много времени проводили в библиотеке за чтением и обсуждением книг. Байрон вновь вернулся к работе над «Еврейскими мелодиями», которые по просьбе Дугласа Киннэрда обещал Исааку Нейтану, который сочинял музыку по мотивам традиционных мелодий синагог. В октябре Байрон написал девять или десять стихотворений, «частью основываясь на сказании об Иове и частью на своей собственной фантазии». Печальные жалобные строки Ветхого Завета странно отозвались в душе Байрона. Некоторые стихи, включая «Плач Ирода по Мариамне» и «У вод вавилонских, печалью томимы…», были написаны в Халнаби, и леди Байрон, несомненно довольная, что талант ее супруга обратился к библейским мотивам, своим аккуратным почерком переписывала их.