В искренних письмах Байрона, написанных в начале января, нет и тени раздражения. Однако чрезмерная чувствительность обоих супругов портила их отношения. Обидчивость Аннабеллы усиливала в Байроне чувство вины оттого, что он женился на ней. Моменты нежности не могли умалить тревоги Аннабеллы, когда у Байрона были кошмары по ночам и он вставал и бродил по дому с кинжалом и пистолетом в руке, словно ожидая нападения. Однажды ночью, вспоминала Аннабелла, он вернулся к ней очень усталый и изнуренный. Желая «успокоить его», она положила голову ему на грудь. Он нежно, но горько произнес: «У тебя должна быть более мягкая подушка, чем мое сердце».
Больше всего Аннабеллу огорчали постоянные намеки Байрона на преступления, от которых она могла бы его спасти, если бы вышла за него раньше. Он говорил: «Я поступил подло, женившись на тебе. Я мог бы убедить тебя в этом в двух словах». Когда она невинно спросила, знает ли об этом Августа, он пришел в ужас и волнение и сказал: «Ради бога, не спрашивай ее». Словно человек, неодолимо влекомый к краю пропасти, Байрон постоянно намекал на предмет, мучивший его.
Байрон так нежно говорил о своей сестре, что Аннабелла написала ей и пригласила ее погостить. Августа не могла оставить детей, но прислала теплый ответ: «Не могу выразить, как сильно я желаю счастья тебе и моему милому Байрону». Она пыталась убедить Аннабеллу правильно воспринимать переменчивое настроение ее супруга. Но Аннабелла еще больше раздражала его своей кроткой преданностью и готовностью к «самопожертвованию». Когда он обвинил себя в ужасных преступлениях, она вместо того, чтобы высмеять его, как Августа, ответила, «что это будет и моей ношей», и попросила его позволить «разделить с ним его вину».
Порой Аннабелла была весела и смягчала Байрона настолько, что он спокойно мог говорить о своей «маленькой ноге», страстно восклицая, что в Судный день его вина должна быть смягчена, потому что он часто мечтал отомстить Небесам за свое увечье. Аннабелла поняла, что его вольтеровский скептицизм, который до свадьбы она считала причиной его дьявольских ужимок, оказывал на Байрона лишь поверхностное влияние, в то время как глубоко укоренившийся в его душе мрачный кальвинизм убеждал его, что большинство людей, и он сам в особенности, носят на себе печать Каина и обречены на проклятие. Истощив весь запас убеждений, остроумия и насмешек в попытке доказать несостоятельность религии, Байрон часто яростно говорил: «Самое ужасное, что я все-таки верю».
Как впоследствии с горечью убедился Байрон, Аннабелла очень хорошо могла объяснять причины его слабостей, но это не шло на пользу их отношениям. Несмотря на проницательность, ей не хватало тонкости чувств более общительной Августы. Аннабелла была готова угодить мужу и искала скрытый смысл в каждом его слове и жесте. Иногда он с раздражением и жалостью говорил: «Если ты не будешь обращать внимания на мои слова, то у нас с тобой все будет хорошо». Поняв, что Аннабелла воспринимает все буквально, он стал пользоваться ее доверчивостью в недобрых целях. Он заявлял, что она вышла замуж за изгнанника из рая или что его влечет неодолимая злая сила и он кончит, как и Зелуко, тем, что удавит свое дитя.
Вместо того чтобы высмеять его предрассудки, Аннабелла выказывала свой ужас, что еще больше распаляло Байрона. Она почувствовала облегчение, когда было принято решение вернуться в Сихэм после почти трех недель в Халнаби. Мнимым предлогом для такого раннего отъезда было то, что ее родители хотели, чтобы Байрон отметил свой день рождения, 22 января, с ними. Они собирались уехать 20-го, но когда Байрон узнал, что это пятница, то наотрез отказался уезжать до следующего дня. Увидев слабую улыбку Аннабеллы, он с кажущейся серьезностью заявил, что пятница – святой день у мусульман, который он соблюдает. Но когда они отправились в путь в субботу, Байрон был в хорошем настроении, полагая, что его отношения с женой вполне сносные. Глядя на нее, он произнес: «Думаю, ты хорошо знаешь, каких тем нужно избегать».
В Сихэме они оба почувствовали, что с их плеч свалился груз напряжения первых недель семейной жизни. Аннабелле уже не приходилось оставаться наедине с Байроном в его, как она позже определила, «черные дни», а он иногда забывал, что она его жена, и считал ее союзником в борьбе против скучных родителей и рутинной жизни в поместье. Нельзя сказать, что Байрон совершенно не уважал родителей Аннабеллы. Он мог скрупулезно соблюдать этикет, находясь в добром расположении духа, и легко завоевал расположение новых родственников и их гостей.