29 февраля миссис Байрон отнесла сына в ближайшую приходскую церковь Мэрилбоун, где его окрестили. Отца ребенка не смогли найти, и она дала сыну имя своего отца, Джордж Гордон. Несчастную женщину постоянно преследовали финансовые проблемы. Ее супруг задолжал 1300 фунтов и, «расплачиваясь по старым долгам, только приобретал новые».
Наконец в марте было подписано соглашение, согласно которому 4222 фунта оставшегося капитала миссис Байрон защищались от дальнейших посягательств кредиторов. Из этой суммы 3000 фунтов переходили в распоряжение опекунов с выделением 5 процентов для миссис Байрон, а оставшиеся 1222 фунта были вложены в поместье с ежегодными процентами 55 фунтов 11 шиллингов. Поместье перешло в пожизненную аренду к бабушке миссис Байрон, Дафф. Летом 1789 года миссис Байрон уехала из Лондона в Абердин, где они с ребенком могли безбедно жить на 150 фунтов, выплачиваемых ей по соглашению.
Вскоре после этого преследуемый кредиторами капитан Байрон снова бежал в Шотландию и в августе переехал в маленькую квартирку, которую снимала его жена на Куин-стрит. В этой тесной квартире и жили Байроны вместе с Агнес Грей, набожной служанкой пресвитерианской веры, которая ухаживала за хромым ребенком. В семье были натянутые, холодные отношения. Капитан уже не являлся хозяином поместья Гайт, где можно было скоротать промозглую шотландскую зиму под пение волынок до полуночи и за стаканом пунша. Самый дружелюбный и бесшабашный человек стал озлобленным и раздраженным. Наконец он успокоился тем, что снял квартиру на другом конце Куин-стрит, иногда заходил к жене и вполне мирно пил с ней чай. Хотя миссис Байрон могла прийти в бешенство, стоило ему лишь заикнуться о деньгах, она порой начинала изображать смехотворные приступы любви к своему Джонни. Такими же вспышками гнева и демонстративной любви впоследствии отличалось ее отношение к сыну, который унаследовал характер своей матери. Когда однажды она отругала его за испачканный костюм, который он только что надел, минуту он молча стоял бледный от бешенства, а потом разорвал одежду на куски.
Часто капитан испытывал родственные чувства к своей сестре, миссис Ли, особенно когда мог получить от нее чек. Если он уезжал, миссис Байрон тосковала. Она находила отдушину в смешанном чувстве ненависти и любви к сыну, который напоминал ей мужа. Поэт вспоминал: «Моя мать, рассердившись на меня (и надо признаться, я давал ей для этого немало поводов), говорила: «Ах ты, щенок, ты настоящий Байрон, такой же дурной, как твой отец!» Но уже в следующее мгновение она покрывала его поцелуями.
Содержание миссис Байрон уменьшилось до 135 фунтов, потому что пришлось заплатить 300 фунтов – долг, который успел сделать ее супруг, находясь в Шотландии. И по-видимому, он вернулся туда еще в сентябре 1790 года, чтобы вытянуть очередную сотню фунтов из суммы, идущей от оплаты аренды поместья бабушкой миссис Байрон. Эти деньги были ему необходимы для возвращения во Францию. После этого его видели в Валансьене, в доме сестры, когда он волочился за служанками и актрисами. Жена и сын больше не увидели его.
Письма капитана Байрона к сестре похожи на те, что его ставший знаменитым сын впоследствии написал из Венеции, где вовсю развлекался на карнавале: «И в кого, ты думаешь, я влюблен? В новую актрису, приехавшую из Парижа. Наверное, я уже влюблялся в треть женского населения Валансьена, особенно меня очаровала девушка из «Красного орла», местного постоялого двора. Я как-то заглянул туда, потому что шел сильный дождь. Очень красивая и высокая, и мне все эти любовные дела еще не наскучили».
В отчаянии миссис Байрон настолько забыла гордость, что обратилась к миссис Ли с просьбой одолжить ей 40 фунтов, потому что ее имущество было описано кредиторами, «все из-за долгов, которые мне пришлось оплатить по вине его расточительности». По-видимому, миссис Ли была тронута этой жалобной просьбой, которая была прислана в конверте, запечатанном красным сургучом с девизом гордых Байронов. Но Джеку Байрону нужны были только деньги для удовлетворения своих прихотей. В письме к сестре 16 февраля 1791 года он высокомерно отзывался о своей супруге и лишь однажды упомянул о сыне: «Что касается миссис Байрон, я рад, что она пишет тебе. Когда находишься далеко от нее, она кажется приятной дамой, но я клянусь всеми апостолами, что ты не проживешь с ней и двух месяцев, потому что если кому и удалось притерпеться к ней, так это мне. Что до моего сына, я рад слышать, что он здоров. Но ходить он не может, потому что нога его искривлена».
