Вполне вероятно, что бесшабашный Байрон был по-своему верен богатой наследнице, потому что они прожили во Франции до самой ее смерти 26 января 1784 года. Она родила ему троих детей, двое из которых умерли в младенчестве, а выжила только последняя дочь, Августа, единокровная сестра поэта, которая родилась в 1783 году. Позднее поэт так ответил на обвинение, предъявленное его отцу, в том, что «бессердечное поведение» последнего причинило его жене много горя и свело ее в могилу: «Помимо своей бессердечности, он, согласно свидетельствам тех, кто знал его, отличался еще добродушием и веселым нравом, однако был беспечен и развращен… Отнюдь не из-за своего «бессердечия» молодой офицер гвардии соблазнил и увез маркизу, женился на двух наследницах. Верно и то, что он был очень красивым мужчиной, что говорит само за себя».
Очень скоро капитан Байрон достаточно оправился от своей потери и влез в бесчисленные долги, чтобы покинуть беспечный и веселый Париж в поисках очередной богатой наследницы. Зная, что зажиточные дома Бата представляют собой благодатные охотничьи угодья для поисков знатной невесты, он весной 1785 года появился в этом городе, блистая утонченными французскими манерами и безукоризненным произношением. Он повстречал и вскоре вскружил голову Кэтрин Гордон оф Гайт. Хотя ее состояние более чем в 23 000 фунтов, «удвоенное в устах сплетников», было не самым большим на брачном рынке Бата, но зато оно явилось самым доступным для пресыщенного обходительного капитана. Кэтрин Гордон была неопытной двадцатилетней шотландкой. Молодая, но довольно простоватая и неотесанная неуклюжая провинциалка с сильным шотландским акцентом. Великолепный танцор капитан Байрон вскружил бедной девушке голову и 13 мая 1785 года во второй раз сочетался браком с наследницей.
Род семьи Гордон, принадлежностью к которому так гордилась Кэтрин, брал свое начало в 1490 году, когда сэр Уильям Гордон продал своему старшему брату земли в Абойне в обмен на поместье Гайт в долине реки Итан в тридцати милях к северу от Абердина. Сэр Уильям был третьим сыном Джорджа, второго графа Хантли, от его второй супруги принцессы Аннабеллы Стюарт, дочери Якова I, правителя Шотландии.
Гордоны-Гайты прославились среди всех шотландских землевладельцев дерзким нравом, неприятием закона и порядка. Войны между шотландцами и англичанами дали Гордонам шанс заняться масштабными набегами и грабежами. Подобно Байронам в Англии, они были роялистами и совмещали политику с нарушениями закона. К началу XVIII века избрание более-менее постоянного правительства, охладившего горячую кровь кланов, постепенно превратило Гордонов из Гайта в более допропорядочных граждан.
Одиннадцатый землевладелец стал отцом четырнадцати детей, прежде чем утонул в реке Итан в 1760 году при обстоятельствах, весьма напоминающих самоубийство. Двенадцатый законный наследник поместья, Джордж Гордон, воспитал трех дочерей, но из них на свете осталась одна Кэтрин после смерти отца в 1779 году, который оставил ей приличное состояние, древний замок и причудливое сочетание в ее характере наследственных черт.
Невеста капитана Байрона не могла предложить взамен ничего, что бы сгладило ее простоватую внешность и заметно раскачивающуюся походку. Она была воспитана бабушкой Маргарет Дафф-Гордон, весьма набожной, но невежественной старухой. Кэтрин обожала сплетни и была подвержена приступам меланхолии, за которыми следовали взрывы бурной страсти, выплескивающиеся наружу в виде отборных эпитетов на ее родном шотландском диалекте. Сэр Вальтер Скотт вспоминал, как однажды, еще до замужества, Кэтрин Гордон в эдинбургском театре начала истерически хохотать при виде игры миссис Сиддонс в «Роковом браке», «ужасая зрителей отчаянными и дикими криками «О мой Байрон!» в подражание героине миссис Сиддонс Изабелле. Примечательно, что тогда эта леди еще не встречалась с капитаном Байроном».
Хотя письма миссис Байрон часто были открытыми и смелыми, когда предмет разговора ее особенно волновал, стилистика и грамматика выдавали вопиющую безграмотность. И несмотря на это, она жадно читала, обладала острым критическим умом, порой осуждая стихи своего сына, и либеральными взглядами.