Джордж Гордон, шестой лорд Байрон, родился 22 января 1788 года в скромном лондонском доме. Он от рождения был хромым. Род Байронов берет начало от двух родов британской аристократии, чьи представители отличались ярким темпераментом и бурной жизнью. Хотя впоследствии Байрон часто хвастался тем, что его мать является потомком Якова I, короля Шотландии, его воображение даже больше, чем кажется, будоражила великолепная родословная его предков. Вероятно, первыми представителями рода Байронов в Англии были Эрнегис и Радульфус (Ральф) де Бурун, крупные землевладельцы, жившие на севере страны во времена Вильгельма Завоевателя. О них мало что известно вплоть до времени правления Генриха VIII, когда живописное Ньюстедское аббатство в Ноттингемшире указом короля было даровано сэру Джону Байрону. Его внебрачный сын, «младший сэр Джон с большой бородой», унаследовал титул по велению королевы Елизаветы, которая в 1579 году посвятила его в рыцари; позже он собрал труппу актеров и этим оставил свое имя в истории.
Следующий сэр Джон Байрон, верный, хотя и не очень удачливый командующий войсками Карла I, 24 октября 1643 года стал бароном Байроном Рочдейльским в графстве Ланкастер. Этот лорд Байрон потерял большую часть своего состояния в гражданской войне и последовал в ссылку за Карлом II. В награду за усердную службу король сделал его рогоносцем, поскольку Пепис пишет, что вторая жена лорда Элеонора была семнадцатой любовницей Карла II. Его старший брат Ричард унаследовал титул и выкупил аббатство, конфискованное парламентом.
Уильям, пятый лорд, поступил служить на флот, но потом вышел в отставку и вернулся в Ньюстед, где приобрел скандальную славу благодаря своему весьма неординарному образу жизни. В Лондоне он успел заслужить репутацию повесы. В Ньюстеде он построил небольшой замок на берегу одного из озер, который, по слухам, стал местом, где происходили небывалые вакханалии. Он также построил две укрепленные крепости на берегах озера и устраивал между ними бутафорские бои на маленьких военных кораблях. Его прозвали «Жестокий лорд Байрон» после того, как он убил своего родственника и соседа Уильяма Чаворта на дуэли в лондонском клубе в 1765 году после пьяной ссоры; предметом спора был вопрос: как лучше всего сохранять дичь? Уильям был оправдан пэрами в палате лордов и вернулся в аббатство. В порыве мрачной мизантропии после побега его сына с бедной кузиной старый лорд вырубил в лесах поместья все древние дубы и убил двести семьдесят оленей, туши которых потом продал на рынке.
Брат «Жестокого лорда» Байрона Джон, дед поэта, был не менее колоритной фигурой, хотя и отличался относительной мягкостью нрава. В 1740 году, в возрасте семнадцати лет, он поступил на флот гардемарином. Кораблекрушение, голод и тяготы, подстерегавшие его во время путешествия по Южным морям, были описаны им в «Повествовании», опубликованном в 1768 году. В 1748 году он женился на своей кузине Софии Треваньон, давней близкой подруге миссис Трейл и любимице доктора Сэмуэля Джонсона. До того как Байрону даровали титул вице-адмирала в 1778 году, он повидал так много штормов, что его прозвали «Джек Дурная Погода». Его многочисленные любовные приключения давали богатую пищу для пикантных историй на страницах бульварных газет. Но еще до смерти старого адмирала в 1786 году его старший сын («Безумный Джек») настолько превзошел своего отца по части амурных похождений, скандалов и расточительности, что бывший моряк лишил его наследства.
Отец поэта, родившийся в Плимуте 7 февраля 1756 года, посещал Вестминстерскую школу и французскую военную академию, где изучил язык и вошел во вкус «приятного времяпровождения и мотовства», став притчей во языцех. Некоторое время он служил в британской армии в Америке по назначению гвардии. Но к 1778 году он, по-видимому, отказался от чина капитан-лейтенанта и вернулся в Лондон, чтобы вести жизнь светского человека. В том же году красивый капитан сбежал с утонченной изящной леди Кармартен, женой мистера Фрэнесиса, маркиза, а впоследствии пятого герцога Лидса. Она была единственной дочерью покойного графа Холдернесса, который оставил ей поместье, приносящее 4000 фунтов в год, очень соблазнительный доход, поскольку доходы капитана, а также терпение его семьи порядком истощились. После того как леди Кармартен развелась с маркизом, они поженились и уехали во Францию, чтобы избежать скандала и встреч с кредиторами капитана.