В 1795-м или 1796 году Байрон провел каникулы в долине реки Ди в сорока милях от Абердина, рядом с Брэмаром. Живописная долина Ди располагала к прогулкам, а вдалеке открывался вид на Морвен и Локна-Гар. Именно там Байрон влюбился в шотландские горы и долины. Он носил национальный наряд клана Гордонов из темно-синей шерстяной ткани в светло-зеленую с желтым клетку. Если не считать одной вспышки гнева, мать относилась к Байрону хорошо и не стесняла его свободы. У него была возможность упражняться в плавании в реках Ди и Дон. Впоследствии плавание, где хромота не была помехой, стало его любимым видом спорта.
Из Англии пришло известие, что пятый лорд Байрон скончался. Произошло это вскоре после десятого дня рождения мальчика. На следующий день ему сообщили, что теперь он шестой лорд Байрон Рочдейльский, после чего он спросил у матери, «заметила ли она происшедшие с ним перемены, потому что он сам не заметил никаких». Смущение он испытал в школе, когда директор прислал за ним, дал ему пирог и вино и сказал, что теперь он лорд. Позже Байрон рассказывал своему другу Хобхаусу, что «угощение и почтительное обращение к нему директора дали ему почувствовать всю высоту его теперешнего положения». Когда в классе без предупреждения произносили его новый титул «Dominus de Вуron» и все в молчании глядели на него, мальчик разражался слезами.
Лондонский агент миссис Байрон, мистер Фаркухар, попросил своего друга Джона Хэнсона с Чэнсери-Лейн заняться ее делами. После переговоров с душеприказчиком старого лорда Хэнсон понял, что миссис Байрон напрасно надеется получать от поместья ежегодный доход в 2000 фунтов: после уплаты всех долгов не на что будет даже похоронить старого лорда. Он умер 21 мая, но только в августе Байроны смогли закончить все дела в Шотландии и начать новую жизнь в Англии. Они смогли переехать туда только благодаря тому, что миссис Байрон продала свою мебель, выручив 74 фунта 17 шиллингов.
Несмотря на романтические воспоминания Байрона о Шотландии, невозможно узнать, какие чувства испытывал юный лорд, покидая родину. В 1813 году он записал в дневнике: «Я совсем не отличался от других детей: был не высок и не мал ростом, не скучен и не остроумен, был даже довольно жизнерадостным, и, только когда накатывала тоска, я становился сущим дьяволом». И все же в нем были и мягкость, и застенчивость, и искреннее желание приносить радость другим и быть любимым. Он мог быть прекрасным спутником, несмотря на то что был испорченным ребенком. Позднее он с ностальгическим чувством вспоминал счастливые годы детства в Шотландии. Он писал, что при звуке слов из песни «Auld Lang Syne»:
В Шотландии родился я и рос,
И потому растроган я до слез… —
(«Дон Жуан», перевод Т. Гнедич)
вся Шотландия вставала перед его глазами.
В четырех милях к югу от Мэнсфилда, на опушке Шервудского леса, в 130 милях от Лондона, на Большой северной дороге однажды произошло следующее: дилижанс из Абердина с тремя пассажирами остановился у Ньюстедской заставы. Миссис Байрон, испытывая удовольствие от наблюдаемого, спросила, что за знатный господин жил в этом поместье. «Покойный лорд Байрон», – ответила женщина у ворот. «А кто наследник?» – гордо спросила мать. «Говорят, маленький мальчик, который живет в Абердине». Мэй Грей, служанка миссис Байрон, воскликнула: «Это он, да благословит его Господь!» – и поцеловала смущенного маленького лорда. Они проехали две мили по дороге, окаймленной унылыми пнями когда-то величественных дубов, рядами пустых ферм, пока перед ними не возникли серые стены старого аббатства на берегу озера. Развалины готической церкви придавали романтический ореол мощной крепости.
Обойдя фонтан, перенесенный родоначальниками Байронов из монастырского двора и помещенный перед входом в замок, молодой лорд и его мать были встречены мистером и миссис Джон Хэнсон, лондонским агентом миссис Байрон и его супругой. Глядя на парк и просторные, но угрюмые залы, они еще больше укрепились в желании поселиться здесь. Но адвокат пытался отговорить их под тем предлогом, что в задней части здания просела крыша, а большая монашеская гостиная и величественная трапезная были набиты сеном для скота, который нашел приют в холле.
