От скуки Саутвелла Байрона спасла встреча с семьей Пигот, жившей по соседству. Элизабет Пигот, девушка старше его на несколько лет, впервые увидела его на празднике, устроенном ее матерью, где его приходилось упрашивать принять участие в играх, потому что сам он был слишком застенчив. Элизабет он запомнился «толстым застенчивым мальчиком с гладко зачесанными волосами». Но когда он пришел к ним на следующий день, Элизабет удалось растормошить его и заставить чувствовать себя как дома.
Однако на следующий день он уехал в Хэрроу. В письме к матери звучит небывалое для него честолюбие: «…передо мной лежит путь к богатству и славе. Я поднимусь на вершины успеха или погибну в этой борьбе». Всем было ясно, на каком поприще он хочет удовлетворить свои честолюбивые стремления. Он мечтал стать оратором в парламенте. Во время лондонских каникул он влюбился в театр, особенно в монологи знаменитых актеров, и даже ходил в палату общин, чтобы послушать выступления политических деятелей. В своих самых смелых мечтах он видел себя последователем Берка и Шеридана. В Хэрроу его теперь интересовали только публичные выступления. Он так упорно готовился к ним, что заслужил похвалу доктора Друри, который, как Байрон вспоминал потом, «свято верил, что я стану прославленным оратором, если судить по моему голосу, жестам, яркой декламации, страстности и плавности речи».
«До последнего года я ненавидел Хэрроу, но потом мне тут стало даже нравиться», – писал Байрон в 1821 году. Он жадно читал и был полон самых разных мечтаний. Его знания «были так широки и многообразны, что возбуждали подозрение, будто я собирал информацию только из рецензий, потому что за книгой меня никто не видел, ведь я всегда был беззаботным и проказливым. Правда состоит в том, что я читал за едой, читал в постели, читал тогда, когда никто больше не читает; с пяти лет я прочитал множество самых разных книг».
Вероятно, Байрон, как доктор Джонсон, «выхватывал из книг самую суть». В кембриджском дневнике он набросал список книг, прочитанных им до пятнадцати лет. Он упоминает «Исповедь» Руссо, жизнеописания Кромвеля, Карла XII, Екатерины II, Ньютона и дюжины других; книги по юриспруденции Блэкстона и Монтескье; книги по философии Пэйли, Локка, Бэкона, Хьюма, Беркли, Драммонда, Битти и Болинброка («Гоббса я терпеть не могу»); поэзию – упоминает «всех британских классиках и большинство современных поэтов, Скотта, Саути и других, некоторых французских поэтов в оригинале, из которых Сид мой самый любимый; немного из итальянской поэзии, бесчисленное количество стихов греческих и римских поэтов; по богословию – Блэра, Портея, Тиллотсона, Хукера – очень утомительно». В 1803 году он открыл для себя поэзию Александра Поупа, которая оказала большое влияние на его литературные вкусы. Байрон пишет, что прочитал около четырех тысяч романов, включая произведения Сервантеса, Филдинга, Смоллетта, Ричардсона, Генри Макензи, Стерна, Рабле и Руссо. Прочитав после смерти Байрона этот внушительный список, его друг Хобхаус написал: «Я склонен верить словам лорда Байрона о том, что он прочитал все эти книги, но точно могу сказать, что он никогда впоследствии не давал понять, какими знаниями владеет».
Летом Саутвелл показался Байрону более приятным. С помощью семьи Пигот он сошелся с другими жителями города, включая молодых леди, которые жаждали познакомиться с ним. Несмотря на все попытки быть терпимым, Байрону не удавалось справиться с приступами бешенства своей матери. «В детстве она испортила меня, – писал Байрон Августе, – а теперь переменилась: по любому пустяку она устраивает страшный скандал, и все разговоры с ней кончаются ссорой, когда речь заходит о предмете моего искреннего и постоянного презрения, лорде Грее де Рютине. Как-то она обронила такую странную фразу, что я подумал, уж не влюбилась ли вдова в лорда».
В любую свободную минуту Байрон приходил к семье Пигот. Элизабет участливо относилась к мальчику, хотя и без особого интереса. С ней не приходилось изображать пылкого поклонника и можно было быть искренним и откровенным. Они обменивались книгами и писали другу чуть хвалебные и чуть романтические стихи. В их отношениях преобладала нежность, смешанная с кокетством. И все же Байрона не оставляли мучительные мысли о Мэри Чаворт. По всей видимости, он опять возвращался в Ансли и тайно встречался с ней. Позже он говорил Медвину: «Я был серьезен, а она капризна. Она любила меня как младшего брата, смеялась надо мной и обращалась со мной как с мальчишкой». Они расстались на холме неподалеку от Ансли, который он так поэтично описал в стихотворении «Сон» («…увенчан диадемой деревьев»). Мэри собиралась замуж, и ее мысли были далеко. Отчаяние и душевная боль чуть не свели Байрона с ума. Когда мать, уязвленная колкими замечаниями насчет лорда Грея, сказала, что его детская любовь Мэри Дафф вышла замуж, у него начался припадок.
