Первые месяцы в школе, когда приходилось защищать себя от нападок, были тяжелы для Байрона, и он возненавидел школу. Он называл себя ленивым, но «способным на внезапное усердие, которое, однако, длилось недолго». В конце июня доктор Друри перевел его в четвертый класс вместе с Пилем и Лонгом.
Летние каникулы принесли долгожданное облегчение. Миссис Байрон оставила квартиру на Слоун-Террас и сняла вместе с миссис Массингберд комнаты на улице Пикадилли, 16. Сын время от времени навещал ее, но большую часть времени проводил с Хэнсонами. Врачи Бэйли и Лори изготовили для него специальный ботинок с креплением вокруг лодыжки и продолжали бинтовать мальчику ногу. Хэнсон убедил суд лорда-канцлера выделить 500 фунтов в год на образование Байрона, которые будут ежеквартально выплачиваться его матери, чье содержание уменьшилось с 300 до 200 фунтов. С увеличением расходов на образование сына и удовлетворение его потребностей финансовое положение его матери стало более затруднительным.
В Хэрроу Байрон не заботился о том, чтобы надевать специальный ботинок, и часто забывал сделать это. Он ни в чем не хотел отставать от других учеников. Он занимался всеми видами спорта и стал хорошим игроком в крикет. У него появилось много друзей. Он был обаятельным, щедрым с теми, кто ему нравился, и стремился понравиться всем. Все его прежние друзья были из простых семей. Однако среди его протеже и новых друзей встречались графы и герцоги. Позже он называл графа Клэра и герцога Дорсета «моими любимцами, которых я испортил излишней снисходительностью».
Рождественские каникулы Байрон провел с матерью, но часто появлялся у Хэнсонов. Возможно, в это время он встречался с единокровной сестрой Августой. Она была старше его на пять лет, и он прежде никогда ее не видел. Миссис Байрон написала ей, что «Байрон часто говорит про тебя самым лучшим образом».
После каникул Хэрроу уже не казался Байрону таким чужим. Юношеское стремление к стихотворчеству охватило молодого Байрона. Нежные чувства и грустные мысли, испытываемые им, нашли обильную пищу в церковном дворе Хэрроу, где он часами сидел под вязом на плоской могильной плите из синего известняка, под которой покоился прах Джона Пичи, эсквайра с острова Святого Кристофера. Именно там, на вершине холма, с которого открывался вид на долины и миддлсекские холмы, он предавался мечтаниям или думал о быстротечности человеческой жизни, имея в виду смерть своей прекрасной кузины Маргарет Паркер. Почему «смерть избрала ее своей жертвой»?
Каждодневные переводы с древних языков становились все более утомительными, «я ненавидел этот школьный ад, где мы латынь зубрили слово в слово. И то, что слушал столько лет назад, я не хочу теперь услышать снова, чтоб восхищаться тем, что в детстве так сурово». Байрон искал отдушину в шалостях, чем вызвал нарекания у Генри Друри. И наставник и ученик были рады каникулам. Байрон навестил мать, вернувшуюся в родной Бат. Надеясь вновь пережить радостное время своей юности, она взяла его на маскарад. Вероятно, под впечатлением книг о путешествиях, прочитанных им в Абердине, он нарядился в турецкий костюм. 19 января миссис Байрон была вынуждена написать Хэнсону: «Байрон решительно отказывается возвращаться в Хэрроу и опять становится учеником Генри Друри». Но в конце концов в феврале он согласился вернуться при условии, что его наставником будет мистер Эванс.
Дружба Байрона с графом Клэром, которому было тогда всего лишь одиннадцать лет, началась именно в тот год и длилась всю жизнь в ореоле романтического идеала. Байрон писал: «Моя дружба была очень страстной, но вряд ли я вспоминаю сейчас о ком-нибудь из друзей. Однако знакомство с лордом Клэром началось раньше и длилось дольше всего…»
23 июня 1803 года Байрон написал матери: «Сегодня меня перевели в старший класс, и мои отношения с доктором Друри наладились». Директор начал ценить характер Байрона. Он говорил лорду Карлайлу: «Он талантлив, ваше сиятельство, что прибавляет еще больше блеска его титулу». Ответ опекуна был краток: «Вы правы!»
Адвокату Хэнсону наконец удалось сдать Ньюстед в аренду на пять лет лорду Грею де Рютину, молодому двадцатитрехлетнему человеку, за 50 фунтов в год. Миссис Байрон переехала в дом под названием «Бергидж Мэнор» в Саутвелле недалеко от Ноттингема. Когда Байрон вернулся на летние каникулы, то увидел красивый трехэтажный деревянный дом с небольшим садом. Он располагался в сонном маленьком городке, где жило не больше трех тысяч человек, в конце главной улицы перед зеленой лужайкой. Здесь Байрону показалось скучно по сравнению с Лондоном и Хэрроу. Через несколько дней он отправился в Ньюстед, где поселился вместе со смотрителем Оуэном Мили.
