Августа Ли унаследовала состояние Байрона (большая его часть, шестьдесят тысяч фунтов, согласно брачному договору, отошла к леди Байрон по условиям развода), но постоянно испытывала финансовые трудности из-за своей расточительности и пристрастия супруга к азартным играм. Несмотря на безжалостные попытки леди Байрон заставить Августу раскаяться, она продолжала лелеять добрые воспоминания о своем милом брате. Иногда она подделывала его подпись для восхищенных друзей, но не могла заставить себя расстаться с его письмами. Наконец она поссорилась с Аннабеллой, но не из-за Байрона, а из-за денег. Безжалостная «доброта» леди Байрон распространялась и на ее попытки подружиться с дочерью Августы, Медорой, которую она убеждала поверить в то, что Байрон ее отец. Медора родила двоих детей мужу своей сестры, Генри Треваньону, и уехала во Францию, вышла замуж за француза и создала семью, которая гордилась родством со знаменитым поэтом. Перед смертью Августы в 1851 году леди Байрон снизошла до последней встречи с ней, во время которой ожидала услышать другое признание: что Августа настраивала брата против жены. Но Аннабелла была разочарована: Августа не призналась по той простой причине, что это было неправдой.
Последние годы жизни леди Байрон посвятила добрым делам и делала «признания» относительно своей жизни с мужем, которые разделяла с удивительно большим количеством людей, в то же время поддерживая впечатление, что переносит свое горе молча. Среди тех, кому она исповедовалась, была Гарриет Бичер-Стоу, через несколько лет после смерти леди Байрон опубликовавшая ее сенсационный рассказ об инцесте, почерпнутый из ее бесед с Аннабеллой. Воспоминания самой леди Байрон можно найти в многочисленных «повествованиях», написанных в конце жизни, когда ее преследовала навязчивая идея оправдать себя. Она хранила все свои письма и письма, связанные с ее разводом.
Дочь Байрона Ада, «рожденная в раздоре», как он и предсказывал, полюбила его. В детстве ей не рассказывали об отце и не показывали его портрета, но ее муж, лорд Кинг (позднее лорд Лавлейс), вырвал ее из-под влияния матери, и Ада полюбила отца и его поэзию. Однако Байрон был бы несколько уязвлен, если бы узнал, что дочь стала еще более известным математиком, чем мать, хотя ее уверенность в том, что знание чисел поможет ей выигрывать на скачках, развеялась. Когда Ада умерла в возрасте тридцати семи лет, ее похоронили по ее желанию в семейном склепе в церкви Хакнелл Торкард рядом с отцом.
В конце жизни Клер Клермонт вернулась во Флоренцию, превратив свою ненависть к Байрону в навязчивую идею. Забавно, но она приняла католическую веру, что, однако, не смягчило ее нападок против Байрона в переписке со стареющим Трелони, который обвинял Клер в «помешательстве». В старости она стала своего рода легендой из-за связи с Байроном и Шелли и слухов о том, что у нее хранятся бесценные письма и бумаги, – на самом деле у нее не могло быть никаких писем, потому что Байрон старательно избегал ей писать. Но именно потому Генри Джеймс сделал ее главной героиней своих «Писем Асперна». Клер умерла в 1879 году в возрасте восьмидесяти одного года, придумав себе такую оригинальную эпитафию: «В страданиях она провела дни, искупая не только свои грехи, но и добродетели».
Тереза Гвичьоли пережила удар, нанесенный ей смертью Байрона, но воспоминания о нем не оставляли ее всю долгую жизнь. В 1826 году она вернулась к мужу, но скоро оставила его вновь. Тереза провела несколько зим в Риме, где ненадолго увлеклась красивым хромым Генри Фоксом, сыном лорда Холланда. Также она была увлечена французским поэтом Ламартином, который привлек ее своим преклонением перед поэзией Байрона. Таким же образом Тереза флиртовала с другими англичанами в Италии, в том числе с графом Малмсбери, который включил воспоминания Терезы о Байроне в свои мемуары.
Тереза давно мечтала поехать в Англию и весной 1832 года совершила паломничество на родину Байрона. Там она встретилась с леди Блессингтон, к которой так ревновала в Генуе, Джоном Мерреем, Августой Ли и другими близкими друзьями Байрона и совершила поездку в Ньюстедское аббатство. Позднее она с восторгом отзывалась о миссис Ли, «его ближайшей и самой любимой родственнице, которую я бы скорее боготворила, чем любила…».
