В начале июня семья Шелли поселилась в маленьком двухэтажном доме в Монталегре, у подножия холма Колони, неподалеку от озера. Вскоре после этого Байрон переехал на виллу Диодати всего в нескольких ярдах от Шелли. С нетерпением ожидая поездок по озеру, они купили за 25 луидоров лодку с килем. Она стояла в маленькой гавани недалеко от дома Шелли.
Байрон был доволен своим новым жилищем. Маленькая вилла представляла собой квадратное двухэтажное строение из серого камня с кирпичной кладкой и железными перилами, окружавшими балкон. В доме были огромная гостиная, окна которой выходили на переднюю и боковые галереи. Она была обставлена в простом и элегантном стиле XVIII века, и в дождливые ночи ее согревал огонь камина. Байрон, который с детства, когда бродил под полуразрушенными сводами Ньюстеда, любил простор, никогда еще не жил в доме, с балкона которого открывался бы более живописный вид.
Байрону было внове общаться с симпатичными ему людьми, не сдерживаемыми рамками условностей, начитанными и образованными, отзывчивыми, готовыми обсуждать любой вопрос со вдумчивым интересом. Когда стояла хорошая погода, Байрон и чета Шелли тихими вечерами шли к озеру; в ненастье собирались перед камином на вилле Диодати и беседовали о разных предметах, начиная с поэзии и заканчивая привидениями.
Единственной неприятностью было тщеславие и взбалмошность молодого доктора Полидори, который как-то раз вызвал Шелли на дуэль. Шелли только рассмеялся, но Байрон предупредил доктора, что, хотя Шелли не признает дуэлей, этого нельзя сказать о нем, и он с радостью примет вызов. Чтобы дать выход своему раздражению по поводу «вечных глупостей» доктора, Байрон отпускал на его счет колкие замечания, вроде того, что «доктор как раз тот человек, которому, если он вдруг упадет за борт, тут же бросят соломинку, чтобы проверить правдивость поговорки, действительно ли утопающий хватается за соломинку».
Байрон чувствовал себя неловко в присутствии Клер, к которой боялся лишний раз обратиться, опасаясь, что она воспользуется этим. Тем не менее она вынудила его возобновить отношения, хотя не могла приходить на виллу Диодати так часто, как ей того хотелось, частично потому, что ей мешал эгоистичный доктор Полидори. Байрон признавался, что его сердце всегда ищет пристанища. Позднее он оправдывался перед Августой: «Я не был влюблен, у меня не осталось чувств ни для одной женщины, но я не мог вести себя стоически с женщиной, которая проехала 800 миль, чтобы оказаться рядом со мной, кроме того, последнее время я столкнулся, увы, со столькими случаями презрения, что мечтал о любви, чтобы развеяться».
Как ни таились Байрон и Клер, вскоре появились слухи. Позднее Байрон говорил Медвину: «Я никогда еще не жил такой высоконравственной жизнью, как в этой стране, но это не принесло мне пользы. Нет ни одной истории, подобной той чепухе, которую выдумали про меня. За мной наблюдали с противоположного берега в бинокль, у которого, по всей видимости, были искаженные стекла». Подобное отношение к себе Байрон приписал тому, что мало общался с женевцами. Англичане, летом толпами приезжавшие в город, слышали множество странных историй, например о том, что печально известный лорд Байрон жил с «миссис Шелли, женой содержателя кофейни».
Байрон вел спартанскую жизнь, потому что очень поправился после бурного времяпровождения в Англии. Мур, несомненно основываясь на воспоминаниях Мэри Шелли, говорил: «Его диета была основана на почти полном отказе от пищи. Тонкий ломтик хлеба с чаем на завтрак, легкий овощной обед с бутылкой или двумя сельтерской воды, разбавленной вином, а вечером чашка зеленого чая без молока и сахара. Чувство голода он подавлял жеванием табака и сигарами». Полидори заметил, что «Байрон отправлялся отдыхать в три часа, вставал в два и проводил много времени за своим туалетом; никогда не ложился без пары пистолетов и кинжала и не притрагивался к скоромной пище». Обычно Байрон ел один, чтобы никто не знал о его диете.
В один из вечеров на вилле после обсуждения темы привидений, сверхъестественного и прочей мистики Байрон предложил написать фантастические истории. Он сам начал писать еще среди развалин Эфеса, но вскоре бросил; позднее Полидори подхватил эту мысль и на основе неоконченной повести написал свое анонимное произведение «Вампир», намекнув, что идея принадлежала Байрону, чтобы книгу лучше раскупали. Мэри единственная из всех приняла всерьез это предложение. В результате появилась ужасающая история о чудовище, созданном доктором Франкенштейном, которая вышла в свет в следующем году.
