Страсть эта совершенно поглотила Руссо и скоро стала в обществе басней. Сен-Ламбер получил анонимное письмо. Графиня должна была совершенно отдалить от себя неосторожного поклонника. Ей удалось наружно помирить с ним самого Сен-Ламбера, когда тот вернулся из армии. Они вместе даже обедали у Руссо. На прощание она его поцеловала, но затем, ввиду несомненно непрекращающейся его страсти, всякое дальнейшее знакомство между ними было прекращено. Они больше не виделись, но графиня Д'Удето, много пережившая и Сен-Ламбера, и Руссо и умершая уже в эпоху Реставрации, сохраняла всегда нежную дружескую память о своем поклоннике, и правдивые, искренние отзывы и показания этого прекрасного, сердечного человека сняли немало наслоений клеветы и сплетен, которыми враги мыслителя постарались очернить его память. Жан-Жаку было сорок четыре года, когда он пережил этот последний роман своей жизни и когда эта поздняя страсть отдалила от него лучшего и вернейшего друга. Наступало между тем время, когда он будет нуждаться в надежных друзьях. Он их найдет, но между ними уже не окажется наиболее преданного – нежной и ласковой Софи Д'Удето.
В это же лето у Руссо произошел разрыв и с Д'Эпине. Влияние Гримма и Дидро было главной тому причиной, но все чаще и ярче проявлявшаяся невропатическая наследственность его создала благоприятную для того почву. Рано вышедшая замуж, красивая, с сильным характером и блестящим умом, Д'Эпине, подобно своей кузине, нашла в браке полное разочарование. Муж ее оказался не только беспутным кутилой, но и распутным, безнравственным человеком. Имея молодую, красивую жену, он продолжал содержать нескольких любовниц, продолжал участвовать в разных распутных похождениях «золотой» молодежи. До жены это дошло не сейчас, а тогда только, когда бессовестный супруг успел уже наградить ее постыдной болезнью. Оправившись от этого жестокого и незаслуженного удара судьбы, молодая женщина, конечно, навсегда отдалила от себя развратного мужа, стараясь создать свою, особую жизнь в кругу друзей и среди удовольствий умственного общения с выдающимися людьми того времени. Дидро, Гримм, Руссо скоро стали близкими ее друзьями. Гримм заслужил даже с ее стороны более нежное чувство. Давно враждебно настроенный по отношению к Руссо, а может быть, недовольный и слишком сердечным вниманием, которое ему оказывала его нежная подруга, Гримм с первых дней жизни Жан-Жака в Эрмитаже настраивал Д'Эпине против ее гостя. Но с самостоятельным характером, искренно расположенная к Руссо, она долго не поддавалась этому влиянию, даже когда к нему присоединилось и влияние Дидро. Несчастный роман Жан-Жака с ее кузиной и развязка его, при посредстве анонимного письма к Сен-Ламберу, были причиною разрыва. Руссо заподозрил в этом извете Д'Эпине и написал ей резкое и несправедливое письмо, на которое получил ласковый, но строгий ответ. Она протестовала против постыдного обвинения и указывала, что Руссо заслуживал бы за него совершенного исключения из ее дружбы, но что она позволяет ему прийти к ней, чтобы получить прощение. Тронутый этим письмом Руссо поспешил к своему другу, и, вопреки протестам Гримма, примирение на этот раз состоялось. Вскоре Д'Эпине собралась съездить в Женеву за советом к знаменитому тогда врачу Троншену, другу Руссо. Она предложила Жан-Жаку сопровождать ее. Он, однако, заподозрил какие-то новые козни Гримма. Вмешательство Дидро для улаживания недоразумений открыло Д'Эпине, что свое недостойное подозрение по поводу письма к Сен-Ламберу Руссо сообщил не только ей, но и Дидро. Возмущенная этим открытием, она решительно порвала всякие отношения с Руссо. Отношения Руссо с Гриммом порвались, конечно, одновременно; так же, как и с Дидро. Эта личная ссора, впрочем, только закрепила уже явный литературный разрыв между двумя философами, но разрыв с таким другом, как Д'Эпине, был серьезной и трудновосполнимой потерей для Руссо. Эта дама оказалась далеко не столь великодушной и справедливой, как ее кузина. Д'Эпине оставила мемуары, в которых не пощадила своего бывшего друга. Историческая критика обнаружила при этом, что показания злопамятной красавицы не всегда отличались правдивостью. Таким образом, в сравнительно короткое время Руссо порвал отношения со всем тем дружеским кругом, в котором вращался в течение последних десяти лет. Д'Удето и Д'Эпине, Сен-Ламбер, Дидро и Гримм были им потеряны, и совершенно одинокий, оскорбленный, вместе с озлобленными женщинами своей семьи он 15 декабря 1757 года оставил Эрмитаж, куда еще так недавно переезжал с такими радужными мечтами!