Подобное поведение, конечно же, не могло не шокировать социалистов-революционеров. Но на рядовых членов партии Азеф давно уже смотрел свысока, не скрывая своего презрения к «этим оборванным революционерам». Когда же о его скандально-вызывающем поведении пытался робко заикнуться кто-нибудь из членов ЦК, то в ответ звучала лекция о том, что необходимо делать для конспирации, особенно при таком ответственном деле, как подготовка покушения на царя. Говорилось при этом, что госпожа Н., как известно, близка к царской фамилии, и через нее поступает информация, необходимая при подготовке покушения.
Кого-то это, может быть, и убеждало, но большинство все сильнее начинало задумываться, почему главу Боевой Организации, ведущего такой вызывающе открытый образ жизни, полиция не трогает, и это при том, что ей не может не быть известно через многочисленных провокаторов, внедренных в ПСР, об истинной роли Ивана Николаевича в Партии социалистов-революционеров. Удивлялись этому и филера, неоднократно являвшиеся к Герасимову с предложением арестовать так беспечно подставлявшегося главаря террористов.
Дело дошло до того, что Герасимов принялся «по-дружески» уговаривать «милейшего Евгения Филипповича» изменить образ жизни и уйти в тень, но Азеф, как говорится, словно с цепи сорвался, решив, что «время собирать камни» прошло и наступило «время бросать камни».
Он жаловался Герасимову на нервы, на усталость, говорил, что за пятнадцать лет службы заслужил себе наконец право на отдых и нормальную человеческую жизнь. Герасимов относился к этому с пониманием и соглашался отпустить Азефа на «заслуженный отдых», вот только пусть он доведет дело до конца и совсем развалит подготовку покушения на царя.
И все же в какой-то момент инстинкт самосохранения сработал: заложив в ломбард обстановку квартиры, в которой он жил вместе с «прекрасной Хедди», и ликвидировав все свои финансовые дела в России, Евгений Филиппович вдруг уехал весной 1908 года за границу, увезя туда же и даму своего сердца. Правда, он вскоре вернулся — вместе с Хедди, с которой поселился в Петербурге, как всегда, в дорогом отеле. Прописались они как муж и жена. В России Азеф находился до июня 1908 года, помогая Герасимову сорвать подготовленную эсерами операцию по взрыву царского поезда и покушение на царя в Ревеле. А затем поставил вопрос о своем уходе с полицейской службы уже всерьез. С Герасимовым они расстались как друзья. На прощание Азефу было вручено Герасимовым несколько паспортов на разные имена, выплачено причитающееся жалование и обещана выплата на будущее — уже в виде пенсии за более чем пятнадцатилетнюю службу в Департаменте. Азеф же со своей стороны обещал снабжать Департамент по мере возможности политической информацией из-за границы. С террором же он, как сказали бы сегодня, завязал.
Полицейский и провокатор обнялись и расцеловались. Азеф вообще любил целоваться. И боевики, отправляемые им на заведомую гибель в ходе теракта или предаваемые полиции, что тоже обычно означало гибель — только на виселице, обязательно получали на прощание «поцелуй Иуды».
Целуя Герасимова, Азеф совершал последнее в своей жизни предательство. Он предавал и этого своего покровителя. Столыпин согласился на уход столь ценного и столь заслуженного секретного сотрудника Департамента после того, как был убежден Герасимовым, поверившим, в свою очередь, Азефу, что «поход против царя» натерпевшимися неудач эсерами прекращен и отменен.
А между тем именно в ото время Азеф вел свою последнюю игру — готовил покушение па царя, и на этот раз самым серьезным образом.
И дело это обстояло так. После потери большей части флота в Цусимском проливе царское правительство принялось за восстановление своих военно-морских сил, строя и заказывая за границей новейшие боевые корабли. Один из таких заказов получила и английская фирма «Виккерс», заложившая на своих верфях в Глазго новейший крейсер, который под именем «Рюрик» должен был пополнить русский Балтийский флот. Как водилось в таких случаях, на завершающем этапе строительства в Глазго была направлена группа русских инженеров и будущих членов экипажа, среди которых находились и социалисты-революционеры, и социал-демократы. Эсеровскую группу возглавлял военно-морской инженер К. П. Костенко. Считается, что именно он предложил организовать покушение на царя на борту «Рюрика» во время торжественной церемонии прихода крейсера в первый русский порт. По этому случаю царь готовился лично прибыть на «Рюрик», присутствовать на борту крейсера при его освящении, а также на торжественном банкете по этому случаю. Костенко получил от ЦК ПСР принципиальное одобрение этой акции, после чего к подготовке ее немедленно подключился «генерал ВО». Менее чем через месяц после расставания с Герасимовым Иван Николаевич появился в Глазго в качестве инспектора от ЦК. С помощью Костенко он облазил и осмотрел весь крейсер и забраковал первоначальный план покушения, согласно которому в Глазго, перед самым выходом «Рюрика» в море, на крейсер должны были тайком провести боевика, назначенного для совершения теракта. Чтобы боевика не обнаружили во время перехода в Россию, для него было подыскано тесное, но достаточно укромное укрытие. Осмотрев его, Азеф решил, что боевик не сможет перенести в нем переход к российским берегам, и забраковал предложенный Костенко план. Взамен он предложил найти среди эсеров — членов экипажа добровольца, готового совершить теракт и погибнуть.