Летом его откровения, обычно высказывавшиеся в теннисном клубе, где он был единственным советским "спортсменом с лицензией", стали посерьезнее. В июне он посетовал знакомому по клубу, что ситуация в Москве становится настолько пугающей, что он опасается за свою жизнь. Он признался, что слишком много пьет, что ненавидит жену и что у него есть любовница японка. Он стал распространяться на политические темы. В отсутствие американцев он говорил, что не любит американцев. Он критиковал и англичан, называя их политику в отношении России политикой "умиротворения". Он стал часто повторять: "Если вы не начнете действовать первыми, мы уничтожим вас". К концу лета он принимал приглашения западников, уже не докладывая своему начальнику - полковнику Александру Носенко.
Стало ясно, что Юрий Растворов не только социально неустроенный человек, но и готовый перебежчик, и англичане начали вести подготовку к его вывозу из Токио вместе с его любовницей японкой, если потребуется и если он обратится за политическим убежищем. Очевидный путь - воздухом, но это было время винтовых самолетов с ограниченным радиусом действия. Гражданские самолеты почти всех рейсов делали первую посадку в Гонконге. Даже советским самолетам по дороге в Москву приходилось садиться там. Британская колония рассматривалась как в высшей степени удобный перевалочный пункт по дороге Растворова в Великобританию. Британские военные самолеты уходили в американских военных аэродромов два-три раза в неделю, и по соображениям безопасности было решено отдать им предпочтение перед гражданскими самолетами компании ВОАС. К осени в Лондоне заинтересовались Растворовым и решили направить в Токио официальное лицо, владеющее русским языком, специально для того, чтобы оно занялось его доставкой в Лондон. А тут ещё японцы сообщили, что Растворов является офицером разведки. Работа закипела.
Тем временем пошатнулись его позиции в миссии, и временный поверенный Георгий Павлычев обратился в Москву с просьбой отозвать Растворова. Но полковник Носенко, благоволивший Растворову, сообщил ему, что пришла телеграмма с нагоняем, но Растворов остается в Токио, а разбор произведут по его возвращении. У Растворова было впереди ещё несколько месяцев.
Два события усугубили внутренний кризис в душе Растворова. Первое это расстрел Берии, сообщение о чем пришло в Токио накануне Рождества (имеется в виду по новому стилю - примеч. перев.). Растворов был в невысоких чинах, чтобы чувствовать себя в опасности в связи с новыми чистками. Но он же работал в японском отделе в Москве под пристальным оком Берии, так что мало ли что... Второе и решающее событие - 10 января 1954 года около полуночи Растворова пригласили в руководство миссии и сказали ему, что Павлычев направил в Москву телеграмму с настойчивым требованием отозвать Растворова, а если его требование не будет выполнено, то он сам попросит о своем переводе. На сей раз трудно было ожидать милостей и от полковника Носенко, который в принципе должен был бы настоять на решении этого вопроса по своим каналам. Носенко увиливал от ответа, но потом сказал, что Растворов поедет домой через несколько дней с советскими конькобежцами, которые приехали в Токио на чемпионат мира. Такому эскорту не порадуешься: ведь в такой группе, как обычно, есть несколько сотрудников спецслужб. И они, видимо, позаботятся, чтобы довезти его до дома.
Начиная с этого момента опубликованный рассказ о его весьма мало походит на правду (и вряд ли это было продиктовано обстоятельствами того времени)). В истории, рассказанной для американской публики, ог говорит о том, что просто не смог улететь с конькобежцами, которые отбыли 23 января, по той причине, что в британском консульстве не успели оформить для него транзитную визу для Гонконга. А когда он пришел в миссию, полковник Носенко сказал ему, что он определенно должен вылетать на следующий день, в воскресенье 24 января. Крепкий сопровождающий из конькобежной делегации специально остался, чтобы сопровождать его. После этого, как гласит его рассказ, он связался со своей "близкой американской подругой" - миссис Браунинг (на самом деле её фамилия была Бёрнс), женщиной средних лет из Техаса, которая преподавала в местной американской школе имени Эрни Пайла. Они регулярно встречались в отеле "Олд Кайто" и давали друг другу уроки родного языка. О политике не говорили. А в это бурное воскресенье он сказал ей, во-первых, что хочет бежать на Запад и, во-вторых, что он офицер разведки. Она пообещала ему сделать для него всё возможное. Растворов потом говорил, что он вернулся в миссию, чтобы сжечь свои бумаги, а потом направился на условленный угол для встречи с "миссис Браунинг", назначенной на восемь вечера. К месту встречи подъехал автомобиль, в котором находилась преподавательница, и увез его. "Некоторое время спустя, - заканчивается повествование Растворова, - я уже летел к американскому западному побережью".
