Через три недели после написания Артузовым письма, 11 января 1937 года, по предложению Ворошилова Политбюро принимает решение об освобождении Артузова и Штейнбрюка от работы в Разведупре и направляет их в распоряжение НКВД. Тем же постановлением на место разведчика Артузова назначается опытный контрразведчик Александровский. Вряд ли Урицкого могла порадовать такая замена — ведь это был грозный признак того, что приближается «великая» чистка.
И действительно, уже через пять месяцев сам Урицкий оказался изгнанным из Разведупра, а в ноябре 1937 года — арестованным. В августе 1938 года его расстреляли, а впоследствии посмертно реабилитировали.
Не возражая против смещения Артузова и Штейнбрюка, Сталин все же решил оставить на посту начальника Второго (восточного) отдела Карина, видимо потому, что он в то время считался крупнейшим специалистом по Востоку. Карин Федор Яковлевич (Крутянский Тодрес Янкелевич), 1896 года рождения, в ВЧК с 1919 года, в 1922—1924 годах нелегал в Румынии, Австрии, Болгарии. В 1924—1927 годах резидент внешней разведки в Харбине, в 1928—1933 годах — в Германии и Франции. С 1934 года — в Разведупре. Но Карин недолго оставался на своем посту. В мае 1937 года он был арестован. Приговорен как «иностранный агент» к расстрелу и в августе того же года расстрелян. Реабилитирован посмертно.
Сталин хорошо понимал, что ни Урицкий, ни тем более Александровский не в состоянии руководить военной разведкой. 21 мая 1937 года на совещании в Разведупре заявил: «…Разведуправление со своим аппаратом попало в руки немцев» и дал установку на роспуск агентурной сети.
Это уже были дни массовых арестов. 13 мая был арестован Артузов, 16 мая — Карин, 21 мая — помощник начальника Разведупра Абрамов-Миров, 29 мая — начальник 5 отдела Боговой, 9 июня — помощник начальника Разведупра Мейер-Захаров и т.д.
9 июня в своем выступлении на расширенном заседании Военного совета при наркоме обороны Сталин снова обрушился на разведку: «Во всех областях разбили мы буржуазию, только в области разведки оказались битыми как мальчишки, как ребята. Вот наша основная слабость. Разведки нет, настоящей разведки. Я беру это слово в широком смысле слова, в смысле бдительности и в узком смысле слова также, в смысле хорошей организации разведки. Наша разведка по военной линии слаба, она засорена шпионажем. Наша разведка по линии ПУ возглавлялась шпионом Гаем и внутри чекистской разведки у нас нашлась целая группа хозяев этого дела, работавшая на Германию, на Японию, на Польшу сколько угодно только не для нас. Разведка — это та область, где мы впервые за 20 лет потерпели жесточайшее поражение. И вот задача состоит в том, чтобы разведку поставить на ноги. Это наши глаза, это наши уши».
Изгнав Урицкого, Сталин решил вернуть на прежнее место Берзина, который в Испании реабилитировал себя за большие провалы. 3 июня 1937 года Берзин снова занял свой пост начальника Разведупра. Находясь на нем, Берзин едва успевал подписывать санкции на арест, с горечью отправляя на плаху своих сотоварищей, очевидно, предчувствуя и свое будущее.
На заседании партбюро 19 июля 1937 года Берзин докладывал, что 20 человек руководящего состава Разведупра арестованы как враги народа, а на другой день, на закрытом партсобрании были названы и другие фамилии. Начался повальный разгром военной разведки. Резиденты, рядовые работники, сотрудники аппарата исчезали один за другим. На партсобраниях 7 сентября, 15 октября, 15 ноября назывались все новые и новые имена.
Погром военной разведки принял еще более организованный и зловещий характер после того, как 10 ноября НКВД СССР издал и направил начальникам особых отделов военных округов, флотов и флотилий и в периферийные органы НКВД директиву № 286498, предлагавшую немедленно реализовать агентурные, архивные и следственные материалы, которые имелись в отношении работников военной разведки, взять на учет и в активную разработку всех бывших работников разведорганов.
Наконец, 3 декабря 1937 года, казалось, был достигнут пик репрессий, обрушившихся на Разведупр, когда в числе арестованных прозвучали имена Я.К. Берзина, начальника 3-го отдела О.А. Стигга и еше 20 человек.