18 марта 1937 года Ежов выступил па собрании руководящих работников наркомата внутренних дел, на котором заявил, что «шпионы» заняли в НКВД ключевые посты. Он потребовал «твердо усвоить, что и Дзержинский испытывал колебания в 1925—1926 годах. И он проводил иногда колеблющуюся политику». Это был сигнал о том, что репрессии коснутся и ближайших соратников Дзержинского. Вскоре волна арестов в НКВД захлестнула и его руководящих работников. Прежде всего, это коснулось лиц польской национальности. Руководством страны было выражено политическое недоверие внешней разведке.
В своих мемуарах «Разведка и Кремль» один из бывших руководителей внешней разведки генерал-лейтенант Павел Анатольевич Судоплатов по этому поводу писал:
«Когда арестовывали наших друзей, все мы думали, что произошла ошибка. Но с приходом Деканозова (начальник внешней разведки со 2 декабря 1938 года по 13 мая 1939года.—. авт.) впервые поняли, что это не ошибки. Нет, то была целенаправленная политика. На руководящие должности назначались некомпетентные люди, которым можно было отдавать любые приказания. Впервые мы стали опасаться за свои жизни, оказавшись под угрозой самоуничтожения собственной же системой. Именно тогда я начал размышлять над природой системы, которая приносит в жертву людей, служащих ей верой и правдой.
Я считаю Ежова ответственным за многие тяжкие преступления. Больше того, он был еще и профессионально некомпетентным руководителем... Чтобы понять природу "ежовщины", необходимо учитывать политические традиции, характерные для нашей страны. Все политические кампании в условиях диктатуры неизменно приобретали безумные масштабы, и Сталин виноват не только в преступлениях, совершавшихся по его указанию, но и в том, что позволил своим подчиненным от его имени уничтожать тех, кто оказывался неугодным местному партийному начальству на районном и областном уровнях. Руководители партии и НКВД получили возможность разрешать даже самые обычные споры, возникавшие чуть ли не каждый день, путем ликвидации своих оппонентов».
Репрессии, охватившие страну в конце 1930-х годов, нанесли огромный ущерб и советской внешней разведке. Они серьезно подорвали ее успешную в целом работу в предшествующие годы. К 1938 году были ликвидированы почти все нелегальные резидентуры, оказались утраченными связи с ценнейшими источниками информации. Некоторые из них были потеряны навсегда. Порой в «легальных» резидентурах оставалось всего 1—2 работника, как правило, молодых и неопытных. Аресты создали в коллективах обстановку растерянности, подозрительности и недоверия.
За годы «ежовщины» были арестованы практически все бывшие и действующие руководители ИНО и многие ведущие разведчики.
Так, 13 мая 1937 года был арестован выдающийся организатор контрразведки и разведки Артур Артузов. 15 июня 1937 года — Станислав Мессинг, работавший тогда уже в Наркомате внешней торговли. 21 ноября 1937 года—первый начальник советской внешней разведки Яков Давтян (Давыдов). 23 ноября 1938 года — Меер Трилиссер, являвшийся к тому времени ответственным сотрудником Исполкома Коминтерна.
Возглавивший разведку после Артузова комиссар госбезопасности 2-го ранга Абрам Слуцкий 17 февраля 1938 года внезапно скоропостижно скончался в кабинете первого заместителя наркома внутренних дел М. Фриновского. А уже в апреле того же года его посмертно исключили из партии как «врага народа».
После смерти Слуцкого исполняющим обязанности начальника внешней разведки был назначен майор госбезопасности Сергей Шпигельглас. Но и он продержался в этой должности менее четырех месяцев. 9 июня 1938 года его сменил старший майор госбезопасности Зельман Пассов. А судьба Шпигельгласа была решена: 2 ноября 1938 года он был арестован, а 12 февраля 1940 года — расстрелян. Пассова же постигла та же участь спустя три дня — 15 февраля.
В это же время было подвергнуто репрессиям и большое число ведущих разведчиков. Среди них можно назвать: резидентов в Лондоне А. Чапского, Г. Графпена и Т. Малли; в Париже — С. Глинского и Г. Косенко; в Риме — М. Аксельрода; в Берлине — Б. Гордона; в Нью-Йорке — П. Гутцайта; выдающихся разведчиков-нелегалов Д. Быстролетова, Б. Базарова, Г. Сыроежкина и многих других.