С этого момента дело внешней разведки было сконцентрировано в одном центре. Для работы стали подбирать специальные кадры. Первым руководителем ИНО был назначен дипломат Я. X. Давтян (Давыдов). С 1921 по 1922 год разведку возглавлял С. Г. Могилевский. Отныне от эпизодических посылок малоподготовленных агентов перешли к организации зарубежных резидентур. Разведкой стали заниматься профессионально.
В феврале 1922 года ВЧК была упразднена и вместо нее создано ГПУ при НКВД. После создания Союза Советских Социалистических Республик ГПУ было преобразовано в ОГПУ при СНК СССР. Иностранный отдел вошел в состав созданного ОГПУ Секретно-оперативного управления. С 1922 года ИНО возглавил М. А. Трилиссер. Вместе с ним в разведку пришла большая группа большевиков с опытом подпольной борьбы в царское время и в период гражданской войны. С. Г. Вележев и A.B. Логинов (Бустрем) стали заместителями Трилиссера. Остальные — Я. Минскер, А. Нейман, Я. Бодеско, А. Мюллер и другие — стали ответственными работниками отдела. ИНО был значительно расширен и укреплен опытными кадрами. К 1930 году центральный аппарат отдела достигал 70 человек, общий штат насчитывал 122 человека, из них 62 — сотрудники резидентур за рубежом.
В январе 1923 года по предложению заместителя председателя ГПУ И. С. Уншлихта для ведения активной разведки было создано специальное Бюро по дезинформации. В Дезинформбюро вошли представители от ЦК РКП(б), НКИД, РВСР, а также от Разведупра штаба РККА.
Осенью 1925 года Ф.Э. Дзержинский предложил создать при И НО ОГПУ отдел научно-технической разведки, как особый орган по добыванию информации о технических достижениях за границей. Вскоре такое подразделение было создано, ас 1930 года его работой в Центре стало заниматься 8-е отделение И НО.
В 20–30-е годы разведка добывала информацию о планах и намерениях противников СССР, способствовала прорыву политической изоляции и экономической блокады, предпринимавшейся западными странами, добывала научно-техническую и экономическую информацию, нейтрализовала подрывную деятельность белоэмигрантских организаций и иностранных спецслужб.
Между тем работа Павла Судоплатова в отделе кадров ОГПУ продолжалась недолго. Случилось так, что сотрудник Кулинич, отвечавшая за наблюдение и борьбу с украинской эмиграцией, подала рапорт об отставке по состоянию здоровья. Начальник Иностранного отдела A. X. Артузов, узнав, что Судоплатов родом с Украины и имеет опыт работы в местных условиях, предложил ему занять вакантную должность.
— Вы встречались с этой публикой не только на фронте, но и в условиях подполья. Знаете их повадки, поэтому, как говорится, вам и карты в руки, — сказал ему Артур Христианович.
Павел Судоплатов ответил согласием.
Новое назначение оказалось крайне ответственным. Организация украинских националистов (ОУН) — противник, с которым отныне поручалось иметь дело Судоплатову, был стоглаз, столап, коварен и жесток.
Советские чекисты, в первую очередь сотрудники И НО, вели против оуновцев бескомпромиссную борьбу. Они старательно отслеживали и многократно срывали активные попытки главарей ОУН найти себе союзников в различных националистических движениях в разных странах, в том числе в Германии. Пресекали террористические акты украинских националистов против советских политических деятелей. Так, например, осенью 1933 года была сорвана попытка покушения оуновцев на наркома иностранных дел СССР М. Литвинова, которое должно было состояться во время его прибытия в США. Благодаря действиям советского разведчика И. Каминского этот план был своевременно раскрыт. В итоге, переговоры Литвинова с Ф. Рузвельтом прошли успешно. 18 ноября 1933 года между СССР и Америкой были установлены дипломатические отношения. Позже в И НО была передана информация, что Е. Коновалец, один из руководителей ОУН, взбешенный провалом операции, собственноручно избил всю пятерку боевиков, на которых возлагалось убийство советского дипломата. «Сволочи, сволочи, сволочи!» — неистово орал член Центрального провода (руководства) ОУН, пиная подчиненных лаковыми штиблетами. «Ой, батьку, просрали москаля, ой, бей нас сильнее…» — каялись неудавшиеся террористы.
