Главными отделами в ГПУ стали три составляющие с 1922 года. Это Секретно-политическое управление под началом Менжинского (с уходом его на пост председателя ГПУ эту должность занял Агранов), Экономическое управление во главе с Канцнельсоном (позднее его сменил Прокофьев) и управление войск ГПУ под началом Воронцова. Отдельное и изолированное положение в ГПУ занимал Иностранный отдел (ИНО ГПУ) для внешней разведки, которым руководил до конца 20-х годов Трилиссер, а затем Артузов. До перехода на должность главы внешней разведки в ГПУ Артур Артузов руководил другим важнейшим отделом контрразведки – КРО ГПУ. Спецотдел по контролю за чистотой рядов в партии большевиков и по работе с оперативной техникой тоже занимал особое положение внутри ГПУ, им все 20 – 30-е годы, вплоть до своего ареста в 1937 году, руководил Глеб Бокий. Отделом охраны важнейших руководителей страны поначалу руководил создавший отдел охраны Ленина еще в ВЧК чекист Беленький, но в ГПУ его позднее сменил Шанин, а в начале 30-х годов – Паукер, одновременно бывший начальником Оперативного отдела. Юридическим отделом ГПУ руководил Фельдман, одновременно возглавлявший курсы подготовки кадров при ГПУ. Наконец, важным Особым отделом по военной контрразведке в рядах Красной армии руководил сам Генрих Ягода, а после его перехода в первые заместители председателя ГПУ в 1924 году на его место назначен Ольский. Транспортным отделом командовал поставленный на этот пост еще Дзержинским в ВЧК Благонравов. Почти все эти руководители ГПУ 20-х годов и члены коллегии ГПУ занимали высокие посты и в ВЧК времен 1918–1922 годов, и почти все они перебиты после 1936 года в Большой террор.
Чуть позднее, в 1929 году, в ГПУ прошла небольшая реорганизация, когда Ягода в роли первого заместителя председателя ГПУ окончательно укрепился в ранге неформального главы этой спецслужбы при уже больном Менжинском, а вторым заместителем назначен переведенный из руководителей Ленинградского ГПУ Станислав Мессинг. Другой заместитель Менжинского и одновременно начальник разведки ИНО ГПУ Трилиссер в это время из-за конфликта с Ягодой и вообще из-за своих непримиримых троцкистских высказываний покинул все чекистские посты и ушел на другую работу, именно вместо него переведен из Ленинграда Мессинг. Тогда же в ГПУ впервые создано отдельное управление исправительно-трудовых лагерей во главе с Эйхмансом, из которого позднее разрастется по стране страшными метастазами ГУЛАГ.
А в 1931 году после большого скандала в верхушке ГПУ вокруг дела царских офицеров в РККА (дело «Весна») и изгнания из рядов ГПУ ряда руководителей из видных дзержинцев эту спецслужбу вновь тряхнули перемены. Мессинг в числе главных бунтарей был убран из заместителей председателя, а в компании с Ягодой замами на Лубянке оказались Акулов и Балицкий. Но окончательно утвердившийся в качестве негласного шефа Лубянки Генрих Ягода вскоре «подвинул» обоих назначенцев власти, вытеснив Акулова из ГПУ вообще в прокуратуру, а Балицкого – на его прежнее место главы Украинского ГПУ. Взамен в заместителях оказались близкие к Ягоде чекисты Прокофьев и Агранов. После 1933 года «команда Ягоды» занимала в ГПУ все ключевые посты: Буланов – секретариат коллегии ГПУ, Гай – Особый отдел, Артузов – ИНО ГПУ, Молчанов – Секретно-политический отдел, Миронов – Экономический отдел, Бокий – Спецотдел, Кишкин – Транспортный отдел, Благонравов – Отдел шоссейных дорог, Берман – управление лагерей, Фриновский – войска ГПУ и пограничные войска, Паукер – Оперативный отдел и правительственную охрану. В таком составе ГПУ встретило переломный для него 1934 год, когда сначала умер Менжинский, а летом того же года ГПУ слито с ведомством внутренних дел в одну большую спецслужбу – Наркомат внутренних дел (НКВД) СССР.
Внутри единого НКВД в 1934–1940 годах непосредственно госбезопасностью и разведкой занималось его Главное управление госбезопасности (ГУГБ НКВД), куда в большей степени уместили за некоторыми исключениями бывшее ГПУ и чей начальник с 1934 года был первым заместителем наркома НКВД. Другие управления НКВД (Рабоче-крестьянской милиции, Пожарное, командования войсками НКВД, ГУЛАГ – управление лагерей и т. д.) занимались в этой спецслужбе своими прежними обязанностями, их сотрудников часто даже не именовали «чекистами», хотя формально все они теперь тоже работали в одной большой спецслужбе с чистыми чекистами из ГУГБ. Из прежнего ГПУ в новом едином НКВД в отдельное управление кроме ГУЛАГа выделили еще и Управление погранвойск и внутренней охраны (ГУПВО). Вся разведка, контрразведка, госбезопасность, Оперативный отдел и охрана первых лиц государства оставались отделами в ГУГБ НКВД. Важность этой части в НКВД была таковой, что нарком Ягода поначалу проигнорировал даже указание ЦК поставить во главе ГУГБ своего заместителя Агранова, сохраняя руководство ГУГБ за собой, пока его не одернули с верхов власти. Сам Ягода всего два года просидел на вожделенном посту наркома этого большого НКВД и походил в пошитом лично для него маршальском мундире генерального комиссара госбезопасности, в 1936 году он убран из НКВД, а в следующем году арестован и вместе со многими людьми из своей команды расстрелян. На его место наркома НКВД на Лубянку пришел Николай Ежов, а во главе ГУГБ оказался Фриновский, после короткого и страшного периода ежовщины отстреляли и их команду.
