Аппарат МГБ был к этому времени настолько автономным, что даже в отделах ЦК КПСС были «спецотделы», подчиненные не ЦК, а МГБ. Это же относилось и к охране зданий ЦК. Офицеры и сотрудники МГБ имели право осматривать столы и сейфы работников ЦК КПСС. С другой стороны, Сталин, не доверяя Берии, создал автономную личную охрану, состоявшую в целом из двух-трех дивизий МГБ. Эти войска, носившие форму МГБ, подчинялись не министру МГБ, а лично Сталину и могли, если бы он приказал, арестовать любого деятеля государства, даже Берию и его аппарат. Командовал этой охраной, расположенной обычно вблизи резиденций Сталина в Кремле, под Москвой, в Крыму, возле Сочи и т. д., генерал Николай Власик, который был генералом Советской армии, а не войск МГБ. Он был предан лично Сталину и служил его главным телохранителем более 20 лет. Но в 1952 году Сталин, страдавший манией преследования, приказал арестовать генерала Власика.
После смерти Сталина эту систему террора, контролировавшую все процессы в стране, взял в свои руки Берия, активно реорганизовав ее с учетом собственных амбиций. Он быстро назначил на наиболее ответственные посты в МВД преданных ему людей и, несомненно, готовил всю систему для возможного захвата власти. И это был вполне реальный вариант развития событий. Однако сразу после смерти Сталина ни политическая, ни экономическая обстановка в стране еще не давали повода для какой-либо коренной реорганизации с участием МВД, но он мог возникнуть в любой момент. Хорошо известно, что Берия не дождался этой возможности, так как в конце июня 1953 года был арестован во время заседания Президиума ЦК КПСС. Судя по воспоминаниям Хрущева, заговор был организован благодаря содействию высшего руководства армии, ведь органы государственной безопасности были лояльными Берии. Милиция вообще не была готова выполнять какие-либо политические функции такого рода. Кроме Берии арестовали его ближайших сотрудников (В. Меркулова, В. Деканозова, Г. Кобулова и других), но в действительности кроме этих имен, упоминавшихся впоследствии в Обвинительном заключении по делу Берии, был быстро ликвидирован весь центральный аппарат органов госбезопасности, а также смещены начальники областных и республиканских управлений. Практически на определенный период в системе МВД бывшая в ней ранее автономная система государственной безопасности перестала существовать. Она возродилась только в начале 1954 года, но уже в форме особого Комитета государственной безопасности (КГБ), который возглавлял Серов, многие годы работавший с Хрущевым на Украине и не имевший политического влияния.
После Серова, недолго занимавшего пост Председателя КГБ (Серов был профессионал государственной безопасности и, несомненно, участвовал в многих карательных операциях прошлого), Председателем КГБ был назначен А. Н. Шелепин, лидер ВЛКСМ, и под его руководством реорганизация аппарата КГБ приобрела более отчетливый характер. Большая часть профессиональных чекистов была удалена со всех ответственных постов и их иногда генеральские должности переходили к сравнительно молодым руководителям московских и областных комсомольских организаций. Некоторым членам обкомов и райкомов ВЛКСМ поручили формировать областные управления КГБ. Районные отделы госбезопасности были просто ликвидированы, как и многие «спецотделы» на предприятиях и в учреждениях небольшого и среднего размера.
Даже задача борьбы с «идеологическими диверсиями» из-за рубежа (внутренних диссидентов еще не было) была возложена на специальный отдел ЦК КПСС, во главе которого стоял Д. П. Шевлягин. Только в 1957 году, после того как Ю. В. Андропов стал во главе КГБ, в нем был создан собственный отдел по борьбе с «идеологическими диверсиями», в который перешли многие сотрудники из идеологического и международного отделов ЦК КПСС.
Часть нового аппарата госбезопасности формировалась из политработников армии. Но главное состояло в том, что новый аппарат не имел автономии и не находился в прямом подчинении у Председателя Совета министров СССР. Начальник областного управления государственной безопасности подчинялся прежде всего секретарю обкома КПСС. Вместо районных отделов госбезопасности впоследствии создавались небольшие сектора госбезопасности непосредственно в структуре райкома КПСС, а при вновь появившейся необходимости иметь «осведомителей», их вербовал среди членов партии непосредственно райком КПСС. Аппарат госбезопасности потерял самостоятельность, а вместе с ней и полномочия проводить суды, выносить приговоры и приводить их в исполнение. Система КГБ могла только производить следствие и арест по санкции прокурора. Система лагерей и тюрем осталась в МВД, впоследствии переименованном в Министерство охраны общественного порядка (МООП). Это разделение функций следствия, вынесения приговора (только через суд) и реализации приговора (срок в лагере или другое наказание), сделало партийные органы арбитром и влиятельным советчиком в вопросе о целесообразности тех или иных репрессивных мер. Вскоре установилась практика, при которой член КПСС, а тем более руководящий работник партии, не мог быть арестован до того, как его дело не будет рассмотрено партийным комитетом района или области. Только исключение из партии на таком заседании давало возможность ареста.
