При этом новому председателю Комитета государственной безопасности надо было искать ответы на непростые вопросы: с чего начать и какие руководящие принципы положить в основу своей деятельности?
Хотя Андропов был и современником образования КГБ, и, в качестве секретаря ЦК КПСС, одним из потребителей его информации, теперь ему предстояло гораздо глубже не только познакомиться с неизвестной советским людям, секретной стороной его истории и деятельности, но и осмыслить их уроки и итоги, сделать личные выводы для повседневного руководства подчиненными коллективами.
Политическое решение о создании нового государственного ведомства было принято Президиумом ЦК КПСС 8 февраля 1954 г. Основанием для такого решения стала адресованная Президиуму ЦК КПСС записка министра внутренних дел СССР С.Н. Круглова, в которой, в частности, подчеркивалось: «Существующее организационное построение Министерства внутренних дел СССР и его органов громоздко и не в состоянии обеспечить должного уровня агентурно-оперативной работы в свете задач, поставленных перед советской разведкой Центральным комитетом КПСС и Советским Правительством.
В целях создания необходимых условий для улучшения разведывательной и контрразведывательной работы считаем целесообразным выделить из Министерства внутренних дел СССР оперативно-чекистские управления и отделы и на их базе создать Комитет по делам государственной безопасности при Совете Министров СССР»[92].
Далее в записке излагались соображения о структуре центрального аппарата нового государственного ведомства и о создании «для проведения на местах мероприятий, связанных с обеспечением государственной безопасности» его управлений в республиках, краях и областях, а также крупных промышленных центрах, Особых отделов в военных округах, соединениях и частях, а также аппаратов Уполномоченных Комитета на железных дорогах и в водных бассейнах.
В процессе реформирования МВД СССР Кругловым также предлагалось сократить численность оперативного состава «чекистских» органов на 20 %, что должно было составить 15 956 штатных единиц, и должно было дать годовую экономию в 346 миллионов рублей. А всего, с учетом сокращения численности личного состава МВД (на 8 839 штатных единиц), реформа обещала экономию в сумме 860 млн. рублей.
13 марта 1954 г. был принят соответствующий Указ, единственный пункт которого гласил:
«Президиум Верховного Совета СССР постановляет:
Образовать Комитет государственной безопасности при Совете Министров СССР».
И в тот же день уже другим указом первым председателем КГБ при СМ СССР был назначен генерал-полковник Иван Александрович Серов, бывший до этого заместителем министра внутренних дел. Указом предусматривалось также, что председатель Комитета входит в состав Совета министров с правом решающего голоса.
Отметим, что в то время под охраной государственной безопасности понималась, и такое ее понимание сохранилось до конца 80-х годов, широкая система мероприятий, осуществляемых различными органами Советского государства, их должностными лицами и гражданами, включающая охрану государственных границ, государственной тайны, и другие, в том числе чрезвычайные меры по охране государственной безопасности и общественного порядка.
В соответствии с Конституцией СССР обеспечение государственной безопасности относилось к ведению Союза ССР, в связи с чем его высший законодательный орган издавал законы в области государственной безопасности, а Совет министров был уполномочен направлять и координировать работу министерств и ведомств союзных республик, призванных участвовать в этом процессе в соответствии со своей компетенцией. Определенная компетенция в области обеспечения госбезопасности, помимо КГБ СССР, была установлена также для министерств иностранных дел, обороны, внутренних дел, здравоохранения, транспорта, связи и ряда других министерств и ведомств СССР.
КГБ при СМ СССР являлся, на правах союзно-республиканского министерства, центральным органом государственного управления в сфере обеспечения государственной безопасности Советского Союза.