Как видно из упомянутых фактов и документов, положение в органах госбезопасности продолжало оставаться по-прежнему сложным и напряженным.
Однако уже 26 июня 1953 года на заседании Президиума ЦК КПСС Берия был арестован по обвинению в руководстве заговором с целью захвата власти (одновременно арестовали также ряд его заместителей по МВД). Правда, официально о снятии Берии со всех постов и его аресте было сообщено только на пленуме ЦК 2 июля 1953 года. После этого министром внутренних дел был назначен Сергей Никифорович Круглов.
Политическое решение о выделении структур органов госбезопасности из МВД в самостоятельное ведомство было принято Президиумом ЦК КПСС 8 февраля 1954 года, на основании докладной записки министра внутренних дел СССР Круглова. В ней подчеркивалось, что МВД «не в состоянии обеспечить должного уровня агентурно-оперативной работы в свете задач, поставленных перед советской разведкой Центральным комитетом КПСС и советским правительством». Там также содержалось предложение выделить оперативно-чекистские управления и отделы (всего в сорока структурных подразделениях министерства их насчитывалось шестнадцать) и на их базе образовать Комитет по делам государственной безопасности при Совете министров СССР.
Круглов также предлагал в процессе реформирования органов госбезопасности сократить численность их оперативного состава на двадцать процентов. Это должно было составить 15 956 штатных единиц и дать годовую экономию в 346 миллионов рублей. А в целом, с учетом сокращения численности МВД (на 8839 штатных единиц), реформа обещала экономию в сумме 860 миллионов рублей.
По результатам обсуждения данной записки, с учетом высказанных в ходе него предложений и замечаний, 13 марта 1954 года Президиум Верховного Совета СССР принял Указ об образовании Комитета государственной безопасности (КГБ) при Совете министров СССР. Председателем новой структуры был назначен генерал-полковник И. А. Серов, бывший до этого заместителем министра внутренних дел.
Согласно решению Президиума ЦК КПСС, на Комитет государственной безопасности возлагались следующие задачи:
а) ведение разведывательной работы в капиталистических странах:
б) борьба со шпионской, диверсионной, террористической и иной подрывной деятельностью иностранных разведок внутри СССР;
в) борьба с вражеской деятельностью разного рода антисоветских элементов внутри СССР;
г) контрразведывательная работа в Советской армии и на Военно-морском флоте;
д) организация шифровального и дешифровального дела в стране;
е) охрана руководителей партии и правительства.
Помимо этого в партийном решении была сформулирована и главная на тот момент для КГБ задача: «В кратчайшие сроки ликвидировать последствия вражеской деятельности Берия в органах государственной безопасности и добиться превращения органов госбезопасности в острое оружие нашей партии, направленное против действительных врагов нашего социалистического государства, а не против честных людей».
Приказом председателя КГБ от 18 марта 1954 года была определена структура нового ведомства, в которое, не считая вспомогательных и обеспечивающих подразделений, входили:
Первое Главное управление (ПГУ, разведка за границей):
Второе Главное управление (ВГУ, контрразведка);
Третье Главное управление (военная контрразведка);
Четвертое управление (борьба с антисоветским подпольем, националистическими формированиями и враждебными элементами);
Пятое управление (контрразведывательная работа на особо важных объектах);
Шестое управление (транспортное);
Седьмое управление (наружное наблюдение);
Восьмое Главное управление (шифровально-дешифровальное);
Девятое управление (охрана руководителей партии и правительства);
Десятое управление (управление коменданта Московского кремля);
Следственное управление.
В КГБ также имелись пять самостоятельных специальных отделов, Управление правительственной связи и Учетно-архивный отдел.
В связи с передачей 2 апреля 1957 года в КГБ из структуры МВД пограничных войск, для управления ими было образовано Главное управление пограничных войск (ГУПВ).
В целом эта структура раскрывала задачи и функции нового союзно-республиканского ведомства.
Задачи внешней разведки КГБ СССР были конкретизированы в решении ЦК КПСС от 30 июня 1954 года «О мерах по усилению разведывательной работы органов государственной безопасности за границей». Оно требовало сосредоточить усилия на организации работы в ведущих западных державах — США и Великобритании, являвшейся давним геополитическим соперником России, а также на «используемых ими для борьбы против Советского Союза странах, — в первую очередь Западной Германии, Франции, Австрии, Турции, Иране, Пакистане и Японии». В том же году Совет министров СССР утвердил «Положение о Первом главном управлении КГБ», которое определяло его функции, задачи, структуру и штаты.
В июне 1954 года для определения первоочередных задач было проведено Всесоюзное совещание руководящих работников КГБ СССР, на котором с программной речью выступил Первый секретарь ЦК КПСС Н. С. Хрущёв. В докладе председатель КГБ СССР И. А. Серов разъяснил установки Президиума ЦК КПСС, предназначенные для деятельности органов госбезопасности, их роль и место в системе советского государственного управления.