Транспортный отдел (ТО) — (борьба с вредительством, диверсиями на транспорте) (153, В.А.Кишкин).
Учетно-статистический отдел (УСО) — (оперативный учет, статистика, архив) (107, Я.М.Генкин).
Всего по штатам ГУГБ НКВД СССР значилось 1410 человек. Работой ГУГБ руководил сам нарком внутренних дел СССР (нарком ВД СССР) Г.Г.Ягода. Формально в этот период должности начальника ГУГБ не существовало, но фактически аппарат госбезопасности возглавлял первый зам. наркома ВД СССР Я.С.Агранов. Вторым заместителем наркома ВД СССР был назначен Г.Е.Прокофьев. Оба ранее являлись заместителями Председателя ОГПУ СССР.
В АХУ НКВД СССР входили: административно-хозяйственный отдел (АХО), хозяйственный отдел (ХОЗО), отдел связи, санитарный отдел, сельскохозяйственный отдел, тюремный отдел, поликлиника и больница, три автобазы, комендатура, пожарная охрана, изоляторы: Бутырский, Сретенский, Особого назначения, а также Челябинский, Верхнеуральский, Суздальский и Ярославский. Кроме того, в центральный аппарат НКВД СССР входили партком, профком, кооперативное управление, рабфак, и некоторые другие. Всего по штатам центрального аппарата НКВД СССР значилось 8211 человек.
На основании постановления ЦИК СССР от 17 августа 1934 года Конвойные войска были включены в состав Внутренней охраны НКВД СССР.
На основании постановления ЦИК и СНК СССР от 27 октября 1934 года исправительно-трудовые учреждения Наркомюста (дома заключения, изоляторы, исправительно-трудовые колонии, бюро принудительных работ) были переданы в состав ГУЛАГа НКВД СССР, где был организован Отдел мест заключения.
На основании постановления СНК СССР от 22 ноября 1934 года в составе НКВД СССР был организован Отдел лесной охраны во главе с А.Г.Горяновым (приказом НКВД СССР от 15 марта 1936 года Отдел лесной охраны НКВД СССР был включен в состав ГУРКМ НКВД СССР, а начальником Отдела лесной охраны ГУРКМ НКВД СССР был назначен С.Ф.Белоногов; на основании постановления ЦИК и СНК СССР от 2 июля 1936 года Отдел лесной охраны из состава ГУРКМ НКВД СССР был передан в состав Главного управления лесоохраны и лесонасаждений при СНК СССР).
5 ноября 1934 г. при наркоме ВД СССР было организовано Особое совещание (ОСО). Секретарем ОСО был назначен П.П.Буланов.
Во исполнение постановления СНК СССР № 2769 от 26 декабря 1934 г. приказом НКВД СССР № 00191 от 29 декабря 1934 г. в составе НКВД СССР была организована Главная инспекция пограничной, внутренней охраны и РКМ НКВД Этим же приказом главным инспектором был назначен Н.М.Быстрых.
Постановлением ЦИК СССР от 10 июля 1934 г. (пункт 9) "Об организации НКВД СССР" было поручено представить в СНК СССР на утверждение проект "Положения об НКВД СССР", однако оно не было утверждено ни в 1934 г., ни в последующие годы до ликвидации в 1960 г. МВД СССР. Правда в 1953 г. в период объединенного МВД СССР при Л.П.Берия и позже при Н.П.Дудорове были сделаны попытки подготовить проекты "Положения об МВД СССР', но утверждены они не были. Необходимо также отметить, что почти все структурные подразделения НКВД — МВД СССР имели свои "Положения", которые утверждались приказами наркома (министра) внутренних дел СССР и которые время от времени с изменением функций этих подразделений обновлялись.
На основании постановления СНК СССР и ЦК ВКП(б) от 31 мая 1935 г. "О ликвидации детской беспризорности и безнадзорности" в составе АХУ НКВД СССР был организован Отдел трудовых колоний для несовершеннолетних. Начальником этого отдела был назначен бывший управляющий трудкоммуной № 2 ОГПУ П.С.Перепелкин.
Постановлением Совета Народных Комиссаров СССР (СНК СССР) от 15 июля 1935 г. в составе НКВД СССР было организовано Главное управление государственной съемки и картографии (ГУГСК) НКВД СССР. Его начальником был назначен (по совместительству) с должностью начальника Отдела лесной охраны НКВД СССР — А.Г.Горянов.
Постановлением ЦИК и СНК СССР от 7 октября 1935 г. для сотрудников ГУГБ были введены следующие специальные звания: комиссар государственной безопасности 1 ранга (комиссар гб 1 ранга), комиссар гб 2 ранга, комиссар гб 3 ранга, старший майор гб, майор гб, капитан гб, старший лейтенант гб, лейтенант гб, младший лейтенант гб и сержант гб.
Постановлением ЦИК и СНК СССР от 26 ноября 1935 г. было установлено звание "Генеральный комиссар государственной безопасности". Тогда же это звание было присвоено наркому ВД СССР Г.Г.Ягоде.
Звание "Генеральный комиссар гб" просуществовало до 9 июля 1945 г., когда оно было заменено на соответствующее ему воинское звание "Маршал Советского Союза". Генеральными комиссарами государственной безопасности были три человека: Г.Г.Ягода (звание было присвоено 26 ноября 1935 г.), Н.И.Ежов (27 января 1937 г.) и Л.П.Берия (30 января 1941 г.).