По значимости спецзвания сотрудников ГУГБ были иные, нежели в армии. Например, звание "старший лейтенант гб" соответствовало воинскому званию "майор", спецзвание "капитан гб" соответствовало воинскому званию "полковник" и т. д.
Первоначально спецзвания работников ГУГБ обозначались в петлицах и на рукавах золотыми и серебряными звездочками, а с июля 1937 г. золотые звездочки были заменены "ромбами", серебряные звездочки — "шпалами". Приведем для примера знаки различия в петлицах для работников системы ГУГБ:
Генеральный комиссар гб — большая маршальская звезда.
Комиссар гб 1 ранга — звезда и 4 ромба (командарм 1 ранга РККА, а с мая 1940 г. — генерал армии).
Комиссар гб 2 ранга — 4 ромба (командарм 2 ранга РККА, генерал-полковник).
Комиссар гб 3 ранга — 3 ромба (комкор, генерал-лейтенант).
Старший майор гб — 2 ромба (комдив, генерал-майор).
Майор гб — 1 ромб (как у комбрига).
Капитан гб — 3 шпалы (как у полковника РККА, а с 1939 г. подполковника).
Старший лейтенант гб — 2 шпалы (как у майора РККА).
Лейтенант гб — 1 шпала (как у капитана РККА).
Младший лейтенант гб — 3 квадрата (как у старшего лейтенанта РККА).
Сержант гб — 2 квадрата (как у лейтенанта РККА).
С введением 9 февраля 1943 г. новых знаков различия — "погонов", звания "старший майор гб" было заменено на соответствующее ему звание "комиссар государственной безопасности". Тогда же появились звания "полковник" и подполковник" государственной безопасности. После проведения аттестации всем капитанам гб с 11 февраля 1943 г. было присвоено звание "подполковник гб", "старшим лейтенантам гб" — звание "майор гб" и т. д.
"Старшим майорам гб" и "майорам гб" новые звания присваивались в индивидуальном порядке, однако, как правило, "майоры гб" становились "полковниками гб", а "старшие майоры гб" — "комиссарами гб". Все эти звания просуществовали до 9 июля 1945 г., когда были заменены на соответствующие им воинские звания.
За всю историю существования спецзвания "комиссар государственной безопасности 1 ранга" (а с 9 июля 1945 г. — генерал армии), это звание было присвоено девяти чекистам: Я.С.Агранову, В.А.Балицкому, Т.Д.Дерибасу, Г.Е.Прокофьеву, С.Ф.Реденсу, Л.М.Заковскому (всем это звание было присвоено 26 ноября 1935 г.), Г.И.Благонравову (5 июля 1936 г.), Л.П.Берия (11 сентября 1938 г.) и В.Н.Меркулову (5 февраля 1943 г.).
В 1936 году произошли следующие изменения в структуре центрального аппарата НКВД СССР:
— 4 января 1936 года на базе Инженерно-строительного отдела (ИСО) ГУПВО НКВД СССР был организован Инженерно-строительный отдел (ИСО) НКВД СССР. Его начальником был назначен А.Я.Лурье. На ИСО НКВД СССР было возложено руководство капитальным строительством.
— 15 января 1936 года в составе НКВД СССР было организовано Управление особого строительства (УОС). Его начальником быт назначен Э.А.Зибрак. На УОС НКВД СССР было возложено руководство строительством хлебого-родков для хранения неприкосновенного фонда хлебофуража.
Приказом НКВД СССР № 0033 от 28 января 1936 г. было объявлено о передаче Управления коменданта Московского Кремля из состава НКО СССР в состав НКВД СССР. Этим же приказом комендантом Московского Кремля был назначен комдив Ткалун П.П.
— На основании постановления СНК СССР от 3 марта 1938 г. в составе НКВД СССР было организовано Главное управление строительства шоссейных дорог (ГУШОСДОР). Его начальником был назначен Г.И.Благонравов (с 5 июля 1936 г. — комиссар гб 1 ранга).
— 15 марта 1936 года А.Г.Горянов был освобожден от должности начальника Отдела лесной охраны НКВД СССР, а сам этот отдел был включен в состав ГУРКМ НКВД СССР на правах самостоятельного отдела. Начальником Отдела лесной охраны ГУРКМ НКВД СССР был назначен С.Ф.Белоногов.
— 26 июня 1936 года на основании постановления СНК СССР в состав НКВД СССР было включено Центральное управление мер и весов, которое вскоре было переименовано в Главное управление мер и весов (Главмервес) НКВД СССР (врио начальника — Г.К.Карманов).
— 26 сентября 1936 г. Генеральный комиссар гб Г.Г.Ягода был освобожден от должности наркома ВД СССР и назначен наркомом связи СССР. 3 апреля 1937 г. постановлением ЦИК СССР он был отстранен от этой должности и арестован. Военной коллегией Верховного Суда СССР 13 марта 1938 г. Г.Г.Ягода был приговорен к расстрелу. В прошении о помиловании в адрес Президиума Верховного Совета (ЛВС) СССР от 13 марта 1938 г. он написал: "Вина моя перед родиной велика. Не искупить ее в какой-либо мере. Тяжело умирать. Перед всем народом и партией стою на коленях и прошу помиловать меня, сохранив мне жизнь". Ходатайство было отклонено и 15 марта 1938 г. Г.Г.Ягода был расстрелян.