С 25 декабря 1936 г. Особый отдел ГУГБ стал именоваться 5-м отделом ГУГБ НКВД СССР. 28 марта 1938 г. состоялось решение Политбюро ЦК ВКП(б) об очередной реорганизации НКВД и ликвидации ГУГБ — новая структура НКВД СССР была объявлена приказом НКВД СССР № 00362 от 9 июня 1938 г. В его состав вошли три управления: 1-е — Государственной безопасности, 2-е — Особых отделов, 3-е — Транспорта и связи[80].
Деятельность особых отделов флотов была регламентирована совместным приказом НКВМФ и НКВД СССР № 0056/007 от 17 января 1939 г., в котором были определены специальные задачи по борьбе с контрреволюцией, шпионажем, диверсией, вредительством и всякого рода антисоветскими проявлениями в Рабочекрестьянской Красной армии, Военно-морском флоте и пограничных и внутренних войсках НКВД.
Начальники особых отделов флотов, флотилий и соединений в них назначались народным комиссаром внутренних дел СССР по согласованию с народным комиссаром Военно-морского флота СССР. Назначение оперуполномоченных особых отделов при частях, на кораблях, в соединениях флота, флотилий, военноучебных заведениях и складах согласовывалось с военными советами флотов, командующими и военкомами флотилий. Назначение начальника Особого отдела НКВД СССР, начальников особых отделов флотов (флотилий) и начальников особых отделов соединений флота объявляется также приказом народного комиссара Военно-морского флота СССР.
Кроме того, Особый отдел НКВД СССР выполнял специальные задания народного комиссара обороны СССР и народного комиссара Военно-морского флота, а на местах — военных советов соответствующих округов, армий и флотов (командующих и военкомов флотилий).
Начальнику Особого отдела НКВД СССР предписывалось своевременно и исчерпывающе информировать Народный комиссариат Военно-морского флота СССР (наркома, его заместителей, а по отдельным вопросам по указанию народного комиссара Военно-морского флота — начальников центральных управлений Народного комиссариата Военно-морского флота) о всех недочетах в состоянии частей Рабоче-крестьянского Военно-морского флота и обо всех проявлениях вражеской работы, а также обо всех имеющихся компрометирующих материалах и сведениях на военнослужащих, особенно на начальствующий состав. На местах особые отделы флотов информируют соответствующие военные советы, особые отделения НКВД флотилий и соединений флота — командиров и комиссаров флотилий соответствующих соединений флота, а оперуполномоченные при отдельных частях, учреждениях и заведениях РКВМФ — соответствующих командиров и комиссаров этих частей. Начальники особых отделов и отделений флотилий, соединений флота входили в состав военно-политических совещаний и информировали эти совещания о недочетах в политико-моральном состоянии частей, их боевой подготовке и снабжении[81].
Система управления обеспечения государственной безопасности и поддержания правопорядка в Советском Союзе накануне Великой Отечественной войны представляла собой многоуровневую и многозвенную иерархическую структуру в виде Наркомата внутренних дел СССР. К началу 1941 г. НКВД СССР представлял собой многоотраслевой орган административного надзора, в структуру которого входили подразделения, занимавшиеся обеспечением государственной безопасности (разведка, контрразведывательная работа, в том числе в системе НКО и НКВМФ, борьба с антисоветской деятельностью, охрана высших должностных лиц государства, шифровальное дело, политический контроль), охраной общественного порядка (правоохранительная деятельность), пограничной, внутренней, пожарной охраной, организацией исполнения наказания (содержание тюрем, исправительно-трудовых лагерей, трудовых поселений) и трудового использования заключенных и спецпоселенцев (экономическая и научно-техническая деятельность). Громоздкость структуры НКВД СССР, разноплановость его функций создавали существенные проблемы управления государственной безопасностью.