Перед 3-м отделением стояла задача «ведения шифрработы и руководства этой работой в ВЧК» (ГПУ — ОГПУ — НКВД). Состояло оно вначале всего из трех человек. Руководил отделением старый большевик, бывший латышский стрелок Ф. И. Эйхманс [Эйхманс Федор Иванович родился в 1895 году в селе Вец-Юдуп Гель-фингенского уезда Курляндской губернии в семье кулака. Имел среднее образование, окончил Политшколу второй ступени. Член Коммунистической партии с 1918 года, одновременно начал работать в органах ВЧК-ОГПУ. Зам. начальника 9-го отдела ГУГБ НКВД. Арестован 22 июля 1937 года. Расстрелян 3 сентября 1938 года], одновременно являвшийся заместителем начальника спецотдела. Эйхманс организовывал шифросвязь с заграничными представительствами СССР, направлял, координировал их работу.
Сотрудники 4-го отделения Спецотдела занимались режимом секретности и охраной государственной тайны, выезжали в наркоматы и государственные учреждения, проверяли кабинеты высокопоставленных советских чиновников на звуконепроницаемость, с помощью несложных звуковых тестов выявляли возможные пути утечки сведений, следили за хранением секретной информации в канцеляриях и проводили инструктаж среди персонала. Особое внимание в 4-м отделении обращали на сигнализацию, надежность сейфов различных учреждений и порядок уничтожения использованных документов.
Вот что писал о работе отдела Бокия Георгий Агабеков: «Специальный отдел работает по охране государственных тайн от утечки к иностранцам, для чего имеет штат агентуры, следящей за порядком хранения бумаг. Другой важной задачей отдела является перехватывание иностранных шифров и расшифровка поступающих из-за границы телеграмм. Он же составляет шифры для советских учреждений внутри и вне СССР. Шифровальщики всех учреждений подчиняются непосредственно Специальному отделу. Работу по расшифровке иностранных шифров Спецотдел выполняет прекрасно и еженедельно составляет сводку расшифрованных телеграмм для рассылки начальникам отделов ГПУ и членам ЦК».
Одно из отделений Спецотдела занималось созданием технических приспособлений — локаторов, пеленгаторов — и усовершенствованием передвижных станций, отслеживавших передающие источники. Их оборудование обеспечивал небольшой заводик в Мертвом переулке. Отдел обладал и собственной радиостанцией в поселке Кучино.
Огромную роль в перехвате шпионских радиосигналов играла контрольная сеть Наркомата связи. Ее радиоприемники были разбросаны по всей территории Москвы и находились в ведении Спецотдела. Сеть таких «маяков» фиксировала все сигналы, и если они не входили в систему «Русский код», разработанную в 5-м отделении Спецотдела и включающую 82 шифра, информация об источнике тут же поступала на Малую Лубянку. Процедуру действия в подобных случаях наглядно иллюстрирует один курьезный эпизод, происшедший с Генрихом Ягодой, заместителем начальника ОГПУ, руководителем оперативно-секретного управления.
Однажды через сеть Наркомсвязи были перехвачены сообщения, отправленные неизвестным шифром. Как только этот код попал в криптографическое отделение, он был мгновенно прочтен — составить такой шифр мог, пожалуй, учащийся 8-го класса. Один из двух источников сигналов был передвижным, и уже в первые минуты стало ясно, кто посылал многочисленные сообщения: «Пришлите,, пожалуй ста, еще ящик водки». Отправителем шифровок был Генрих Ягода, развлекавшийся на теплоходе с женой сына Максима Горького. Когда стало очевидно, кто хозяин радиостанций, Бокий решил пошутить и поступил в соответствии с инструкцией: информация была передана в Особый отдел, начальником которого являлся сам Ягода, и вскоре из ворот здания на Лубянке выехала пеленгационная машина, а за ней «воронок» с вооруженной группой захвата. Вычислить передатчик не составило труда, и вскоре особисты ломились в дверь «базы», откуда уходили спиртные напитки на теплоход, плывший по Москве-реке. Обитатели «базы» отвечали на угрозы группы захвата резким тоном, и дело едва не кончилось перестрелкой между сотрудниками.
Специфика работы учреждения коренным образом отличалась от всего того, что творилось в ОГПУ, и требовала привлечения в аппарат людей, обладающих уникальными навыками.
По информации историка Льва Разгона, "Бокий подбирал людей самых разных и самых странных. Как он подбирал криптографов? Это ведь способность, данная от Бога. Он специально искал таких людей. Была у него странная пожилая дама, которая время от времени появлялась в отделе. Я также помню старого сотрудника охранки, статского советника (в чине полковника), который еще в Петербурге, сидя на Шпалерной, расшифровал тайную переписку Ленина. В отделе работал и изобретатель-химик Евгений Гопиус. В то время самым трудным в шифровальном деле считалось уничтожение шифровальных книг. Это были толстые фолианты, и нужно было сделать так, чтобы в случае провала или других непредвиденных обстоятельств подобные документы не достались врагу. Например, морские шифровальные книги имели свинцовый переплет, и в момент опасности военный радист должен был бросить их за борт. Но что было делать тем, кто находился вдали от океана и не мог оперативно уничтожить опасный документ? Гопиус придумал специальную бумагу, и стоило только поднести к ней в ответственный момент горящую папиросу, как толстая шифровальная книга превращалась через секунду в горку пепла.
Да, Бокий был очень самостоятельный и информированный человек, хотя он и не занимался тем, чем занималась иностранная разведка. К работе других отделов ОГПУ он относился с пренебрежением и называл их сотрудников «липачами»".
Подразделения Спецотдела вели обширную научно-техническую и исследовательскую работу. Но были в его структуре также подразделения, информация о которых считалась особо секретной, и лишь узкий круг людей был посвящен в эти тайны. Здесь имелись должности экспертов и переводчиков. Их численность колебалась, но также не превышала 100 человек. Половину составляли криптоаналитики и филологи, большей частью бывшие сотрудники Департамента полиции Российской империи. Во вторую группу засекреченных входили ученые самых разных специальностей. Все рни формально находились в подчинении заведующего лабораторией Спецотдела Е. Е. Гопиу-са [Гопиус Евгений Евгеньевич. Родился в 1897 году в Москве. Русский. Жил в Арзамасе. Окончил реальное училище. С 1915 года участвовал в революционных кружках. Член компартии с 1917 года. С 1918 — секретарь Арзамасского уездного исполкома. Затем работал в Самаре и Нижнем Новгороде. Последняя должность — руководил Нижегородским губернским политпросветом. С 1921 года — в органах ВЧК-ОГПУ. Заведовал химической лабораторией, одновременно окончил 1-й МГУ. Арестован 4 июня 1937 года, расстрелян 30 декабря 1937 года], который имел статус заместителя Бокия по научной работе.