В результате разукрупнения тогда же Административно-организационного управления новое Управление делами ОГПУ возглавил Яков Маркович Вейншток (также протеже Евдокимова), а Финансовый отдел, теперь подведомственный непосредственно председателю ОГПУ, — Л.И. Берензон, бессменный финансист ВЧК-ОГПУ с 1918 г.
В ходе кадровых изменений начальником Отдела центральной регистрации (ОЦР) стал близкий к новому зампреду Балицкому украинский чекист Яков Вульфович Письменный, в Особом отделе, частично «очищенном» от соратников Ольского (был переведен в Ташкент З.М. Залин), заместителем начальника был назначен другой выдвиженец Балицкого — И.М. Леплевский (в ноябре того же года возглавил ОО ОГПУ). Но группе Ягоды — Прокофьева удалось сохранить контроль над ЭКУ, начальником которого в августе 1931 г. стал Л. г. Миронов. В июне 1932 г. Л.И. Когана на посту начальника ГУЛАГ сменил М.Д. Берман.
В октябре 1932 г. после перехода И.А. Акулова на партийную работу пост 1-го зампреда ОГПУ остался незамещенным, но фактически с этого времени (с декабря 1932 г. фактически не работал в центральном аппарате В.А. Балицкий, направленный на Украину) деятельностью органов ОГПУ руководил 2-й зампред Ягода, оказывавший значительное (но далеко не абсолютное) влияние на кадровые вопросы. Ягода способствовал удалению на Украину (вслед за Балицким) Израиля Леплевского, которого сперва фактически (как заместитель начальника), а с июня 1933 г. и формально (как начальник отдела) сменил в ОО ОГПУ Марк Гай.
Ко времени смерти председателя ОГПУ В.Р. Менжинского (10 мая 1934 г.) и реорганизации органов госбезопасности летом 1934 г. евреи на руководящих постах в ОГПУ были представлены следующим образом: 2-й заместитель председателя г. г. Ягода;
Заместитель председателя Я.С. Агранов (с февраля 1933 г.);
Член Коллегии (с мая 1933 г.) Л. г. Миронов (начальник ЭКУ);
Особоуполномоченный при председателе ОГПУ А.Я. Беленький;
В ИНО — заместитель начальника отдела А.А. Слуцкий (в марте 1933 г. заменил на этом посту переведенного в СПО М.С. Горба), помощник начальника В.М. Горожанин, начальники отделений: 1-го (нелегальная разведка) Л.А. (Н.И.) Наумов (Эйтингон), 2-го (контроль за въездом и выездом иностранцев) — Я.М. Бодеско-Михали, 6-го (восточного) — вр. и. д. Илья Гедеонович Герт (в 1933 г.), 7-го (внешняя контрразведка в советских представительствах за границей) — Эрнест Яковлевич Фурман, 8-го (научно-техническая разведка) — Петр Давидович Гутцайт;
Секретно-политический отдел — заместитель начальника Генрих Самойлович Люшков (ранее помощник начальника и начальник 2-го отделения), помощник начальника (и начальник 4-го отделения) М.С. Горб;
Особый отдел — начальник отдела М.И. Гай, начальники отделений Семен Григорьевич Гендин, Владимир Семенович Гарт, Владимир Маркович Кононович;
Оперативный отдел — К.В. Паукер, заместитель начальника Зиновий Маркович Волович, помощники начальника Борис Яковлевич Гулько, М.М. Алиевский;
ЭКУ-начальник управления Л. г. Миронов, помощник начальника Д.М. Дмитриев (до 1933 г. этот пост занимал также A.M. Минаев-Цикановский), начальники отделений Я.П. Ржавский, Я.Ш. Дашевский, Я. г. Рыбальский, И.И. Ильицкий, Я.Б. Лоев, А. г. Горянов-Горный;