Самому Генриху тоже была уготована недолгая жизнь. Страдал он туберкулезом и малокровием, а еще в 1907 году пятнадцатилетнем подростком примкнул к нижегородским анархистам-коммунистам. Через год его поймали, но вскоре отпустили. По всей видимости, полиции о подростке сообщил лидер нижегородских анархистов-коммунистов — Иван Алексеевич Чемборисов, который совмещал политическую деятельность с тайным сотрудничеством с Департаментом полиции.
Опасных для Российской империи затей Генрих Ягода не бросил: неплохо освоил скупку и перепродажу динамита, ездил в Москву за «пудом гремучего студня» и вынашивал планы ограбления банка в Нижнем Новгороде. Одновременно он поддерживал связь с эсерами. Его партийные клички той эпохи: Темка, Сыч и Одинокий.
В 1912 году Генриха Ягоду задержали в Москве: будучи евреем, он не имел права жить в Москве и поселился там по подложному паспорту, оформленному на имя некого Галушкина у своей сестры Розы — члена партии анархистов. Жандармы отметили, что молодой человек имел намерение перейти в православие и устроиться на работу в старой столице. Как и его отец, он сумел выйти «сухим из воды». Суд приговорил его к двум годам ссылки в Симбирск, где у деда был свой дом.
Амнистия по случаю трехсотлетия дома Романовых позволила Генриху Ягоде в 1913 году не только вернуться из ссылки, но и поселиться в Петербурге. Для этого ему пришлось принять православие и формально отказаться от иудаизма. Хотя теперь у него появилась новая вера — коммунизм.
Сложно сказать, сам ли он примкнул к большевикам или надоумили отец с братьями, но с осени 1913 года он трудился статистиком и сотрудничал с легальным партийным журналом «Вопросы страхования». В этом ему помог троюродный брат Яков Свердлов.
В 1915 году Генриха Ягоду мобилизовали на войну. В отличие от своего брата Льва Генрих не стал демонстрировать «пацифистских» убеждений. Он дослужился до ефрейтора 20-го стрелкового полка 5-го армейского корпуса, а осенью 1916 года был ранен и демобилизован.
Вернувшись в Петроград, с головой ушел в революцию, работал в военной организации большевиков и Петроградском совете, поучаствовал и в захвате власти в октябре 1917 года в Москве. С ноября 1917 года по апрель 1918 года — ответственный редактор газеты «Крестьянская беднота».
А затем в жизни скромного статистика и журналиста произошел кардинальный перелом. Новой бюрократии требовались грамотные делопроизводители, а родство и тесное знакомство с председателем ВЦИК Яковым Свердловым позволяли рассчитывать на хорошую карьеру. Двадцатишестилетнего Генриха Ягоду в апреле 1918 года устроили управляющим делами Высшей военной инспекции — он ведал демобилизацией старой армии, выезжал на многочисленные в 1918 году фронты. В сентябре 1919 года он лишился этого поста, но без работы сидел недолго. Молодого трудоголика приметил Феликс Дзержинский — в ноябре 1919 года Генриха Ягоду назначили управделами Особого отдела ВЧК. Управлять делами ему определенно нравилось — меньше чем через год он стал отправлять ту же должность в масштабах всея Чека. Тогда же он стал членом коллегии ВЧК. В январе 1921 года его назначили заместителем начальника Особого отдела ВЧК-ГПУ В марте 1922 года он занял аналогичную должность, но уже в Секретно-оперативном управление ВЧК-ГПУ-ОГПУ СССР (в июле 1927 года он станет начальником этого управления и пробудет на этом посту до 1929 года). Одновременно, с июня 1922 года по октябрь 1929 года он возглавлял Особый отдел ГПУ РСФСР ОГПУ СССР С сентября 1923 года — 2-ой заместитель Председателя ГПУ-ОГПУ СССР. Затем он стал 1-м заместителем председателя ОГПУ, а в июле 1931 года просто заместителем председателя ОГПУ. Пост наркома внутренних дел (ОГПУ было преобразовано в НКВД в 1934 году) он формально занял в июле 1934 года, хотя фактически произошло это значительно раньше. Его предшественник, Вячеслав Рудольфович Менжинский (председатель ОГПУ с июля 1926 года) в последние годы своей жизни (умер в мае 1934 года) тяжело болел и большинство функций по управлению ведомством передал своему заместителю — Генриху Ягоде.
Генрих Ягода подстраховался — женился на Иде Авербах — племяннице Якова Свердлова. Другой мощный рычаг — организация возвращения из-за границы Максима Горького. В этой операции активное участие принял Леопольд Авербах — брат супруги. Он специально ездил к «буревестнику революции» в Италию, чтобы уговорить его вернуться в Советский Союз.