В 1901 году, как с гордостью указывал Зиновьев во всех анкетах и автобиографиях, он вступил в Российскую социал-демократическую рабочую партию (РСДРП). Ни его самого, ни тех, кто читал о столь значимом факте, не смущали два обстоятельства. Отсутствие точной даты — месяц, число — и места вступления в партию, которой тогда просто еще не существовало. Скорее всего, восемнадцатилетний Овсей Радомысльский примкнул к одной из только что возникших социал-демократических групп, лишь два года спустя и объединившихся в РСДРП.
О появлении в Елизаветграде «революционной» организации стало известно полиции, и у Радомысльского, как и у всех его товарищей, провели обыск, за которым никаких репрессий не последовало. Но даже и такой, чисто превентивной, надзирательной меры оказалось для него достаточно. Он решил не рисковать и тут же уехал за границу. Разумеется, на средства отца. Жил недолго в Берлине, Париже, но обосновался в Берне. Там в местном университете и продолжил образование. Но изучал не только химию. Познакомился с проживавшими там эмигрантами из России, сблизился с ними, в их группах выступал с рефератами, для чего потребовалось более углубленно изучать марксистскую литературу. И примкнул к большевикам, выделившимся как фракция из только что, в августе 1903 года, созданной РСДРП.
Только теперь Овсей Радомысльский и стал настоящим членом партии. По ее рекомендации осенью 1903 года возвратился в Россию и начал вести пропагандистскую работу на предприятиях Елизаветграда, Кременчуга, Полтавы, других южных городов. Однако серьезное заболевание сердца, от которого он страдал всю жизнь, вынудило уехать в Берн для лечения. Заодно он возвращается в университет Берна, но на иной факультет — философский. Не забыл он и о партии: участвовал в создании бернской группы большевиков, а в Женеве — заграничной группы, членом комитета которой был избран.
Осенью 1905 года уезжает в революционный Петербург. Продолжает пропагандистскую работу на предприятиях Васильевского острова, Городского района. Участвует в создании профсоюза текстильщиков, Совета безработных. Ведет работу среди солдат, расквартированных в Царском селе; в июле 1906 года участвует в подготовке неудачного восстания в Кронштадте. После кратковременной поездки в Берн — для продолжения лечения — возвращается в столицу, где избирается членом бюро Петроградского комитета партии.
Весной того же 1907 года становившаяся рутиной деятельность Радомысльского резко меняется. Петроградская организация РСДРП посылает его, одного из семнадцати, в Лондон, на Пятый партсъезд. Атам его избирают членом ЦК. Вот теперь Овсей Радомысльский и становится Григорием Зиновьевым. Круг его партийной работы резко расширяется. Он участвует в двух большевистских конференциях — в Гельсингфорсе (Хельсинки) и Выборге. По поручению ЦК посещает Одессу, Николаев, Екатеринослав, чтобы оживить работу их организаций.
Радомысльский-Зиновьев обосновывается в Петербурге. Находит интеллигентное место — наборщика и корректора одной из столичных типографий. Знакомится со слушательницей Высших женских курсов Златой Евновной Левиной (впоследствии — Злата Ионовна Лилина). Вскоре они женятся, снимают хорошую квартиру в центре, на улице Жуковского, и начинают ждать прибавления в семействе. Со стороны — вполне респектабельная пара. Но благополучная жизнь вскоре рушится. Происходит то, что впоследствии Зиновьев рассматривал как заслугу — 29 марта 1908 года его арестовывают.
«Арестовали меня, — вспоминал много лет спустя Зиновьев, — ночью на улице на Васильевском острове (кажется, вместе с Вл. Ив. Невским). Дело было так. У нас было подпольное собрание редакции нелегального “Вперед”. На нем должны были быть (и были) Рыков, Невский и кто-то еще… Когда мы расходились с рукописями, нам дали знать, что идет полиция. Рукописи успели выбросить в раковину, а мы все покинули квартиру и стали уходить. Рыкову удалось выйти (помогла наружность). Меня и Невского арестовали при выходе из ворот и отвезли в часть (кажется, в Коломенскую).
Из условий нашего содержания и из сообщений с воли (во многом благодаря Е. Д. Стасовой принял участие ее отец Д. В. Стасов — тогда, кажется, председатель Союза присяжных поверенных (адвокатов — Ю. Ж. ), человек с большими “связями”) стало ясно, что охранка не знает, кто я. Это подтвердилось на допросах. Меня обвиняли в участии в эсеровской типографии. Стал вопрос: как мне держаться? После сношения с тогдашними бюро ЦК и ПК (связь с волей была отличная, через окно я прямо мог “по телефону” говорить с женой, сестрой (Рива Лея Ароновна Радомысльская, акушерка — Ю. Ж.) и т. п., сидели в общей камере человека четыре), каждый день выпускали (на прогулку — Ю. Ж. )… именно там сочли мой образ действий (при данных условиях не было никакого суда и т. п.) абсолютно и безусловно правильным. Даже сомнений не было, что правильно»3.