Начиная с 1898 года, он состоял в Российской социал-демократической рабочей партии (РСДРП). Следующие десять лет после исключения из семинарии в 1899 году он провел на Кавказе в качестве социал-демократического агитатора. Его «подрывная» деятельность проходила в основном в городах Тифлис, Баку и Батум. Он возглавлял рабочие демонстрации, принимал участие во многих столкновениях, порой оканчивавшихся кровопролитием, однако уже тогда проявилась его склонность к организации и планированию акций, сочинению листовок манифестов и руководству работой подпольных типографий. Эта тенденция позднее проявилась при проведении пресловутых «экспроприаций».
Исключение из семинарии оставило заметные следы в его характере. Он не только чувствовал себя жертвой социальной дискриминации, но у него также сложилось убеждение, что «правильное» общество его предало. Результатом явилось то, что уже в юности он стал проявлять ко всем и каждому глубокое недоверие и был убежден в том, что ему не на кого положиться, кроме самого себя. Из этой установки впоследствии сформировались некоторые черты его характера, которые затем проявились еще более явно: холодный расчет, абсолютная эмоциональная черствость, презрение к людям и отсутствие каких-либо моральных соображений при достижении поставленных им целей. Человек с подобным характером, естественно, не мог испытывать к другому человеку честной и длительной привязанности, и поэтому на протяжении всей жизни у Сталина едва ли был хоть один настоящий друг.
Из описания одной из соратниц Сталина мы узнаем, каким представал он на обычных политических сходках: «Он был маленького роста, худой и производил впечатление уголовника, чем и напомнил мне мелкого воришку в ожидании приговора. Он носил темно-синюю крестьянскую блузу, узкую куртку и черную турецкую шапку… В его отношении ко мне сквозило недоверие. После долгих расспросов он передал мне пачку нелегальной литературы… С тем же неизменным подозрением и недоверием он проводил меня до дверей». Но, несмотря на внешнюю непрезентабельность, он уже тогда, по всей видимости, пользовался определенным авторитетом, потому что дальше автор воспоминаний пишет так: «В назначенное время Кобы снова на месте не оказалось. Он всегда опаздывал, не намного, зато регулярно… Когда он пришел, атмосфера изменилась… и стала напряженной. Обычно он приходил с книгой, которую держал под мышкой левой, искривленной рукой, и усаживался где-нибудь в сторонке или в углу. Он молча ждал, пока все выскажутся. Он всегда говорил последним… и преподносил собственную точку зрения как окончательную, давая понять, что дискуссия закончена. Поэтому возникало впечатление, что все сказанное им имеет особый вес».
Впервые прочитав основанную Лениным газету «Искра», Коба сразу же почувствовал притягательность взглядов и тезисов Ленина. В этой же газете Владимир Ильич Ульянов в 1902 году под псевдонимом Ленин опубликовал «один из самых известных революционных манифестов всех времен под названием «Что делать?», где требовал создания жестко централизованной партии, кадры которой составляли бы истинные профессиональные революционеры, выполняющие роль «авангарда пролетариата». С помощью этой партии рабочий класс должен был насильственным путем свергнуть царское самодержавие.
Однако на II съезде РСДРП разногласия быстро привели к расколу между умеренными меньшевиками, готовыми пойти на сотрудничество с буржуазными конституционалистами и предполагавшими устранить царское самодержавие путем либеральных реформ, и большевиками под руководством Ленина, бескомпромиссно отвергавшими подобный план и требовавшими радикальных действий. Естественно, Коба с самого начала был большевиком до мозга костей, которого взгляды Ленина устраивали не только по причине их радикального характера, но и прежде всего потому, что, согласно этим взглядам, роль основной движущей силы готовящейся революции принадлежала профессиональным революционерам.