Размежевание в социал-демократическом движении, происшедшее на втором съезде, вызвало острую внутрипартийную борьбу. Объясняя содержание возникших разногласий, в апреле 1904 года Ленин написал книгу «Шаг вперед, два шага назад». Эта работа вызвала живейший отклик у Иосифа Джугашвили; она отвечала его собственным убеждениям и практическим выводам. Ленинские мысли подтвердили и ею мнение о необходимости создания боевой массовой организации, на что он сам постоянно направляет свои усилия.
Развивая эти выводы в статье «Класс пролетариата и партия пролетариата», опубликованной 1 января 1905 г., он пишет: «Партия, которая поставила своей целью руководить борющимся пролетариатом, должна представлять не случайное скопление одиночек, а сплоченную централизованную организацию... До сегодняшнего дня наша партия была похожа на гостеприимную патриархальную семью, которая готова принять всех сочувствующих. Но после того как наша партия превратилась в централизованную организацию, она сбросила с себя патриархальный облик и полностью уподобилась крепости, двери которой открываются лишь для достойных».
Конечно, мотивы, которыми руководствовались люди, вступавшие в ряды социал-демократов, были различными. И после принятия программы партии для ликвидации разброда требовалась выработка новой тактики революционных действий. Летом 1904 года в Швейцарии, под Женевой, состоялась конференция с участием 22 представителей российских организаций, присоединившихся к Ленину и подписавших воззвание о необходимости созыва нового партийного съезда. К этому времени руководство социал-демократическим ЦК и газетой «Искра» оказалось в руках меньшевиков, и поэтому другим итогом конференции стало создание большевистской газеты «Вперед». Боясь утраты приобретенных позиций, меньшевики заявили о «несвоевременности» созыва съезда, выступив об этом в печати.
Во второй половине 1904 года вокруг этого вопроса завязалась острая фракционная борьба. Она распространилась и на Россию. ЦК РСДРП направил на Кавказ своего представителя И. Дубро-винского, который убедил Совет Кавказского союза, Тифлисский и Имеретино-мингрельский комитеты в необходимости поддержать меньшевистский ЦК.
Но приезд на Кавказ Землячки и Зеликсон, информировавших о позиции большевиков, привел к пересмотру этого решения. Под влиянием Джугашвили первым это сделал Имеретино-мингрельский комитет, высказавшийся за проведение съезда
Критикуя позицию лидера меньшевиков Плеханова, в конце сентября Иосиф пишет из Кутаиса своему товарищу Михе Давиташвили, находившемуся в Лейпциге: «Здесь был один из ваших краев, взял с собой резолюцию Кавказского комитета в пользу экстренного съезда Напрасно ты смотришь на дело безнадежно, колебался только Кутаисский комитет, но мне удалось убедить их». Это письмо попало к Ленину, и, по существу, с него состоялось первое заочное знакомство двух вождей российского пролетариата.
В октябре Иосиф Джугашвили вернулся в Тифлис. Он остановился на квартире Артема Торзова, где его постоянно навещают товарищи. Среди них Миха Бочаридзе; здесь его нашел и бежавший из батумской тюрьмы Тер-Петросян (Камо).
Он ведет затворническую, почти монашескую, но полную опасностей жизнь подпольного нелегала, в которой нет места даже маленьким безмятежным развлечениям. Он занят лишь делом, и это дело, требующее полной самоотдачи и альтруистического самоотвержения, составляет главное существо его интересов, заполняет внутренний духовный и психологический мир, его мысли. Это жизнь аскета. Полная внутренних страстей и человеческих эмоций, противоречий и идейных столкновений, сегодняшних тактических удач и веры в достижение далеко идущих целей, являлась отражением его убеждений.
Мир таких «людей, так рьяно отвергавших настоящее, так живших будущим, большинству из нас вообразить невозможно. Нужны были непомерная вера и надежда, страсть, целый спектр страстей, делавших их революционерами, чтобы вести такую жизнь», — отмечает Чарльз П. Сноу. Его уделом была «подлинная революция, ставшая его профессией, его ремеслом». В своей книге «Вереница лиц», описывая дореволюционный период деятельности Иосифа Джугашвили, Сноу делает тонкое аналитическое замечание: «Сталин работал не просто в подполье, но в подполье подполья».
Сравнивая его жизнь с образом бытия революционеров, находившихся в эмиграции в Западной Европе и вынашивающих «идеи», Ч.П. Сноу калейдоскопически подчеркивает: «Жизнь Сталина, как и других оставшихся в России практиков, была куда суровее. Глубокое подполье... Стачки. Распространение литературы. Налеты. — Хлеб насущный кануна революции. Агенты-провокаторы. Тюрьмы. Побеги из тюрьмы. Сибирь».
Из заключения и первой ссылки Иосиф Джугашвили вернулся уже сложившимся полемистом Он умеет находить слабые места в аргументации оппонентов и, обнажив их, разрушать шаткие построения убийственным огнем логики и залпами иронии. Большая часть таких споров касалась искажений марксизма. Это требовало с его стороны как глубокого изучения самих работ Маркса и Энгельса, так и аналитического увязывания теоретических положений с современными событиями.
К этому времени он приобрел прочные навыки ведения политических диспутов. Он мгновенно находит слабые места в логических построениях оппонентов и наносит разящие удары, разоружая их. Его устные и публицистические заключения аргументированы, резки и часто язвительно насмешливы. Отстаивая в спорах с меньшевиками необходимость превращения партии в боевую организацию, способную возглавить грядущую революцию, он пишет в своей статье: «Плеханов... знает, что даже если из «Отче наш» вырвать одну фразу и толковать ее оторвано, то автор ее, пожалуй, может даже угодить на виселицу за богоотступничество».
Удерживая в полемике большевистские позиции, он резок, язвителен и не стесняется уличить оппонента в глупости, трусости или лживости. В одной из статей, перечислив восемь утверждений своего противника и сопроводив их резкой отповедью: «ложь первая», «ложь вторая» и т.д., Иосиф Джугашвили ниспровергающе заключает: «Я не касаюсь мелкой лжи, которой так щедро автор приправил брошюру». Эти страстные споры, которые социал-демократы вели в ту пору на страницах нелегальной прессы и партийных встречах, не были праздным времяпрепровождением. Вред и опасность идейного ренегатства в марксистском движении убедительно подтвердились ходом истории, перечеркнувшим завоевания народа и поставившим его в конце XX века перед необходимостью начинать все сначала.
Оставаясь членом Имеретино-Мингрельского комитета, И. Джугашвили вошел в состав Кавказского союзного комитета РСДРП; это изменило характер его партийных обязанностей и выполняемых задач. До осени 1905 года он регулярно уезжает из Тифлиса, посещая Баку, Владикавказ, Батум, Кутаис, Гори, Диди Джихаиши, Кобулети, Перевеси, Хони, Чиатуры и другие пункты. В его функции входит: координация действий и контроль организаций на местах; осуществление особо конспиративных контактов между их руководителями; мобилизация и распределение денежных средств.
Это дает ему возможность установить не только деловые, но и дружеские связи в среде революционного актива. Одновременно такая деятельность требует от него и приобретения связей в «околопартийных» слоях общества, оказывающих подполью финансовую и общественную поддержку. Но есть и еще одна, секретная сторона его работы, требующая повышенной конспирации и составляющая особую тайну подполья.