Сравнивая его жизнь с образом бытия революционеров, находившихся в эмиграции в Западной Европе и вынашивающих «идеи», Ч.П. Сноу калейдоскопически подчеркивает: «Жизнь Сталина, как и других оставшихся в России практиков, была куда суровее. Глубокое подполье... Стачки. Распространение литературы. Налеты. — Хлеб насущный кануна революции. Агенты-провокаторы. Тюрьмы. Побеги из тюрьмы. Сибирь».
Из заключения и первой ссылки Иосиф Джугашвили вернулся уже сложившимся полемистом Он умеет находить слабые места в аргументации оппонентов и, обнажив их, разрушать шаткие построения убийственным огнем логики и залпами иронии. Большая часть таких споров касалась искажений марксизма. Это требовало с его стороны как глубокого изучения самих работ Маркса и Энгельса, так и аналитического увязывания теоретических положений с современными событиями.
К этому времени он приобрел прочные навыки ведения политических диспутов. Он мгновенно находит слабые места в логических построениях оппонентов и наносит разящие удары, разоружая их. Его устные и публицистические заключения аргументированы, резки и часто язвительно насмешливы. Отстаивая в спорах с меньшевиками необходимость превращения партии в боевую организацию, способную возглавить грядущую революцию, он пишет в своей статье: «Плеханов... знает, что даже если из «Отче наш» вырвать одну фразу и толковать ее оторвано, то автор ее, пожалуй, может даже угодить на виселицу за богоотступничество».
Удерживая в полемике большевистские позиции, он резок, язвителен и не стесняется уличить оппонента в глупости, трусости или лживости. В одной из статей, перечислив восемь утверждений своего противника и сопроводив их резкой отповедью: «ложь первая», «ложь вторая» и т.д., Иосиф Джугашвили ниспровергающе заключает: «Я не касаюсь мелкой лжи, которой так щедро автор приправил брошюру». Эти страстные споры, которые социал-демократы вели в ту пору на страницах нелегальной прессы и партийных встречах, не были праздным времяпрепровождением. Вред и опасность идейного ренегатства в марксистском движении убедительно подтвердились ходом истории, перечеркнувшим завоевания народа и поставившим его в конце XX века перед необходимостью начинать все сначала.
Оставаясь членом Имеретино-Мингрельского комитета, И. Джугашвили вошел в состав Кавказского союзного комитета РСДРП; это изменило характер его партийных обязанностей и выполняемых задач. До осени 1905 года он регулярно уезжает из Тифлиса, посещая Баку, Владикавказ, Батум, Кутаис, Гори, Диди Джихаиши, Кобулети, Перевеси, Хони, Чиатуры и другие пункты. В его функции входит: координация действий и контроль организаций на местах; осуществление особо конспиративных контактов между их руководителями; мобилизация и распределение денежных средств.
Это дает ему возможность установить не только деловые, но и дружеские связи в среде революционного актива. Одновременно такая деятельность требует от него и приобретения связей в «околопартийных» слоях общества, оказывающих подполью финансовую и общественную поддержку. Но есть и еще одна, секретная сторона его работы, требующая повышенной конспирации и составляющая особую тайну подполья.
Уже на III съезде Кавказского союза РСДРП весной 1904 года была создана Комиссия для разработки проекта об организации вооружения. Принятое решение обязывало, «чтобы каждая организация отчисляла известный процент на дело вооружения». Первоначально это решение предполагало создание боевых отрядов для охраны демонстраций и митингов. Комиссия представила свои предложения ЦК РСДРП, где эта идея получила поддержку и была признана неотложной. Без «вооружения ядра» вообще не рекомендовалось устраивать демонстрации. Таким образом, именно Кавказский союз РСДРП стал инициатором перехода к вооруженной борьбе с самодержавием.
Летом 1904 года на Кавказе стали создаваться первые боевые дружины. Наиболее активной в этом отношении была Имеретино-Мингрельская организация, опиравшаяся на чиатурских рабочих. Однако руководивший ею Иосиф Джугашвили направил свои усилия не только на распространение «кутаисского опыта», но и на организацию при Кавказском союзе особого «бюро вооружения».