Создание большевистских ячеек в армии, завоевание солдатских Советов и комитетов, работа агитаторов и организаторов революционных солдатских масс, боевая работа по подготовке вооруженных сил революции — все это было главным содержанием деятельности военных организаций.
«Военка», как называли тогда Военную организацию, опиралась также на землячества, возникшие сначала на предприятиях, а затем в армии вскоре после свержения царизма. Землячества объединяли рабочих и солдат-крестьян из одной волости, уезда, губернии. Это была весьма гибкая форма сплочения солдат под руководством рабочих и сильное средство влияния на деревню. По инициативе ЦК большевиков было создано Центральное бюро крестьянских землячеств. Центральный Комитет партии поручил Свердлову руководить работой большевиков в землячествах. Свердлов уделял большое внимание этой работе. Он написал один из наказов, с которым делегаты землячеств направлялись в деревню. Им же был составлен проект устава землячеств.
Солдатские массы были легко воспламеняющимся человеческим материалом. Задачи партийных военных организаций особенно усложнялись, когда приходилось сдерживать протест и возмущение солдат, предотвращать преждевременные выступления.
Некоторые из руководителей «Военки» проявляли склонность к «независимости» от общепартийных организаций. В своих письмах и директивах местным партийным организациям Центральный Комитет неоднократно указывал, что военные организации должны быть подотчетны, подконтрольны партийным комитетам и действовать под их руководством. «Лишь при этом условии не будет опасности, что работа среди неоднородных в классовом отношении масс, как солдатская масса, несколько оторвет товарищей от правильного понимания задач партии», — писал Свердлов.
13 августа в связи с закрытием Временным правительством центрального органа — газеты «Рабочий и солдат» ЦК принял решение превратить в орган ЦК газету Военной организации «Солдат». Бюро Военной организации заявило протест и настаивало на необходимости выпускать свой самостоятельный печатный орган «Солдат».
Вопрос о руководстве Военной организацией обсуждался на заседании Центрального Комитета 16 августа. Центральный Комитет осудил сепаратистские тенденции Военной организации. Вместе с тем ЦК пересмотрел свое решение от 13 августа и признал желательным издание газеты для солдат. Издание газеты «Солдат» ЦК поручил редакции, выделенной Военной организацией, и ввел туда члена ЦК с правом veto. Свердлову и Дзержинскому ЦК поручил руководство Военной организацией. На них же возлагалось наблюдение за редактированием «Солдата». Таким образом обеспечивалось руководство ЦК солдатскими массами.
В один из августовских дней, когда в некоторых полках гарнизона шло особенно сильное брожение, в помещении Военной организации на Литейном проспекте собрались представители частей Петроградского гарнизона. Настроение у всех было повышенное. Руководители Военной организации пригласили на это собрание Свердлова. «Сговорившись по телефону с Яковом Михайловичем, — рассказывает В. И. Невский, — я ждал его с нетерпением, думал о том, как он справится с приподнятым настроением солдат. Скоро приехали Яков Михайлович и Ф. Э. Дзержинский.
„Густо у вас, однако!“ — сказал Яков Михайлович, увидя комнаты, набитые солдатами.
Минут через пять Яков Михайлович стоял на стуле и говорил. Его энергичный голос, полный силы и страсти, его решительные жесты, его горячие призывы, казалось, должны были еще больше взбудоражить массы, и я с опасением думал, что напрасно я звал этот пылающий восстанием факел. Однако я ошибся. Хотя его речь и дышала пафосом борьбы, хотя он и призывал к восстанию, однако суть его речи сводилась к тому, что сейчас, в данный момент, необходимо подготовляться, накапливать силы, организовываться».
— Было прямо удивительно видеть, — рассказывает В. И. Невский, — как возбужденная масса постепенно успокоилась и как под конец собрания Яков Михайлович был уже не пламенным агитатором, а мирным пропагандистом, терпеливо и популярно объяснявшим крестьянам, одетым в солдатские шинели, вопрос о земле.