Работа во ВЦИКе поглотила значительную часть времени Свердлова. Перед ним открылась совершенно новая область деятельности — строительство нового социалистического государства.
Как центральный советский орган, ВЦИК был впервые создан еще на I съезде Советов в июне 1917 года. Но под руководством эсеров и меньшевиков этот орган вскоре превратился в придаток к Временному правительству. Только II Всероссийский съезд Советов наделил ВЦИК новыми функциями, сделав его работающим верховным органом Советской власти в период между съездами. В соответствии с этим необходимо было изменить структуру ВЦИКа, создать отделы для руководства различными областями государственного строительства.
На пост руководителей отделов ВЦИКа были избраны крупные работники большевистской партии. Агитационный отдел возглавил Володарский, национальный — Урицкий, юридический — Стучка, финансовый — Уншлихт, транспортный — Садовский. Свердлов взял на себя руководство иногородним отделом ВЦИКа. Этот отдел вскоре превратился в центр по руководству строительством Советской власти на местах. «Для установления связи с местами, которые вначале были необычайно слабы, — говорил Свердлов, — мы командировали на места несколько тысяч человек эмиссаров, деятельность которых в центре объединялась иногородним отделом. Эти эмиссары оказали нам громадные услуги, разъясняя истинное положение дел, которое, как вам известно, освещалось буржуазной печатью в самом фантастическом виде, помогая преодолеть саботаж телеграфных и почтовых чиновников, которые задерживали наши телеграммы и наши сообщения, и вместе с тем инструктируя местные органы Советской власти в борьбе с возникающими затруднениями по управлению страной».
Яков Михайлович превратил Президиум ВЦИКа в действенный оперативный орган. Все проекты декретов, материалы к пленумам ВЦИКа проходили через Президиум. Президиум готовил и созывал пленумы ВЦИКа, рассматривал кассационные жалобы на приговоры революционных трибуналов.
Свердлов придал работе ВЦИКа строгую, пролетарскую организованность и целенаправленность, которая характеризует весь стиль его деятельности. Это нелегко было сделать во ВЦИКе второго созыва в котором две пятых членов состояли из эсеров и меньшевиков. Практически же количество эсеров и меньшевиков на некоторых заседаниях ВЦИКа доходило до половины, так как многие большевики — члены ВЦИКа выезжали для организации Советской власти на места, другие были заняты повседневной практической деятельностью в самом Петрограде.
14 ноября Ленин выступил на Чрезвычайном крестьянском съезде как представитель партии большевиков с докладом по аграрному вопросу. Он показал крестьянам, что вопрос о земле не может быть решен независимо от других задач революции. Интересы помещиков и буржуазии тесно сплелись, и борьба против них должна быть единой. Ленин показал гибельность колебаний левых эсеров, которые подают авксентьевым всю руку, а рабочим протягивают только мизинец. Задачи революции — завоевание мира, земли, социализма — могут быть решены только при условии тесного союза рабочего класса и трудящегося крестьянства.
В тот же день на крестьянском съезде выступил Свердлов. Он призвал представителей крестьянских Советов к объединению с рабочими и солдатскими Советами.
Под влиянием выступлений Ленина и Свердлова и давлением низовых крестьянских организаций левые эсеры вынуждены были принять большевистские условия слияния центральных органов крестьянских Советов со Всероссийским Центральным Исполнительным Комитетом. Важнейшим таким условием было безоговорочное признание программы, принятой II Всероссийским съездом Советов.
Вечером 15 ноября Яков Михайлович открыл объединенное заседание Всероссийского Центрального Исполнительного Комитета и Чрезвычайного крестьянского съезда. Делегаты крестьянского съезда под развернутыми знаменами прошли от Фонтанки, где заседал съезд, до Смольного, чтобы объединиться с представителями рабочих и солдатских Советов. Необычайный энтузиазм и восторг царили на этом объединенном заседании. От имени ВЦИКа крестьян приветствовал Свердлов.
В протоколе запись: «Открывая заседание, он (Свердлов) говорит о том великом радостном чувстве, которое объединяет всех присутствующих по поводу образования единого революционного фронта, воплощаемого союзом крестьян, рабочих и солдат». Свердлов предоставил слово Марии Спиридоновой. Под влиянием общего энтузиазма, праздничного настроения, царившего в зале, Спиридонова всячески расхваливала решение объединить высшие органы рабочих, солдат и крестьян. Но Свердлов не мог сдержать улыбки, когда Спиридонова тоном проповедника бросала в зал: «Мы не будем распылять нашу святую ненависть на ссоры, на наши домашние споры… Наши чистые идеалы помогут нам перед входом в новое царство свободы и труда сбросить грязные одежды вражды, вражды между братьями… Всю мощь нашего гнева обрушим на наших врагов». Она говорила искренне, но так же искренне и страстно Спиридонова накануне оспаривала каждую меру, принятую Советской властью против контрреволюции.