Всякие проявления сепаратизма и нарушения пролетарского, революционного централизма волновали Свердлова. Но он прекрасно понимал, что различные проявления местничества и недоверия к центральной власти среди других причин объясняются и своеобразной реакцией на бюрократический централизм старой России.
Впоследствии он отметил, что „взаимоотношения местных учреждений с центральными… складывались только путем целого ряда разногласий, борьбы, столкновений, примирений; с другой стороны, центральная власть должна была непосредственно вмешиваться в те или иные отдельные конфликты и т. д…. Такое положение, когда у нас, по существу, уже более или менее сложился государственный советский аппарат, но не было еще строгого разграничения функций и труда между отдельными, созданными нами органами, такое хаотическое положение толкало нас к скорейшей работе по выработке конституции“.
Еще в январе 1918 года ВЦИК, избранный на III съезде Советов, образовал комиссию для выработки Конституции. Комиссия начала работу, но развернуть ее не смогла, так как вскоре началось германское наступление. Работа возобновилась во ВЦИКе четвертого созыва. В марте 1918 года Центральный Комитет партии решил учредить при ВЦИКе комиссию для выработки Советской Конституции и поручил Свердлову возглавить подготовку ее проекта. — ЦК обратил особое внимание на разработку в Конституции вопросов бюджета и административного управления.
Яков Михайлович немедленно приступил к выполнению этого решения. 1 апреля 1918 года Свердлов выступил на большевистской фракции ВЦИКа с докладом о задачах комиссии для выработки Конституции РСФСР. Фракция по докладу Свердлова приняла постановление о необходимости срочной разработки Советской Конституции и указала, что в задачу комиссии входит выработка основных положений Конституции и создание подкомиссий для подготовки отдельных ее разделов. Вечером 1 апреля Свердлов выступил на пленуме ВЦИКа. Он напомнил советскому парламенту о таких конституционных актах, как „Наказ — Конституция“, принятый ВЦИКом второго созыва, и „Декларация прав трудящегося и эксплуатируемого народа“, принятой III съездом Советов, Свердлов ясно видел необходимость более четко разграничить функции ВЦИКа и Совнаркома, местных Советов и их исполкомов. „Мы перенеслись в новый период, — сказал Свердлов, — в фазу строительства, и нам приходится наталкиваться на целый ряд вопросов в силу того, что точно зафиксированных положений [о взаимоотношениях] между целым рядом существующих органов у нас не существует в жизни, что и наталкивает нас к выработке более подробной Конституции Советской республики“.
Главная мысль Свердлова заключалась в том, что Советская Конституция должна ввести строгий порядок, стройность во всю систему советских государственных органов, вместе с тем должна стать могущественным стимулом дальнейшего развития советского демократизма, рычагом для вовлечения широких народных масс в управление государством. „Все мы великолепно сознаем, — говорил Свердлов, — что только благодаря самой тесной связи с широкими массами рабочих и крестьян нам удается проводить все те мероприятия, которые мы намечаем. Только постольку, поскольку нам удается выделить из массы достаточное количество активных сознательных работников, могущих практически проводить в жизнь все намечаемые мероприятия, поскольку мы имеем кадры таких товарищей, — мы можем сказать, что дело обеспечено… при разработке конституции необходимо построить Советскую власть таким образом, чтобы она не только давала возможность работы, но чтобы привлекала значительно более широкие круги трудового народа к непосредственному управлению страной“.
Конституция, как считал Свердлов, должна рассматривать все советские органы — от ВЦИКа до сельского Совета — как школы государственного строительства, школы государственного руководства.
В состав конституционной комиссии от большевиков вошли Я. М. Свердлов (председатель), В. А. Аванесов (секретарь), М. Н. Покровский, И. В. Сталин; от левых эсеров — А. А. Шрейдер, от эсеров-максималистов — Д. А. Магеровский. Кроме того, в состав комиссии были введены представители наркоматов — по национальным делам, внутренних дел, юстиции, финансов: М. Я. Лацис, М. А. Рейснер, Д. П. Боголепов и др. К работе конституционной комиссии был привлечен также ряд крупных специалистов.