Свердлов добивался, чтобы Конституция как можно более точно, реально отражала прежде всего факт существования диктатуры пролетариата в ее конкретной форме — в форме Советского государства.
В работу над Конституцией Свердлов вкладывал всю свою энергию, весь свой опыт и знания. Материалы конституционной комиссии показывают, как тщательно изучал Яков Михайлович все то, что в Советской республике находилось в постоянном движении, развитии, выделяя из этого процесса то, что отстоялось, сформировалось и могло служить образцом.
В конституционной комиссии подвергся обсуждению и национальный вопрос. Проект, представленный М. А. Рейснером, отличался нигилистическим игнорированием национального вопроса. Федерацию Рейснер понимал как союз различных профессиональных организаций трудящихся, политических, классовых и т. д. Эти организации объединялись, по Рейснеру, в коммуны, коммуны, в свою очередь, — в областные республики. Федерацию по национальному принципу проект Рейснера не предусматривал. В проекте не оставалось места и для Советов как государственной формы диктатуры пролетариата. Свердлов показал, что проект Рейснера «совершенно не пригоден», «совершенно не подходит в качестве вводной части, в качестве общих положений». Он подчеркнул, что в этом проекте нет, по существу, основного принципа Советской Конституции, то есть нет диктатуры пролетариата.
Основной недостаток проекта Рейснера, отметил Свердлов, заключался в том, что он не включал формулировки задач, целей Советского государства. Свердлов считал, что Конституция, которая принимается в самом начале пути советского общества, не может не включать программных моментов. Только включив в Конституцию наряду со статьями, отражающими современное состояние Советского государства, и задачи построения бесклассового социалистического общества, ликвидации эксплуатации человека человеком, можно было превратить Конституцию в знамя борьбы миллионов трудящихся.
После принятия общих положений Конституции (составленных И. В. Сталиным) комиссия под руководством Свердлова приступила к разработке отдельных разделов. По предложению Свердлова комиссия коренным образом переработала раздел о Советах — сельских, волостных, уездных, городских и губернских. Комиссия отклонила предложение о куриальном разделении избирателей и уточнила категорию лиц, лишаемых избирательных прав.
Свердлов уделил большое внимание вопросу о функциях и структуре ВЦИКа и Совнаркома. Он решительно отклонил предложения о ликвидации Совета Народных Комиссаров и сосредоточении всех правительственных функций во ВЦИКе. В то же время Свердлов считал необходимым ликвидировать те отделы ВЦИКа, работа которых развивалась параллельно деятельности отдельных народных комиссариатов, рассматривая самые народные комиссариаты как отделы ВЦИКа. Он исходил при этом из необходимости установить самую тесную связь между всеми советскими учреждениями, начиная от центральных и до уездных и волостных..
«В этом отношении — вспоминал М. А. Рейснер, — он действовал вполне в согласии с Лениным, который впоследствии, при обсуждении проекта Конституции в комиссии ЦК, определенно принял сторону проекта Якова Михайловича, так как был вообще противником правовых определений и предпочитал лучше семь раз примерить, чем бесповоротно резать конституционными ножницами живую ткань советского роста».
Яков Михайлович требовал от членов комиссии глубокого изучения процесса советского строительства в его постоянном движении. Он решительно отбрасывал в сторону левацкое преклонение перед процессом разрушения, упоение пафосом разрушения, так же как и слепое почитание различных форм буржуазной демократии и подражание уже известным «классическим» конституционным актам.
Ленин много работал над проектом Конституции, направлял работу конституционной комиссии. Сохранились изменения и поправки, внесенные Лениным, его заметки на протоколах комиссии. Некоторые разделы Конституции были написаны им заново. По предложению Ленина в Конституцию была полностью включена «Декларация прав трудящегося и эксплуатируемого народа». Окончательное редактирование текста было поручено комиссии Центрального Комитета партии.
Комиссия ЦК при активном участии Свердлова к V съезду Советов завершила работу над проектом Конституции. Заново были составлены главы о Совете Народных Комиссаров, о вопросах, подлежащих ведению Всероссийского съезда Советов и ВЦИКа, о производстве выборов делегатов, о праве отзыва и др. 5 июля 1918 года проект Конституции был опубликован в «Известиях».