Ярославский и Шкирятов ознакомили Рютина с заявлением Немова и потребовали представить письменное объяснение по поводу содержавшихся в нем обвинений. В объяснительной записке Рютин утверждал, что донос Немова — это «на 99 % самая гнусная ложь» и что последний грубо передернул его слова о Сталине. Рютин писал, что считает Сталина «самым крупным вождем партии, способным проводить в жизнь ленинские принципы», а его критические высказывания в адрес Сталина носили личный характер и сводились лишь к тому, что Сталин «напрасно ошельмовал меня и ловким маневром вытряхнул с партийной работы» [630]. На очной ставке с Немовым в ЦКК Рютин повторил эти утверждения и отверг самое страшное обвинение доносчика — в стремлении «заключить блок с троцкистами». Понимая, какие аргументы могут оказаться наиболее действенными в глазах «партследователей», Рютин возвратил это обвинение Немову, назвав его скрытым троцкистом, а его заявление — попыткой троцкистов свести с ним счёты за его прошлую борьбу с ними [631].
По-видимому, Рютин в то время уже четко определил свою позицию и рассматривал «партийных прокуроров» не как товарищей по партии, а как своих потенциальных тюремщиков. Поэтому он решил не сообщать в ЦКК правду о своих взглядах, высказанных Немову с глазу на глаз, а заявил, что приписанные ему высказывания выдуманы доносчиком. Лишь в 1932 году на допросе в ГПУ по делу «Союза» Рютин признал, что в 1930 году «категорически отрицал все сообщения Немова… Хотя это его заявление в основном мои разговоры с ним передавало верно» [632].
В свою очередь «партпрокуроры» не поверили объяснениям Рютина, тем более, что у них имелись сведения о том, что Рютин вёл аналогичные разговоры и с другими старыми большевиками.
Спустя три дня после поступления доноса Немова дело Рютина было заслушано на заседании Президиума ЦКК, который исключил его из партии «за предательски-двурушническое поведение в отношении партии и за попытку подпольной пропаганды правооппортунистических взглядов» [633]. 5 октября это решение было подтверждено Политбюро. 13 ноября Рютин был арестован по обвинению в контрреволюционной агитации. Однако 17 января 1931 года коллегия ОГПУ признала это обвинение недоказанным и Рютин был освобождён из тюрьмы. После этого и вплоть до ареста по делу «Союза марксистов-ленинцев» он работал рядовым экономистом.
Вскоре после выхода из тюрьмы Рютин принял решение создать подпольную организацию, а в начале марта 1932 года начал писать её программный документ: работу «Сталин и кризис пролетарской диктатуры», получившую в дальнейшем название «Рютинской платформы». По-видимому, уже в это время он вступил в контакт с будущими членами «Союза» и познакомил их со своей работой. К. А. Замятина-Черных, одна из немногих осуждённых по «рютинскому делу», которой довелось пережить сталинский террор, сообщила в 1961 году, что уже в мае 1932 года она напечатала семь первых машинописных экземпляров рукописи Рютина, которую ей передал её муж П. М. Замятин, к тому времени уже прошедший через исключение из партии и трёхмесячный арест [634].
Одновременно с «Платформой» было написано «Обращение ко всем членам ВКП(б)», представлявшее краткое изложение основных идей «Платформы» и именовавшееся впоследствии «Манифестом». Уже в июне 1932 года «Манифест» распространялся в Харькове, а в августе того же года в секретно-политический отдел ОГПУ поступили агентурные сведения о том, что группа харьковских активных троцкистов, поддерживавшая связь с московскими троцкистами, обсуждала обращение «Ко всем членам партии».
«Союз марксистов-ленинцев» был образован 21 августа на организационном собрании, в котором, помимо Рютина, принимали участие 14 коммунистов из Москвы и Харькова. Как сообщил Рютин в показаниях на следствии, каждый из присутствующих на этом собрании или, по крайней мере, большинство из них «имели за собой единомышленников, взгляды которых они… выражали» [635]. Участники собрания приняли за основу документы, представленные Рютиным, и передали их на окончательное редактирование Комитету, избранному в составе пяти человек. Сам Рютин в состав этого комитета не вошёл как беспартийный и по соображениям конспирации (после освобождения из тюрьмы за ним велась неусыпная слежка).