13 июня 1937 года Рокоссовский был отстранен от командования корпусом и направлен в распоряжение Наркомата обороны. 27 июня дивизионная парторганизация исключила его из партии «за потерю политической бдительности». В августе бывший комкор был арестован НКВД по обвинению в преступлении, предусмотренном ст. 58–1 «б» (измена Родине, совершенная военнослужащим) — имелось в виду участие в антисоветском заговоре в армии. С 17 августа 1937 года Константин Константинович содержался во внутренней тюрьме УГБ НКВД Ленинградской области — знаменитых «Крестах». В судьбе Рокоссовского, как отмечал он сам, сыграла отрицательную роль его национальность. Имея за плечами печальный опыт тюремного заключения, позже он в автобиографии 1948 года писал, что считает себя русским, так как «…родился в России и все годы своей сознательной жизни провел в России, кроме того, и мать у меня русская».
Имелись на Рокоссовского и другие показания. Вот что сообщил на допросе начальник санитарного отдела ЗабВО, военврач 1-го ранга К.: «Рокоссовский, бывший командир 15 кавалерийской дивизии, своей вредительской работой разлагал дивизию, не руководил боевой подготовкой, превратил территорию гарнизона в сплошной мусорный захламленный очаг. Гарнизон остался без бани, воды и электричества». Чайковский 13 июля 1937 года на следствии показал: «В кавалерии в троцкистскую организацию входили… Рокоссовский К. К., бывший командир 15 кавдивизии, в данное время командир кавкорпуса в Пскове. Завербован Грязновым». На Рокоссовского дал показания и бывший начальник штаба Забайкальского военного округа комдив Я. Г. Рубинов. 5 июля 1938 года он заявил, что Чайковский говорил ему, что Рокоссовский причастен к шпионской организации. Кассиан Александрович к тому времени уже был расстрелян, но Яков Григорьевич об этом, вероятно, не знал. Та же участь постигла его самого несколькими месяцами позже, 2 октября.
А вот что поведал начальник разведотдела штаба округа, майор Ю. Г. Рубэн на допросе 6 января 1938 года: «В японскую резидентуру в ЗабВО, руководимую Рубиновым, входили… Рокоссовский К. К., бывший командир 15 кд. В беседе Чайковский сообщил мне, что по шпионской работе он связан с Рокоссовским… Позднее, в 1935 году, у меня на квартире был Чайковский, Рокоссовский и Слуцкий (А. Б. Слуцкий, командир 6-й механизированной бригады, также арестованный и расстрелянный. — Б. С.), МК (из механизированного корпуса. — Б. С.), полковник. В беседе с Чайковским в присутствии других лиц он (вероятно, здесь описка, и имеется в виду Чайковский. — Б. С.) повторно сообщил, что Рокоссовский, Слуцкий и Проффен (Г. Г. Проффен, майор, начальник разведотдела штаба 11-го механизированного корпуса. — Б. С.) по контрреволюционной и шпионской работе связаны с ним. В подтверждение этого Рокоссовский сказал: „Да, вместе работать, вместе ответ держать…“ Мне известно, что Рокоссовский еще в 1932 г. по шпионской работе был лично связан с начальником японской военной миссии в Харбине — полковником Комацубара, по словам Рокоссовского, встречался он с Комацубара в Даурии во время официального приезда последнего для разрешения вопросов, связанных с интернированием войск китайского генерала Су Бинь-Бьеня».
Георгий Георгиевич Проффен, расстрелянный в июне, 2 января 1938 года тоже дал показания на Рокоссовского: «В конце 1935 года, говоря о Рокоссовском, Чайковский сказал, что это прекрасный человек, с которым он установил дружеские отношения, и что Рокоссовский является своим человеком, которому можно верить». Наверняка командиры-танкисты и кавалеристы дружили и частенько собирались на совместные вечеринки, но обсуждали они там явно не заговорщицкие и шпионские дела.
С помощью подобного рода лживых показаний, данных под сильнейшим нажимом следствия, вплоть до применения физической силы, было сфабриковано дело так называемой «антисоветской военно-троцкистской организации 11-го мехкорпуса ЗабВО», в рамках которого и арестовали Рокоссовского.
Единственно, что, возможно, соответствовало истине в показаниях — фраза Рокоссовского о том, что «вместе работать, вместе ответ держать». Но она наверняка была вырвана из контекста. Скорее всего, речь шла о том, что кавалеристы и танкисты вместе занимались боевой подготовкой, вместе участвовали в маневрах, и теперь должны вместе отвечать за результаты. Также Чайковский вполне мог говорить Проффену, что Рокоссовский — прекрасный человек, что у него сложились с ним дружеские отношения и что он «свой» — то есть коммунист, так же как и остальные, заботящийся о совершенствовании подготовки Красной армии к будущей войне.