На протяжении 1922 года положение армии оставалось очень тяжелым, и в конце октября Фрунзе писал: «Для характеристики минувшего периода жизни Красной Армии достаточно одной фразы: армия жила голодной, холодной, полураздетой и разутой». Но в 1923 году ситуация в армии обострилась еще и потому, что сторонники Троцкого вслед за своим лидером возобновили атаку на партию. Оппозиционеры в армии не только защищали линию Троцкого в общих вопросах, но требовали изменения сложившихся форм руководства партии военным строительством.
Фракционная борьба в армии приняла чрезвычайно резкие формы. Попытались было троцкисты обосноваться и в партячейках СКВО, но командующий округом сумел дать им отпор. Не выгорело дело троцкистов и вообще в северокавказской парторганизации: возглавлявший ее тогда А. И. Микоян при поддержке Ворошилова и других ленинцев сумел разгромить врагов партии.
Положение в армии стало предметом внимания специальной комиссии, которую сначала возглавлял В. В. Куйбышев, а затем С. И. Гусев. На пленуме ЦК партии 3 февраля 1924 года был заслушан и обсужден доклад Гусева. Выводы комиссии оказались весьма неутешительными, и виновниками тяжелого положения армии были Троцкий и его сторонники. Выступавшие на пленуме один за другим давали резкие оценкп положепия. Армия фактически «превратилась в проходной двор», — докладывал Гусев. «Политическое состояние Красной Армии и ее боеспособность постоянно падают», — заявил И. С. Уншлихт. «Положение нашей Красной Армии чрезвычайно тяжелое, — говорил М. В. Фрунзе, — и считать армию боеспособной мы не можем». И. В. Сталин характеризовал состояние армии в следующих словах: «Если бы бог нам не помог… и нам пришлось бы впутаться в войну, нас распушили бы в пух и прах».
Ворошилов в речи на пленуме подчеркивал, что особенно губительно сказывалась на работе в армии постоянная текучесть, смена состава. Об этом он еще в конце декабря 1923 года докладывал главкому, а на пленуме заявил:
— Ни Реввоенсовет Республики, ни штаб не предпринимали всех необходимых мер для ликвидации или хотя бы ослабления этого бича нашей армии.
Далее Ворошилов дал примеры вопиющих недостатков в снабжении войск и утверждал, что «хаос и бесплановость приобрели характер как бы твердой планомерности и нужны неимоверные усилия, чтобы выйти из тупика, в котором мы сейчас находимся». Основной опасностью он справедливо считал стремление Троцкого и его сторонников поставить аппарат Наркомвоенмора вне контроля партии.
— Я лично думаю, — говорил Ворошилов, — что до тех пор, пока Военвед не будет уравнен со всеми другими ведомствами в отношении воздействия на него ЦК, то есть пока военное ведомство будет представлять из себя организацию, отгороженную от ЦК, до тех пор нам не изжить тех ненормальностей, которые грозят закончиться полной катастрофой для Красной Армии… Оборона страны должна быть обеспечена во что бы то ни стало. За это несут ответственность не отдельные лица, а весь ЦК, вся партия в целом.
Пленум ЦК решил радикально обновить и укрепить руководство Вооруженными Силами страны. 11 марта 1924 года заместителем председателя РВС СССР был назначен М. В. Фрунзе, 26 января 1925 года он стал председателем РВС. В марте же 1924 года был образован новый состав РВС, в который вошли А. С. Бубнов, С. М. Буденный, К. Е. Ворошилов, Г. К. Орджоникидзе, M. H. Тухачевский и др. В мае 1924 года Ворошилов назначен командующим Московским военным округом. 2 июня того же года он был введен в Оргбюро ЦК партии.
Торжественно провожали Ворошилова товарищи. 12 мая па пленарном заседании Краевого экономического совета Б. П. Позерн говорил, что «в специфических условиях юго-востока деятельность т. Ворошилова являлась сочетанием военной работы с хозяйственной — по восстановлению нормальной экономической жизни края, бывшего в течение 3-х лет театром гражданской войны». Проводить отъезжающих на вокзал собралась большая группа товарищей и друзей.
На посту командующего МВО Ворошилов сменил сторонника Троцкого Н. И. Муралова. Назначая испытанного ленинца на эту должность, партия и правительство, конечно, рассчитывали на то, что он не позволит врагам партии продолжать свою разрушительную работу, что Московский военный округ станет передовым форпостом осуществления военной реформы.
Основными задачами реформы были: переход к территориальному строительству Красной Армии в сочетании с кадровым; перестройка и укрепление аппарата управления армией; изменение организационно-штатной структуры частей и соединений; перестройка системы подготовки командных кадров; введение единоначалия. В задачи военной реформы входило также укрепление партийно-политического аппарата и усиление воспитательной работы в Вооруженных Силах. Требовалось перестроить боевую подготовку войск, развернуть военно-научную работу.