Ему доверили командование небольшими частями, но и в мелких боевых операциях военное счастье обходило его стороной. В биографиях Ворошилова написано, что он командовал войсками Харьковского округа и в мае—июне 1919 года подавил антисоветское восстание, которым руководил бывший командир 6-й Украинской сводной стрелковой дивизии Николай Александрович Григорьев.
Но в июне 1919 года командующий Украинским фронтом Владимир Антонов-Овсеенко из Киева писал в Москву:
«Ворошилов был командующим на определенном участке внутреннего фронта. Имел на нем вначале большие неудачи, поправленные удачами на других участках, где командовал не он. Приписывать себе успех борьбы с Григорьевым он может лишь по большому недоразумению. Донесения его штаба о разгроме Григорьева под Александрией оказались ложными... Утверждения Ворошилова в области его собственных успехов постыдно преувеличены».
Новая жизнь началась для Ворошилова осенью 1919 года, когда Троцкий подписал распоряжение Реввоенсовета Республики о создании Первой конной армии. Ворошилов стал членом РВС армии и оставался на этом посту до мая 1921 года.
Обиженный Троцким Ворошилов стал одним из лидеров так называемой военной оппозиции. В нее вошли выдвинувшиеся в годы Гражданской войны командиры и комиссары. Они утверждали, что бывшим офицерам в любом случае доверять нельзя и назначать на высокие должности можно только коммунистов.
Оппозиция возражала против принятого 12 декабря 1918 года Совнаркомом положения о правах и обязанностях командира армии и фронта. Командующий получал полную самостоятельность в оперативных и стратегических вопросах и право назначения всего командного состава. А комиссара лишили права командовать, оставив ему только функции политического контроля. Ворошилов же искренне считал себя полководцем, который не нуждается в спецах.
Ленин подавил военную оппозицию. Ворошилову и его единомышленникам пришлось отступить. Но глубокое недоверие к бывшим офицерам в нем осталось на всю жизнь. И, уже став наркомом, он позволил органам госбезопасности уничтожить многих царских офицеров, преданно служивших Красной армии...
В марте 1921 года Ворошилов участвовал в ликвидации Кронштадтского мятежа — в роли военно-политического комиссара сформированной для взятия крепости Южной группы войск. В том же году его назначили командующим войсками вновь созданного Северо-Кавказского военного округа (СКВО). Ворошилова избрали членом ЦК партии и членом Юго-Восточного бюро ЦК (оно существовало в 1921 — 1924 годах, руководило партийными организациями Северного Кавказа, располагалось в Ростове-на-Дону).
Своей карьерой он был полностью обязан своему высокопоставленному другу. Сталин из Москвы заботливо следил за продвижением Ворошилова по службе и в партийной иерархии. Климент Ефремович был его вернейшим и искренним сторонником в борьбе против Троцкого.
25 января 1921 года Сталин писал Ворошилову в Ростов, где находился штаб Северо-Кавказского округа:
«Друг!
Дела в Питере и Москве пошли хорошо: платформа Ленина и других собрала огромное большинство. Мы здесь не сомневаемся, что ты, Фрунзе, Молотов, Минин и другие сумеете завоевать Донбасс (съезд горнорабочих тоже за нас высказался), промышленные города и армии. Евдокимов, Мельничанский и Залуцкий помогут. Не мешало бы Петровского использовать на правобережье. Не отдавайте без боя ни одного делегатского места ни Троцкому, ни рабочей оппозиции.
Привет т. Буденному.
Иосиф Виссарионович не упускал случая встретиться с одним из самых преданных союзников. Вот его письмо от 27 августа 1921 года:
«Ну, друг!
Числа 10 августа думаю двинуться в Ростов и далее в Москву. Хорошо было бы повидаться с тобой и поговорить о делах на Юго-Востоке. Если есть возможность, приготовь пудов десять хлеба для меня, если нет, конечно, не нужно.
Жму крепко руку.
Привет Буденному, Бубнову.
После окончания Гражданской войны военная служба Ворошилову изрядно надоела. 2 ноября 1921 года Ворошилов по-дружески обратился к Сталину:
«Дорогой Иосиф Виссарионович!
В Москве я тебе уже говорил о моем намерении переменить свое «амплуа», а сейчас это решил твердо. Работа в Военведе мне уже опостылела, да и не в ней теперь центр тяжести. Полагаю, что буду полезней на гражданском поприще. От тебя ожидаю одобрения и дружеской поддержки перед ЦК о моем откомандировании. Хочется поработать в Донбассе, куда и прошу ЦК меня направить. Работу возьму какую угодно и надеюсь снова встряхнуться, а то я здесь начал хиреть (духовно). Нужно и меня пожалеть.