И всё-таки Ворошилов понимал, что плодотворной совместной работы с Никитой Сергеевичем у него не будет. Проявленная в июне 1957 года попытка встать в оппозицию по отношению к Хрущёву не прошла ему даром. В 1960-м Ворошилову было предложено подать в отставку с должности председателя Президиума Верховного Совета СССР. Уход его с поста главы государства подсластили присвоением ему звания Героя Социалистического Труда.
Вместо Ворошилова председателем президиума был избран Леонид Ильич Брежнев.
17—31 октября 1961 года состоялся XXII съезд КПСС. На этом съезде Хрущёв в отчётном докладе, говоря о фракционной антипартийной группе, уже открыто назвал Ворошилова её участником. Вслед за ним все другие ораторы как по команде повели огонь по Ворошилову. Особенно критично выступил Дмитрий Степанович Полянский — председатель Совета министров РСФСР. В унисон Полянскому с обличительными нападками обрушился на престарелого маршала Александр Николаевич Шелепин, занимавший в то время пост председателя Комитета государственной безопасности.
На девятнадцатом заседании съезда, 27 октября, было зачитано покаянное заявление Ворошилова XXII съезду, в котором он утверждал, что «не имел никакого понятия о фракционных действиях тогдашнего Президиума ЦК». Ворошилов писал, что он глубоко осознал тот огромный вред, который могла нанести партии и стране антипартийная группа Молотова, Кагановича, Маленкова и других. Он решительно осуждает её пагубную деятельность и сожалеет о допущенных им ошибках.
Подвергся Ворошилов на съезде и нелицеприятному обвинению за участие в репрессиях 1937—1938 годов против военных кадров.
Подводя итог прениям, Хрущёв хотя и поддержал оппонентов Ворошилова, всё же призвал съезд проявить к нему великодушие. Он сказал: «Я верю, что он искренне осуждает свои поступки и раскаивается в них». Эти слова вызвали аплодисменты.
Ворошилова простили за все его грехи, он не был исключён из партии. Однако в новый состав ЦК уже не избрали, не вошёл он и ни в какие другие руководящие органы партии. Его отрешили от всякой общественной и политической деятельности...
XXII съезд КПСС стал триумфом Хрущёва. Он уверовал после съезда в незыблемую прочность своего положения, ему казалось, что крепко держит в руках главные вожжи власти: партийной — он первый секретарь ЦК, и государственной — он глава Совета министров СССР. Но, как покажет ближайшее будущее, он глубоко заблуждался.
14 октября 1964 года пленумом ЦК КПСС Никита Сергеевич Хрущёв был освобождён от обязанностей первого секретаря ЦК КПСС и председателя Совета министров СССР. Леонид Ильич Брежнев стал первым секретарём, Алексей Николаевич Косыгин — председателем Совета министров.
В правление Брежнева не было ни дальнейших разоблачений культа личности, ни его возрождения. Новый первый секретарь, а с 1966 года генеральный секретарь ЦК КПСС, решил не накалять страсти в обществе по поводу столь противоречивой и резонансной темы.
На излёте жизни
Весна 1959 года была для Ворошилова чёрным черна. Умирала любимая Гиля.
На протяжении почти сорока лет Екатерина Давидовна являлась Клименту Ефремовичу надёжной опорой. На людях — строгая, даже суровая, сама партийность во плоти, с Климом же — мягкая, нежная. С самого начала их супружества она поставила его перед собой на пьедестал. Как потом вспоминала невестка Ворошиловых Надежда Ивановна, жена Петра Климентьевича, он с первой минуты был для неё на всю жизнь. Екатерина Давидовна ни на минуту не сомневалась в правильности его поступков, не позволяла себе критики в его адрес, полностью поддерживала его дело и предназначение. Хотя положение жены человека с такой властью непростое, к тому же ей нелегко было выдерживать чрезмерную контактность и импульсивность Климента Ефремовича. Командовать им она не пыталась, но он без неё ничего в доме не решал. Разногласий между ними никогда не было. Гармония была полной.
С постели Екатерина Давидовна перестала вставать зимой 1958/59 года. Жили Ворошиловы в ту пору на даче, квартира в Кремле действовала на них угнетающе. В марте Климент Ефремович заболел гриппом в тяжёлой форме с высокой температурой. Теперь они оба были прикованы к кроватям: её кровать — в комнате направо, его — в комнате налево. У каждого свои врачи и медицинский пост.