След позицията ми срещу левосектантския курс, бях снет от Областния комитет. Понижаването ми беше повече от осезателно. Станах първи секретар на Втори район на РМС. Всички се изказаха за моето снемане. Когато излязохме навън, Дамянов от село Дълбок ми каза:
„Манчо, (един от псевдонимите ми) оценките, които направи са правилни. Аз се подписвам под това, което изложи тук. Всичко е вярно.“ На моето огорчение за позакъснялото одобрение, Вуйчо (така му викахме) поясни: „Ако те бях защитил, ако бях признал пред всички, че мисля като теб, няма да мога да отида в СССР и да разкажа на Георги Димитров какво става у нас, в България.“ Тогава за първи път научих, че хората около Георги Димитров са също против левосектанскския курс и че в ръководството на партията съществуват сериозни разногласия по този въпрос.
Това е част от фактологията. Другото… са тягостни спомени.
За втори път застанах твърдо срещу Централния комитет на партията през 1943 година. Ръководно ядро в страната бяха: Антон Югов, Цола Драгойчева, Добри Терпешев. С решение на Централния комитет се обосноваваше необходимостта партизанското движение в България да завземе територия с всички функции на власт - въоръжена защита и прочее. Бях пряко свързан с бригадата „Чавдар“, която действаше в район няколко десетки километра от София. За мен беше съвършено ясно, че не са назрели условията за това. Абсурдно бе да завземем територия. Бригада „Чавдар“ имаше 500-600 души партизани, а срещу нас - десетки хиляди армейски, жандармерийски части, ловни дружини.
Това решение беше много опасно не само за партията, но и за страната. То не можеше да бъде изпълнено. Не само нямаше да доведе до набелязаните цели. Щеше да се превърне в кланица, кървава баня с цената на хиляди жертви и от непричастното местно население. Неминуемо щеше да нагнети и ожесточи цялостната обстановка в България.
Решително се противопоставих. Охарактеризирах решението като лекомислено, незряло, безразсъдно. На среща с Цола Драгойчева през нощта, есента на 1943 година, в село Кубратово (сега в състава на Голяма столична община), изложих своите съображения. Най-изчистен от обвинения и заплахи, нейният отговор се свеждаше до следното: „Провеждаш решението на Политбюро! Ако не - отиваш на партиен трибунал! С пълно съзнание за реалността и сериозността на заканата, реагирах лаконично: „Ти Тодор Живков не можеш да уплашиш. Това е престъпна авантюра и аз не мога да я проведа! Може да свалите политическото доверие от мен!“. „Отиваш на партиен трибунал!“ - отсече Цола Драгойчева. Доколкото ми е известно, още двама души в България - ръководители, са се противопоставили.
Независимо от заплахите, не се отклоних от убеждението си. След няколко месеца, на нелегално заседание на членовете на Областния комитет, се получи писмо от ръководството на партията, в което ми изказваха персонално поздравление за проведения маньовър и потвърждение, че го считат за правилен. От Георги Чанков бях вече уведомен, че предишният курс за завземане на територия и т.н. е вече снет. Впоследствие разбрах, че с радиограма по радиостанция „Христо Ботев“ въпросното решение на Централния комитет категорично е било обявено за неправилно и прибързано.
За трети път играх „ва банк“ през 1953 година. В партията назряваха условия срещу ставащия все по-опасен курс на Вълко Червенков. По това време бях член на Политбюро и завеждах Секретариата на Централния комитет.
Започнахме разговори с Владимир Поптомов. Те ни доведоха до убеждението, че трябва да се проведе борба срещу този курс. Бях успял да спечеля почти целия Секретариат на ЦК, когато Владимир Поптомов почина. Организирането на силите за противопоставяне, легна изцяло върху мен. (Докато бяха още живи някои от участниците в тази фракция, на заседание на Централния комитет подробно разказах как беше създадена, нейната дейност, как бяха привлечени Димитър Ганев, Георги Дамянов и още някои членове на Политбюро. За това мое изложение има запис, стенограма.)
През времето до 1956 година почти всички членове на Централния комитет на партията и други партийни деятели, работили вътре в страната, а не в емиграция от Съветския съюз, бяха разработвани като „народни врагове“, агенти на чужди държави. Аз няколко години бях разработван като английски агент.