В своих мемуарах Бажанов писал, что во время работы в Политбюро стал антикоммунистом и это определило всю его дальнейшую жизнь, в том числе и решение бежать за границу. Однако по мнению сослуживца Бажанова по секретариату ЦК Алексея Балашова все обстояло совершенно иначе:
«Бажанов был человеком, который стремился в любой ситуации извлечь пользу для себя, получше устроиться. Я не осуждаю Бажанова — это его право, но об этом следовало бы честно сказать, а не изображать из себя борца с большевизмом. Для тех, кто его знал, эти потуги представить себя благородным и безупречным рыцарем выглядят просто смешно. Да и причина ухода из ЦК была не самая почтенная. В Высшем совете физкультуры Бажанов набрал целую кучу спортивного оборудования, закупленного на Западе. Через какое-то время его стали просить вернуть лыжи, коньки, палатку, лодку и еще какие-то вещи, предназначенные для тренировок и выступлений рабочих-спортсменов. Он повел себя очень высокомерно, решил, что ему все можно, и даже не стал отвечать товарищам из ВСФК. Они долго пытались как-то повлиять на него, а потом написали в ЦК Бажанову пришлось снаряжение вернуть и подать заявление об увольнении, которое Сталин подписал без разговоров. К таким поступкам относились очень строго и ему еще повезло, что дело не попало в Центральную контрольную комиссию (ЦКК). Но как он отреагировал на эту ситуацию? Обиделся. Не сумел сделать для себя правильные выводы и очень скоро совсем запутался»[98].
Из секретариата Сталина Бажанова уволили в мае 1924 года (сам он утверждал, что работал там до конца 1926 года), после чего его долгое время нигде не хотели брать на службу по причине молодости и незначительного опыта работы. И только когда Товстуха попросил за Бажанова наркома финансов Сокольникова, «бывшего личного секретаря Сталина» 13 января 1925 года назначили вторым помощником заведующего финансово-экономического бюро Наркомфина, то есть канцелярским работником, ответственным за своевременное прохождение служебных бумаг. Здесь первое время Бажанова ценили довольно высоко. Так, заведующий бюро М. Бронский в характеристике Бажанова, написанной 9 июля 1925 года, предлагает назначить его в ближайшее время «вторым замом нач. ФЭБа», отмечая при этом, что он «еще недостаточно гибок (молод)».
Однако больше Бронский таких предложений не выдвигал, поскольку разобрался в том, что представлял из себя на самом деле крайне амбициозный, недоучившийся студент. Этому поспособствовал и сам Бажанов, который после увольнения из ЦК «расслабился» и начал крутить многочисленные любовные романы. Среди его любовниц были служащая аппарата ЦК В. Зверде и сотрудница ЦК комсомола А. Андреева, жена крупного партийного работника П. Смородина. В 1926 году, находясь на отдыхе, они выяснили, что обе имеют по ребенку от Бажанова. Андреева шума поднимать не стала, а Зверде, женщина одинокая, обратилась с жалобой в ЦКК. В своем заявлении она написала, что Бажанов развратничает, что он включил в команду конькобежцев, с которой в декабре 1925 года ездил на соревнования в Норвегию, свою любовницу Андрееву, оформив ее как жену. Последствия не заставили себя ждать. 26 мая 1926 года партколлегия ЦКК рассмотрела персональное дело Бажанова и постановила: за устройство Андреевой в заграничную командировку за государственный счет в качестве жены объявить Бажанову строгий выговор, а материалы об Андреевой передать в конфликтную комиссию ЦК ВЛКСМ.
В результате на карьере Бажанова был поставлен крест. Уже 10 августа 1926 года он был освобожден от работы в финансово-экономическом бюро и переведен консультантом в Институт экономических исследований. Там он проработал всего пять месяцев и получил новое назначение: «Бажанова Б.Г…с 16 января 1927 г. надлежит числить временно по общему отделу Административно-организационного Управления на должности техника-специалиста (по водопроводу, канализации и вентиляции)»[99]. Поскольку в водопроводе и канализации Бажанов никогда ничего не понимал, то перевод на эту должность говорит о том, что в Наркомфине просто уже не знали, что с ним делать. Поэтому неудивительно, что 16 апреля 1927 года его назначили заведующим заочными курсами по переподготовке финансовых работников, а 16 сентября 1927 года приказом по наркомату откомандировали в распоряжение Наркомфина Узбекской ССР.
Оказавшись перед перспективой стать простым совслужащим в глухой провинции, Бажанов приложил все усилия для того, чтобы вернуться на партийную работу. И это ему удалось. Решением секретариата ЦК компартии Туркмении от 28 ноября 1927 года Бажанов был назначен управляющим делами и зав. секретариатом ЦК. Вероятно тогда же у Бажанова созрело решение бежать в Европу и спекулируя выпиской из решения Оргбюро о своем назначении помощником секретаря Сталина, которую он вопреки правилам оставил у себя, допытаться сделать карьеру на Западе.