Летом 1906 года К. Бухарин впервые попал в тюрьму, но за отсутствием обвинительных материалов вскоре был освобожден. Являясь членом Рыбинской социал-демократической организации, в которой с 1906 года стали преобладать большевики, Константин Иванович работал пропагандистом в Зачеремушкинском и Заволжском районах, вел кружки на заводах Аксенова, Головкина, Полежаева. «Андрей» (псевдоним Бухарина) — активный участник революции 1905 года. В 1906 году избирается в партийный комитет. В его руках, как он вспоминал, находилась не только печать комитета, но и все «явки» и адреса. Был ее секретарем и казначеем. В январе 1908 года вся верхушка Рыбинской организации «провалилась» вместе с «техникой» (типографией). В числе арестованных оказался и Бухарин. Его вместе с пятью товарищами переводят в Ярославль в Коровники (так называлась тюрьма), где предъявили обвинение в принадлежности к революционной нелегальной партии. После предварительного годичного одиночного заключения он выходит на свободу. Шел уже 1909 год. Бухарин возвратился в Рыбинск, где, чтобы не умереть с голоду, стал заниматься репетиторством, давал уроки, вел внешкольную работу в педагогическом кружке, преподавал в частной школе, публиковал свои материалы в местных газетах. Ему удалось собрать разбитую арестами партийную организацию, привлечь стоящих в стороне, восстановить кружки. Но работать было все сложнее, вспоминал Константин Иванович. Участились слежки, обыски, надзоры. В 1911–1912 годах часть членов организации вновь арестовали. Бухарину вместе с другими товарищами пришлось уехать из Рыбинска в Петербург, где он сошелся с социал-демократической группой большевиков на Лиговке. Через 6 месяцев перебрался в Москву, и стал служить на книжном складе и одновременно учиться в средней школе для взрослых Московского общества народного университета. Посещал там социал- демократический кружок. Все это время он поддерживал связь с членами Рыбинской парторганизации, снабжая их литературой и заграничными изданиями. Началась Первая мировая война, в первую мобилизацию 1914 года Бухарина призвали в армию, но через неделю по состоянию здоровья он был отпущен в двухмесячный отпуск в Рыбинск. Возвратился в Москву, где его откомандировали в школу прапорщиков, но в связи с получением от ярославского губернатора сведений о неблагонадежности исключили и вновь направили в воинскую часть Московского гарнизона, где он и находился до Февральской революции. В дальнейшем Бухарин стал одним из организаторов Московского совета солдатских депутатов и состоял членом исполкома, работая вместе с Н. И. Мураловым в агитотделе и в военной секции Московской организации РСДРП(б). В середине июня 1917 года уехал в Рыбинск, став первым председателем комитета социал-демократической организации4. В результате выборов в Рыбинскую городскую думу был избран товарищем городского головы.
С установлением советской власти занимал ряд должностей в Рыбинском уездном исполкоме и его отделах. В частности, с августа 1918 года — заведующий внешкольным подотделом уездного отдела народного образования, с февраля 1919 по февраль 1921 — заведующий уоно, в то же время был заместителем председателя и председателем уездного исполкома, состоял членом президиума и председателем уездного комитета партии; работал и редактором газеты «Призыв». В 1921 году Константин Иванович, будучи членом президиума Рыбинского губкома, стал председателем губисполкома. В конце 1921 года переведен в Воронеж, где состоял заместителем председателя губисполкома, заведующим отделом управления, затем совмещал должности заместителя секретаря губкома, заведующего агитпропом и председателя горсовета5. С августа по декабрь 1922 года работал уже в Ярославле, являясь членом президиума горсовета, был выбран в губком и его президиум. Пленумом губкома утвержден заведующим агитпропом.
В марте 1924 года ЦК РКП(б) направил Бухарина на работу в Кострому. Новая должность — ответственный секретарь Костромского губкома РКП (б). Познакомившись с жизнью губернии, состоянием партийной организации Бухарин накануне XI губпартконференции в мае 1924 года поделился своими впечатлениями на страницах журнала «Известия губкома РКП(б)». В статье он попытался обозначить главные текущие вопросы. Бухарин отмечал, что рабочие в Костромской парторганизации составляют 40–58 %, но НЭП оказал на них отрицательное воздействие. Стали заметны случаи пьянства среди членов партии, расшаталась партийная дисциплина, совершались должностные проступки, наблюдался «уход в мещанскую среду». Он писал о необходимости уделять больше внимания деревне, кооперации, укреплению союза крестьянства с рабочим классом, развитию торговли; отмечал важность политпросвещения в духе ленинизма. Эти и другие задачи получили дальнейшее обоснование в докладе Бухарина на XI губпартконференции. В принятых резолюциях отмечалось, что в губернии сложилась противоречивая обстановка в условиях НЭПа. В области экономики за обладание теми или иными позициями боролись госорганы, кооперативные, государственные и частные предприятия. При этом власть должна была маневрировать, стремясь найти со всеми общий язык. Большого внимания требовали сбор налогов с частника, своевременная выдача зарплаты рабочим и служащим, снабжение сырьем и топливом предприятий, развитие кооперации, рост торгового оборота за счет дешевых и доброкачественных товаров, укрепление смычки между городом и деревней, борьба с бюрократизмом.