В апреле 1937 г., выступая перед студентами в районах, находившихся под властью Гоминьдана, Лю Шаоци говорил о том, что наступило время для легализации прежней скрытой деятельности и развития массового движения; Более того, он добавил, что Война Сопротивления Японии стала неизбежной, поэтому надо быть готовыми вести партизанские действия против захватчиков в Северном Китае.
После начала Войны Сопротивления Японии (7 июля 1937 г.) Лю Шаоци перевел Бюро ЦК КПК по Северному Китаю в город Тайюань— штаб-квартиру губернатора провинции Шаньси Янь Сишаня, который одновременно был и командующим войсками Китайской Республики в этом регионе страны. В Тайюане Лю Шаоци играл одну из центральных ролей при принятии дипломатических решений в рамках единого фронта между КПК и партией Гоминьдан Китая в ходе Войны Сопротивления Японии. Лю Шаоци, подчинив формально свою организацию командованию Янь Сишаня, по существу, однако, стремился таким образом направлять его действия, чтобы они отвечали общим интересам китайской нации.
В 1938–1939 гг. Лю Шаоци работал в Якьани в качестве руководителя отдела по подготовке кадровых работников (его пещера была рядом с той, в которой жил и работал Мао Цзэдун). Лю Шаоци действовал в тесном сотрудничестве с организационным отделом ЦК КПК, выполняя также обязанности секретаря Бюро ЦК КПК по Центральному Китаю, а затем и секретаря Комиссии ЦК КПК по профдвижению. В течение этих двух лет он преподавал историю КПК в Яньаньской партийной школе. Серия лекций на эти темы и составила впоследствии основу известной работы Лю Шаоци «О самовоспитании коммуниста» (или «Как быть хорошим коммунистом»), В этой работе Лю Шаоци стремился соединить понятие нравственности в ее коммунистическом толковании с китайскими традициями; он считал, что в ходе практической борьбы коммунист должен постоянно заниматься самовоспитанием, безоговорочно подчиняя личные интересы интересам партии; он также призывал действовать в соответствии с принципами, но в случае необходимости идти на компромиссы, сохраняя равновесие между ними.
Когда в 1941 г. командующий Новой 4-й армии коммунист Е Тин был взят в плен войсками Гоминьдана, а политический комиссар этой армии Сян Ин убит, ЦК КПК назначил исполняющим обязанности командующего Новой 4-й армии Чэнь И, а ее политкомиссаром — Лю Шаоци. На этом посту Лю Шаоци стремился преобразовать входившие в нее отряды в профессиональные армейские подразделения, а также способствовать завоеванию армией новых территорий. Одновременно Лю Шаоци, будучи секретарем Бюро ЦК КПК по Центральному Китаю, придавал большое значение созданию органов власти в освобожденных районах и учреждению на всей этой территории партийных ячеек. Таким образом, Лю Шаоци был твердо убежден в том, что следует, укрепляя единый фронт с Гоминьданом, в союзе с ним вести войну против японских агрессоров и параллельно отстаивать классовые интересы, учреждая в опорных базах свою власть.
В конце 1942 г. Лю Шаоци был переведен на работу в Яньань и принял активное участие в проводившемся в КПК «движении за исправление стиля работы» (чжэнфэн), нацеленном на утверждение безоговорочного авторитета Мао Цзэдуна внутри партии. В качестве одного из важнейших документов, изучавшихся в ходе этого движения, использовалась изданная лекция Лю Шаоци «О борьбе внутри партии», в которой, в частности, говорилось о необходимости критики и самокритики внутри партии, а также о сочетании в отдельных случаях принципиальной борьбы и компромиссов, Лю Шаоци оставался в Яньани вплоть до конца антияпонской войны, за исключением кратковременного визита в Шаньдун и Хэбэй, и продолжал напряженно работать, укрепляя опорные базы КПК в тылу врага.
В течение многих лет Лю Шаоци также содействовал развитию промышленного производства в пограничном районе Шэньси-Ганьсу-Нинся. Оценивая эти достижения, он отмечал, что за десять лет, с 1935 по 1945 г., удалось существенно расширить промышленную базу в этом районе: если в 1935 г. там были мелкие ремонтные мастерские с десятками рабочих, то в 1945 г. на промышленных предприятиях рабочих было уже более 10 тыс.