С началом войны нацисты усилили террор против активных антифашистов и всех потенциальных противников гитлеризма. Шеф полиции безопасности Гейдрих издал 3 сентября 1939 г. инструкцию об «Основах внутренней безопасности во время войны», в которой предписывалось «беспощадно подавлять любое выступление против войны и арестовывать всех, кто в своих высказываниях проявляет сомнение в победе». Вслед за тем было разъяснено, что убийство в ходе этих операций коммунистов и социал-демократов должно осуществляться «во внесудебном порядке» п.
В результате массовой операции в сентябре 1939 года были арестованы десятки тысяч людей, в том числе 2000 функционеров нелегальной Коммунистической партии Германии. Многие социал-демократы, до этого выпущенные фашистами на свободу, вновь были брошены за решетку. В ноябре —декабре 1939 года в результате новой террористической акции, проведенной гестапо в 20 крупнейших городах Германии, были арестованы 772 рабочих-антифашиста.
В сентябре 1939 года для координации действий всех органов кровавого фашистского террора было создано Главное имперское управление безопасности. Его возглавил Гейдрих. Сеть агентов гестапо была значительно расширена. Число «преступлений», которые по гитлеровским законам карались смертной казнью, увеличилось в 15 раз.
Несмотря на неблагоприятные внутренние и международные условия, немецкие коммунисты ни на один день не прекращали самоотверженной борьбы против нацистской тирании. КПГ была единственной политической силой в Германии, которая с первых дней войны разоблачала гитлеровскую агрессию и организовывала сопротивление фашистскому режиму. Компартия призвала немецких антифашистов и всех честных немцев решительно противиться проводимой гитлеровцами политике захвата, порабощения и ограбления других народов. В специальном циркулярном письме, направленном местным ячейкам и функционерам партии, Политбюро КПГ указало, что требованием дня является развертывание активной борьбы против фашизма, а необходимой предпосылкой для этого должно служить образование новых нелегальных ячеек партии, создание стабильного руководства работой партии, организация антифашистской деятельности на предприятиях, систематическая и терпеливая работа среди членов массовых фашистских организаций, расширение выпуска антифашистских листовок и брошюр.
С началом второй мировой войны условия для руководства антифашистской борьбой еще более осложнились. Пограничные с Германией страны, откуда оно осуществлялось, — Австрия, Чехословакия, а теперь Дания, Бельгия, Голландия и Франция — были захвачены гитлеровцами. Французские власти уже в сентябре 1939 года интернировали членов заграничного руководства ЦК КПГ. Новый центр заграничного руководства КПГ был создан в Стокгольме. Его возглавил Карл Мевис. Деятельность центра была затруднена как его территориальной отдаленностью, так и чрезвычайно строгим контролем, установленным гитлеровцами на путях связи с нейтральными странами. В этой обстановке ЦК КПГ поставил в качестве первоочередной задачи создание оперативного руководства партии непосредственно в Германии. В 1939—1940 годах через Швецию, преодолев огромные трудности, в Германию проникли опытные работники КПГ — Артур Эммерих, Вилли Галь, Георг Глезер, Рудольф Хальмайер, Георг Хенке, Шарлотта Кроне. Иоханес Мюллер, Генрих Шмеер и Курт Зигмунд. Они должны были, укрепив партийные ячейки на местах и наладив между ними прочную связь, подготовить необходимые условия для создания на территории Германии оперативного руководящего центра КПГ. Эммериху, Галю и Хальмайеру, которые вели в подполье большую партийную работу, в течение 26 месяцев удавалось успешно ускользать от ищеек гестапо. К лету 1941 года уполномоченные ЦК КПГ уже действовали в Гамбурге, Бремене, Киле, Любеке, Штутгарте, Мангейме, Гере, Иене, Мюнхене и ряде других городов Германии. В Берлине руководство антифашистской борьбой возглавил член ЦК КПГ Вильгельм Кнохель.