Если бы, однако, Ассоциация в своей борьбе за гражданские права негров вышла за рамки программы, составленной ее юридическим отделом, и в особенности если бы она присоединилась сейчас к рабочему движению и стала помогать прогрессивным деятелям в их борьбе за достижение новых целей, повсеместно выдвигаемых рабочим движением, ее, несомненно, обвинили бы в коммунистической деятельности, и, подобно большинству других американских организаций, борющихся за социальный прогресс, она была бы официально объявлена «подрывной». В ряде жизненно важных вопросов Ассоциация вынуждена была топтаться на месте, придерживаясь тактики выжидания, чтобы не дать новым реакционным элементам начать «охоту за ведьмами».
Епископ пока плохо разбирался в новой для него обстановке и отважился внести в Совет лишь одно предложение — об участии Ассоциации в Пятом панафриканском конгрессе, который должен был собраться осенью 1954 года в Англии. Совет директоров довольно неохотно уполномочил епископа Уилсона присутствовать на конгрессе в качестве своего представителя. Благодаря этому Уилсон познакомился наконец с международным рабочим движением.
В начале 1945 года в Париже была создана Всемирная федерация профсоюзов, на первом съезде которой присутствовали представители различных африканских стран и регионов. В ходе ее работы возникли некоторые трения по вопросу о праве представителен африканских профсоюзов выступать непосредственно от лица своих организаций, не дожидаясь одобрения профсоюзов метрополий; так, например, профсоюзы Англии претендовали на то, чтобы выступать от имени африканских рабочих английских колоний. «А то мало ли чего потребуют колониальные профсоюзы!» — заявил один из лейбористских лидеров. После упорной борьбы африканцы все же добились права на самостоятельное представительство.
Затем некоторые из африканских делегатов предложили, чтобы вслед за окончанием съезда был сразу же созван панафриканский конгресс. Таким образом, они подхватили идею, впервые выдвинутую в 1919 году Национальной ассоциацией содействия прогрессу цветного населения и уже приведшую в прошлом к созыву четырех панафриканских конгрессов. Пятый конгресс первоначально намечалось провести осенью 1945 года в Париже, но в связи с некоторыми трудностями, отчасти вызванными войной, конгресс пришлось перенести в Лондон. Таким образом, Пятый панафриканский конгресс, на который направлялся епископ Уилсон, должен был состояться в Лондоне.
Здесь, однако, встретились новые затруднения, несомненно по вине английского правительства, тормозившего наем подходящих помещений для работы конгресса и размещения делегатов. Наконец за разрешение этой проблемы взялась одна манчестерская организация, и Пятый панафриканский конгресс открылся в октябре 1945 года в Манчестере.
Ехать на конгресс епископ собирался вместе с Соджорнер, рассчитывая отправиться оттуда прямо в Западную Африку, чтобы приступить наконец к своей церковной деятельности. Они договорились, что, пока они будут жить в Африке, их маленькая дочь будет находиться на попечении Джойс, жены Ревелса Мансарта. Но в последний момент этот план был изменен, и трехлетняя крошка по имени Африка вылетела с родителями в Англию, а оттуда они все вместе отправились на Черный континент.
В ратуше Чорлтона, в районе Манчестера, собралось свыше ста делегатов. В большинстве своем это были представители африканских колоний, прибывшие непосредственно из Африки. Здесь были делегаты из Гамбии, имеющей двести тысяч негритянского населения, Сьерра-Леоне, где проживает один миллион негров, Золотого Берега с его четырьмя миллионами негритянского населения, Южно-Африканского Союза, где насчитывается семь с половиной миллионов негров и других цветных народностей, и Нигерии с тридцатью миллионами негритянского населения; присутствовали также делегаты из колоний в Северной Африке и из Вест-Индии.