Первое ополчение собралось в Ломбардии. Во главе его стояли архиепископ Ансельм Миланский и граф Альберт Бьяндратский. В этой армии было не много профессиональных воинов, а основная масса состояла из нищенского сброда ломбардских городов, выброшенных на обочину жизни образованием цехов. Хотя, по словам хрониста Альберта Аахенского, в армии было 200 тысяч, на самом деле вооруженного народу в ней было примерно в десять раз меньше и столько же невооруженного - женщин, детей и священнослужителей.
Во главе армии из Бургундии и Шампани стояли герцог Эд Бургундский из Дижона, граф Этьен Бургундский’ из Безансона, ленник германского императора, и молодой граф Гийом II Неверский. Церковь послала архиепископа Безансона и епископов Парижа, Суассона и Лана. В южной Франции возглавил большую армию герцог Гийом IX Аквитанский, знаменитый трубадур. К крестоносцам примкнули также покрытые всеобщим презрением дезертиры крестового похода графы Этьен де Блуа и Гюг де Вермандуа.
Тем временем в Германии собрал значительные силы герцог Вельф IV Баварский. Среди многих крупных феодалов, присоединившихся к нему, были архиепископ Тимо Зальцбургский, епископ Пассау и вдовая маркграфиня-мать Ида Австрийская, знаменитая красавица, пережившая свою весну. Отдельную небольшую армию возглавил Конрад, рейхсмаршал императора Генриха IV.
Сам император Генрих IV собирался пойти в крестовый поход, чтобы снять с себя церковное отлучение, и в Германии ради этого был даже провозглашен в
1103 г. первый общественный мир, однако походу помешали вновь разгоревшийся спор с папством об инвеституре и восстание против императора его сына.
Маршруты армий проходили по суше и примерно совпадали с маршрутами 1096-1097 гг. Прохождение через Венгрию, Сербию и Болгарию сопровождалось насилиями и грабежами. На территории Византии насилие и грабеж носили характер откровенно выраженной ненависти к грекам. Часто дело доходило до стычек и полномасштабных столкновений. При Адрианополе аквитанцы дали сражение печенежским войскам императора, в результате которого сгорела часть города.
Первыми - в марте 1101 г. - через Краину и Венгрию добрались до Константинополя ломбардцы. Они отказались переправляться на азиатский берег, на чем настаивал император Алексей, и начали уже штурмовать укрепленный монастырь Козьмы и Дамиана у ворот Константинополя. С большим трудом удалось архиепископу Ансельму и другим предводителям утихомирить их. Для ломбардцев император сумел подобрать опытного командующего, графа Раймунда Тулузского, освободителя Гроба Господня. Тот прибыл в Константинополь в июне
1100 г. и жил, пользуясь широким гостеприимством императора. В его лице Алексей нашел единомышленника: оба ненавидели Боэмунда. Между ним и императором был заключен союз, целью которого было изгнание нормандцев из Антиохии, а графу было обещано что-то вроде должности наместника императора на уже завоеванной крестоносцами территории и на той, которую еще предстоит завоевать. Ломбардцы с уважением встретили графа - прославленного воина, и ему удалось уговорить их в конце апреля переправиться через Босфор.
К войскам графов Этьена де Блуа и Этьена Бургундского и герцога Эда Бургундского, вышедшим позднее (весной 1101 г.), по дороге присоединились войска рейхсмаршала Конрада. Общее количество вооруженных паломников в этой объединенной армии составляло около 10 ООО человек. Они прошли через Италию и переправились через Адриатическое море. Когда они добрались до Константинополя, император снова сумел заставить их принести ему присягу за обещание помочь добраться до Сирии. Они приняли предложение императора взять командующим Раймунда Тулузского. Ломбардцы также признали его командующим, но наотрез отказались идти по предложенному им маршруту через Дорилею и Иконий. Они видели свою цель в освобождении из турецкого плена своего кумира, знаменитого земляка - князя Боэмунда Антиохийского. Архиепископ Миланский и граф Бьяндратский поддержали земляков. И граф, который не мог обойтись без многочисленного воинства итальянцев, вынужден был отклониться от маршрута, намеченного императором, и вести ломбардцев и примкнувшие к ним отряды французов и немцев к Никсару, чтобы освободить своего злейшего врага Боэмунда. Вместе с франками пошел полутысячный отряд императорских печенегов.