Теперь нужно было, однако, взяться за оружие, чтобы завоевать все те земли, над которыми хотели впоследствии господствовать Бальдуин и Бонифаций, остальные крестоносные рыцари и венецианцы, потому что даже в ближайшем соседстве Константинополя, в укрепленных городах Фракии, еще держались в то время два антиимператора, Алексей III и Алексей V Мурзуфл. Бальдуин повел против них войско, расширил свое господство быстрым победоносным походом на север до Адрианополя и на запад до Фессалоники и этим принудил своих соперников к бегству. Когда Алексей V потерял свое дело, он надеялся найти защиту у Алексея III. Но последний велел его схватить, ослепить и выгнать его беспомощным. Но тирану нисколько не помогло это новое злодеяние, потому что он должен был бежать все дальше с места на место от оружия франков. После этого победители страшно поссорились между собой, потому что Бальдуин явно показывал, что один хотел воспользоваться своими успехами, а не делил их с Бонифацием, как бы следовало. На этот раз маркграф был очень далек от уступчивости. Он вооружил своих приверженцев из ломбардов, немцев и некоторых французов, угрожал войной и в самом деле уже начал неприязненные действия против фландрско-французских рыцарей императора. Этот резкий раздор никому не казался таким вредным, как умному Дандоло, и потому он взял на себя посредничество между враждующими товарищами. Бонифаций подкупил его тем, что уступил венецианской республике не важный для него Крит; и, ввиду этого соглашения ломбардов и венецианцев, Бальдуин должен был в сентябре 1204 г. согласиться на окончательную выдачу Бонифацию Фессалоники. После этого маркграф занял своими войсками этот город и окрестную Македонскую область и этим основал «королевство Фессалоникское», которое с тех пор развивалось наполовину самостоятельно, скорее рядом, чем в подчинении Романской империи. Слепой Алексей V, которого тем временем взял в плен один франкский партизанский отряд в том же сентябре, был казнен в Константинополе в наказание за убийство Алексея IV, которому некогда покровительствовало крестоносное войско.
После этих все-таки счастливых начинаний Бонифаций и Бальдуин направились в разные стороны для новых завоеваний. «Король двинулся в Фессалию и Элладу, «император» направил свои лучшие силы против Малой Азии. В этой последней области крестоносцам предстояли довольно тяжелые задачи, потому что почти во всех тамошних провинциях греки уже вооружились к сильному сопротивлению. Два принца комненовской крови, Алексей и Давид, внуки страшного императора Андроника, пользуясь смутами последнего времени, основали в далеком Трапезунте самостоятельное государство и подчинили ему почти весь северный берег Малой Азии. Во главе этого нового греческого царства стоял старший из двух принцев, Алексей, с титулом императора и с прозванием «великого Комнена», которое удержалось и за его преемниками. На западе Малой Азии целое множество смелых военных людей сделались независимыми владельцами, как Лев Габатас на Родосе, Мануил Маврозомес на Меандре и Феодор Мангафас в Филадельфии. Но самое важное было то, что тот отважный человек, который еще в последние часы старой Византийской империи должен был сделаться ее императором, Феодор Ласкарис, зять Алексея III, приобрел в Мизии и Вифинии много приверженцев, а в крепкой Прусе занял твердую опору для борьбы с латинянами. Однако, несмотря на то, крестоносные рыцари с многочисленными отрядами войска перешли в ноябре 1204 г. как Босфор, так и Геллеспонт, взяли много местечек, в особенности важное Пеге в Мизии, и, сражаясь столь же счастливо, как и смело, разбили несколько раз гораздо более многочисленные греческие войска.
Но едва только они достигли этого, как с другой стороны они попали в самую ужасную беду. Самый опасный враг, с которым византийцам приходилось бороться в последнее десятилетие, болгарский король Иоанн, двинулся теперь и против франков. Последние тяжко оскорбили его тем, что с глупым высокомерием и насмешками отказались от дружбы и союза, которые он им предлагал. Ему тем легче был отомстить за это, что фракийские греки, оскорбительно притесняемые во многих местах своими новыми господами, с отчаянием искали избавителя и потому не пренебрегли войти в тайный союз с варварским болгарским владетелем для истребления своих угнетателей. В марте 1205 внезапно поднялись граждане Адрианополя и других фракийских городов и в кровопролитном восстании перебили или прогнали франкские гарнизоны. Бальдуин и Дандоло поспешили туда со всеми войсками, какими могли располагать, и осадили Адрианополь. Но там появился и Иоанн с бесчисленными толпами большею частью легкой конницы. 15 апреля войска схватились. Рыцари с безрассудной поспешностью бросились на презираемых врагов, а те, со своей стороны, сражаясь подобно сельджукам, уклонились бегством от натиска панцирных отрядов, пока те не остановились истощенные и не пали почти беззащитными жертвами варваров, которые набросились на них со всех сторон. Триста лучших рыцарей были убиты или взяты в плен, и между последними также император Бальдуин. Остаток франкского войска после этого не мог удержаться внутри Фракии и оставил всю провинцию до южного берега на произвол быстро настигавшим их врагам. Старый Дандоло, глубоко потрясенный такой ужасной переменой счастья, умер в печали и заботе 1 июня 1205.