Тем временем император Исаак снарядил войско под командованием своего племянника Мануила Камиза, опытного командира, закаленного в многочисленных сражениях, и направил его к Филиппополю. Барбаросса послал к Камизу парламентеров, дабы заверить его в мирном характере своих намерений и таким образом избежать столкновения, однако ничего не добился. Когда в конце августа 2000 отборных греческих всадников устроили неподалеку от Филиппополя засаду немецким фуражирам, Фридрих Швабский с 5000 рыцарей атаковал противника и обратил его в бегство. Предводитель этого злосчастного войска, как сообщает византийский источник, возвратился в Константинополь, «словно потерпевший кораблекрушение, нахлебавшийся соленой морской воды».
В преодолении этих преград прошло лето. По расчетам, Фридриху уже давно следовало маршировать в Азии, но вместо этого приходилось готовиться зимовать на европейском берегу, в Филиппополе. Неудачная военная вылазка отрезвляюще подействовала на Исаака, и он освободил людей Барбароссы, в сопровождении своих посланцев отослав их в Филиппополь и велев передать, что согласен на ведение переговоров. Но и на этот раз не удалось прийти к соглашению. Непредвиденная задержка спутала все расчеты Фридриха, причинив ущерб и его репутации овеянного славой императора и полководца, поскольку христианский мир не мог понять, почему крестоносное войско до сих пор не в Азии.
В конце октября освобожденные немецкие послы прибыли в Филиппополь. Вместе с ними опять явился Иоанн Дука в сопровождении высоких придворных чинов. На следующий день Герман Мюнстерский и его спутники доложили собравшимся князьям, рыцарям и клиру о том, как с ними обращались в Константинополе, и о враждебности к крестоносцам, которую там проповедовал с амвона Досифей. Затем впустили греческих послов. Фридрих потребовал полного возмещения ущерба, в первую очередь возвращения отнятых у послов подарков и денег. В весьма сильных выражениях Фридрих бросил Иоанну Дуке упрек в мелочности его господина, в своем послании не пожелавшего признать за ним, императором Фридрихом, титула и имени, известных всему миру. Естественно, Дуке нечего было возразить.
Тем временем и королю Венгрии стало известно о враждебности между Барбароссой и Исааком. Сколь бы дружески он ни был расположен к императору Фридриху, заинтересованность в сотрудничестве с Исааком Ангелом на Балканах брала верх, вынуждая его отозвать венгерский отряд. Фридрих поначалу пребывал в нерешительности, не знал, отпускать венгерских крестоносцев или нет. Наконец, он согласился, ибо «Господь не желает принудительной службы», а сам решил отправиться на зимние квартиры в Адрианополь, куда уже в ноябре прибыла большая часть его войска. Этот город также был оставлен жителями, но не разрушен, так что крестоносцы смогли там устроиться.
Поскольку из Константинополя не поступало никаких вестей, Барбаросса поздней осенью 1189 года всерьез стал подумывать о захвате византийской столицы, не видя иной возможности переправиться в Малую Азию. Эти авантюрные идеи, питавшиеся ненавистью и озлоблением в войске, а также надеждой на большую поживу, уже давно витали в воздухе. В ноябре Фридрих отправил вместе с возвращавшимся домой венгерским отрядом указание королю Генриху VI собрать флот пизанцев и генуэзцев для осады Константинополя, которая должна была начаться в марте. Тогда Барбаросса еще не знал, что в Германии опять разгорелась борьба против Генриха Льва, незаконно вернувшегося на родину.