Тамплиеры часто вызывали раздражение и в народе. Уже в 1160 году папа был вынужден издать буллу, запрещавшую стаскивать тамплиеров с коня, оскорблять их действием или словом, и с тех пор булла эта неоднократно подтверждалась. С 1199 по 1210 год папа Иннокентий III несколько раз требовал не причинять ущерба самим тамплиерам, их слугам и их собственности и осуждал епископов, провоцировавших стычки тамплиеров с их братьями во Христе и даже посадивших кое-кого из членов ордена в тюрьму.
В свое время тамплиеры перестали быть угодны светским властям Иерусалимского королевства. Гийом Тирский насчитывает четыре случая, когда члены братства вступали в конфликт с верховной властью. Так, во время осады Аскалона в 1153 году Великий магистр, по слухам, помешал осаждавшим, кроме нескольких рыцарей-тамплиеров, ворваться в город, как только пали его стены, и это чуть не привело атакующую сторону к поражению. Хронист отстаивает ту точку зрения, что Великий магистр сделал это исключительно из желания обеспечить своему ордену возможность захватить как можно больше добычи при разграблении города. В 1165 году тамплиеры сдали «священную пещеру» на восточном берегу реки Иордан мусульманскому полководцу Ширкуху. Король иерусалимский Амальрих даже повесил около дюжины тамплиеров, ответственных за оборону, хотя члены ордена пользовались церковной и светской неприкосновенностью. Затем, в 1168 году, Великий магистр отказался поддержать третий поход Амальриха против египтян, и тот потерпел поражение. По мнению Гийома Тирского, отказ тамплиеров был вызван тем, что «совершить этот поход подстрекал короля Великий магистр соперничающего ордена (госпитальеров)». И наконец, в 1173 году тамплиеры убили посланника мусульманской секты «ассасинов», прибывшего в Иерусалим для ведения переговоров о союзе с королем Амальрихом. Видимо, они решились на это потому, что король согласился освободить ассасинов от уплаты тамплиерам ежегодной дани. Впрочем, исследователь П. Рид полагает, что тамплиеры напали на ассасинских послов по другой причине. Они попросту не доверяли им, зная их хитрость и вероломство, и сочли, что мусульмане одурачили короля Амальриха.
Так или иначе, король Иерусалима велел арестовать рыцаря, ответственного за это убийство. Гийом Тирский считает, что, если бы Амальрих не умер в 1174 году, он непременно поднял бы перед главами всех христианских государств вопрос о целесообразности неприкосновенности тамплиеров.
Надо сказать, что отношения тамплиеров с мусульманами оценивались современниками крайне неоднозначно.
Поражение на Востоке многие пытались связать с поведением духовно-рыцарских орденов. Ходили слухи о предательстве тамплиеров. Так, храмовники повели себя неблаговидным образом, с точки зрения христиан, при осаде Дамаска в 1142 году. Вюрцбургский хронист свидетельствовал, что осажденные подкупили рыцарей Храма, которые оказали им поддержку, что и послужило в конечном счете одной из основных причин провала хорошо задуманного и подготовленного крестоносцами предприятия. Позже император Фридрих II обвинял тамплиеров в сговоре с сарацинами и даже тайном присутствии при отправлении мусульманских обрядов. В этом была доля истины. Тамплиеры и госпитальеры в свое время заключили, в частности, секретное соглашение с мусульманской сектой исмаилитского толка – с уже упоминавшимися нами ассасинами. Здесь нужно сказать несколько слов об этой секте. Ее фанатичные члены с дерзкой отвагой убивали высокопоставленных противников ударом ножа на улицах и площадях городов Леванта, несмотря на то, что сами при этом рисковали жизнью. При этом Старец Горы (так именовали главу секты) направлял оружие своих приверженцев как против крестоносцев, так и против неугодных ему мусульманских правителей. В 1236 году Папа Римский вынужден был пригрозить госпитальерам и тамплиерам отлучением от церкви, обвинив их в ведении переговоров с ассасинами.
Во время крестового похода Людовика Святого в Египет в 1248 году Великий магистр Гийом де Соннак из тактических соображений посоветовал брату короля графу д’Артуа не нападать на крепость Мансур. Однако хронист Матвей Парижский сообщает, что граф д’Артуа обвинял рыцарские ордена в попытках воспрепятствовать крестовым походам из корыстных побуждений, ибо, если бы Египет был завоеван, члены ордена уже не смогли бы владычествовать в этих землях. Явственно это недоверие выразилось в отношении к Гийому де Боже, последнему Великому магистру, правившему орденом в Палестине, у которого имелись осведомители в рядах египетской армии, предупреждавшие его о готовящихся нападениях. Когда, по его просьбе, султан Калаун предложил осажденной Акре заключить перемирие при условии, что каждый житель уплатит дань, Великий магистр чудом избежал гибели, объявив об этих условиях жителям города, ибо они сочли это предательством. Вскоре Гийом де Боже погиб, защищая крепость от сарацинов.