По преданию, церковь здесь была основана в 547 г. н. э. самим императором Юстинианом. Рассказывали, что он в то время воевал с персами за эти земли и однажды, во время перемирия, решил поохотиться. Император стал преследовать газель и уже настиг ее и поднял лук, чтобы выстрелить, но тут животное вдруг преобразилось в икону Девы Марии. Император увидел простертую к нему белую руку и услышал слова: «О нет, Юстиниан, не пытайся убить меня, но построй на этом холме церковь во имя Мое».
Он так и сделал. По его приказу здесь воздвигли обитель, чьи величественные башни и купола были далеко видны в этой пустыне. В церкви находилась чудотворная икона Святой Девы, написанная, как считается, самим евангелистом Лукой. Рассказывали, что икона эта источала священное миро, способное исцелять людей от всех болезней. Поэтому, пока в 1187 г. Саладин не взял Акру, туда, под охраной тамплиеров, отправлялись группы больных и калек, особенно на Успенье и Рождество Девы Марии. Эти несчастные отваживались предпринять длительное и опасное путешествие, чтобы исцелиться благодаря чудотворному образу.
В Средние века Акру воспринимали как блестящую столицу, которая по богатству могла бы поспорить с Константинополем. Это был многоязычный и многоконфессиональный город, перекресток торговли между тремя материками, куда приезжали купцы из Италии, Йемена, Магриба, где встречались иудеи, армяне, несториане из Мосула и имамы из Багдада. Здесь таились ассасины из Масьяфа и Аль-Кафа. Главная улица города (рю ля Бушери) постоянно кишела людьми, была шумной, грязной, наполненной разнообразными ароматами.
Акра была городом благочестивых претензий и мирской суеты. Здешняя знать жила во дворцах и утопала в роскоши. Архиепископы Акры не раз обличали развращенность и насилие, царившие в верхних слоях общества. Уровень убийств в городе был высок, и особенно часты были случаи отравления мужей женами в знатных семьях. В Акре была распространена проституция, имелось множество публичных домов и были даже случаи, когда монахи сдавали дома содержателям борделей. Приезжие мусульмане с негодованием писали о мусульманках-рабынях, которых в Акре держали в цепях, а также о расцвете проституции среди европейцев. Их возмущало также, что мечети католики перестроили в церкви, а минареты переделали в колокольни. Приверженцам ислама оставалось молиться только в пристройке к бывшей Пятничной мечети, которая ныне стала церковью Святого Иоанна.
Однако Акра была не только жестоким и грубым, но и гостеприимным городом. Его «английская улица» была целиком посвящена заботам о бедных паломниках: здесь находился приют для странников, названный в честь Томаса Бекета, а госпитальеры содержали на этой улице самый крупный госпиталь и постоялый двор на Ближнем Востоке. Он представлял собой целый полуподвальный «город», в сводчатых палатах которого были размещены кровати для двух тысяч больных и паломников. Северные ворота, выходившие на побережье, охранял сильный гарнизон тамплиеров. И именно здесь паломники могли получить эскорт для путешествия в Иерусалим или Седнайю.
По своему плану город Акра напоминал треугольный щит. С двух сторон он выходил к морю, а с третьей, восточной, был защищен двойной стеной с башнями, стоявшими друг от друга на расстоянии брошенного камня. Как и в Тире, здесь имелась внутренняя гавань, вход в которую при необходимости закрывала массивная железная цепь. Вход в большую гавань защищала «Башня мух» высотой в сорок футов. Ее название, как считалось, связано было с прозвищем Вельзевула «Властелин Мух», однако существовало и другое объяснение. Рассказывали, что в древности на скале, на которой позднее возвели башню, совершали человеческие жертвоприношения, и кровь привлекала синих мух.
С башен города нередко можно было видеть до восьмидесяти кораблей одновременно, стоявших в порту или на якоре в море. При виде этого впечатляющего зрелища один гость-мусульманин вспомнил то место из Корана, где упоминались корабли, «внушительные, словно горы», созданные людьми, но лишь благодаря воле Аллаха.
Когда в 1187 г. Саладин взял город, он восстановил Пятничную мечеть и гробницу пророка Сали, а затем стал думать о предстоящей обороне. Самой уязвимой была поврежденная часть городских стен, выходившая на Акрскую равнину на северо-востоке, где стены образовывали прямой угол, вершиной которого служила высокая Проклятая башня. Европейцы прозвали ее так потому, что здесь, по преданию, некогда были отчеканены тридцать сребреников Иуды Искариота.