Кааба по преданию была построена Ибрахимом (Авраамом), основателем «веры Ибрахима» (миллат Ибрахим), т. е. монотеизма. След его ноги имеется в святилище (макам Ибрахим, букв. «место где стоял Ибрахим»). У ал-Бухари имеется любопытный хадис, передаваемый со слов Аиши, жены Пророка, где Мухаммад замечает Аише, что ее родичи (она происходила из рода Абу Бакра, который, как и многие знатные мекканские роды исполнял жреческие обязанности при святилище) отступили от планов Ибрахима, перестраивая Каабу. Когда она предложила Пророку изменить святилище, восстановив старый план, он ответил: «Если бы твои родичи не были недавними язычниками, я восстановил бы те основы, на которых Каабу построил Ибрахим» [ал-Бухари, т. 1, с. 211]. В другом варианте хадиса говорится, что Мухаммад желал бы спустить Каабу (которая находится на возвышении) и сделать две двери, как это будто бы было при Ибрахиме. Якобы в основе святилища было несколько камней, «…подобных верблюжьим горбам» [ал-Бухари, т. 1, с. 203], что подтверждает мнение о том, что Кааба была хранилищем не одного священного камня, а многочисленных тотемов-камней. Возможно этот хадис, упоминаемый ал-Бухари, был причиной попыток перестройки Каабы, и даже извлечения Черного камня, которые предпринимались периодически [Ибн Хишам, 1975, с. 110].
По сообщениям различных источников, в Каабе ко времени появления ислама находились изображения племенных «идолов», среди которых был «великий Хубал» — «человек с одной рукой», может быть статуя в арабо-эллинистическом стиле и другие идолы, в том числе Аллах — ставший одним из племенных божеств, вероятно, «старшим» в эпоху формирования монотеизма исламского типа.
У ал-Бухари помещен хадис со словами Ибн Аббаса, одного из сторонников Мухаммада, основателя рода Аббасидов, гласящий: «Когда мой батюшка прибыл вместе с посланцем Аллаха в Мекку (после ее завоевания мусульманами), он отправился в Каабу, и посланец Аллаха велел выбросить все изображения богов, которые находились в Каабе, и их вынесли, и среди них были изображения Ибрахима и Исмаила, которые держали в руках стрелы для гадания. И посланец Аллаха сказал: „Да убьет Аллах язычников, разве они не знали, что эти двое никогда не гадали на стрелах!“ Потом он вошел в Каабу, произнес в каждом ее углу „Аллах велик“, но не молился» [ал-Бухари, т. 1, с. 205].
Функция святилища или священного города издавна была связана у семитских народов с функцией «убежища» [Ветхий Завет. Числа, Гл. 35, ст. 11–15]. В этих убежищах укрывались люди, опасавшиеся кровной мести вплоть до уплаты виры или до принятия других решений. О том, что Каабу, возможно, более широко была присуща функция убежища. Сакральной была вся территория Мекки, о чем говорит запрет ношения оружия в Мекке во время священных месяцев, в период которых также проходили ежегодные межплеменные ярмарки. Ал-Бухари писал о Каабе как о месте убежища (ссылаясь на Коран): «Разве не дали мы им безопасное святилище», а также «Сказал Ибрахим: „Боже, сделай это место безопасным (аминан)“» [ал-Бухари, т. 1, с. 203–204].
Представляется, что ко времени появления ислама данная функция Каабы значительно ослабла или вообще сошла на нет, поскольку нет указаний на то, что люди, совершившие убийство, могли укрыться в Каабе, хотя упоминается, что «…хватались за покровы Каабы…» [ат-Табари, т. 1, с. 214], но этот акт оказывался безрезультатным и прибегавшие к подобному средству были убиты.
Интересно, что обычай поклонения Черному камню (который в настоящее время помещен в специальное «кольцо» и вделан в стену Каабы) в первые годы ислама ощущался как пережиток язычества и к нему применялись известные слова Мухаммада об идолах, которые «не вредят и не приносят пользы». Так, ал-Бухари приводит несколько вариантов хадисов на эту тему. В одном из них, записанном со слов известного сподвижника Мухаммада — Абиса ибн Рабиа, говорится, что Омар (второй халиф, отличавшийся набожностью), подойдя к Черному камню и целуя его, сказал: «Я знаю, что ты камень, не вредящий и не приносящий пользы, и, если бы я не видел, как посланец Аллаха, да благословит его Аллах и да приветствует, целует тебя, я не стал бы тебя целовать» [ал-Бухари, т. 1, с. 204].