Первой его женой была персидская принцесса, но с ней он быстро развелся. Вторая жена — танцовщица из Монте-Карло Тереза Мальяно, которую в то время (до первой мировой войны) считали красивейшей женщиной Ривьеры. Когда она в 1926 году умерла, мультимиллионер женился на Андрее Карлон, продавщице шоколада и конфет в лучшем из увеселительных мест на французском Лазурном побережье.
И наконец, в четвертый раз он женился на «королеве красоты» Франции Иветте Лябрусс, девице на 28 лет моложе его, оставшейся до смерти имама его верной подругой жизни. Когда в 1957 году Ага-хан III умер, ему возвели в Египте, в верхнем течении Нила, богатый мавзолей посреди замечательной по красоте пальмовой рощи. Для жены его, Бегумы, рядом с мавзолеем поставили мраморную виллу, дабы и она могла находиться вблизи могилы покойного царственного супруга. Экс-королева красоты с той поры раз в год навещает могилу мужа, но живет в основном в своем дворце на французской Ривьере.
Все это, разумеется, только «поверхность жизни» руководства секты исмаилитов, которую безустанно расписывали бульварные журналы. А главные действующие лица их истории (Ага-хан III и английское правительство) ничего не делали для того, чтобы как-то изменить картину. И не без причины. Ведь Ага-хан III был одним из важнейших инструментов империалистической политики для поддержания английского господства в «британской Индии». И англичане с успехом использовали его для разделения индийского народа на индуистов и мусульман.
Уже в 1906 году Ага-хан возглавлял делегацию к тогдашнему вице-королю Индии лорду Минто, состоявшую из мусульман, которые еще тогда требовали отдельного от индуистов самоуправления в рамках «британской Индии». На самом деле это «требование» подсказали Ага-хану сами же англичане, что послужило началом политики разделения, которая позднее привела к созданию Пакистана, кровавой резне между мусульманами и индуистами и в последующем целой серии войн.
После второй мировой войны Ага-хан тоже сыграл немаловажную роль в защите английских интересов, призвав религиозные общины исмаилитов, проживавших на территории Британской империи (и даже за ее пределами), оставаться верными по отношению к Англии.
Эту традицию продолжает и сын Ага-хана III — Алихан. В пяти частях света он был известен как «король плейбоев». Первая жена Али-хана была знатная английская дама, дочь лорда Черстона, связанная узами родства с династией пивоваров Гиннесов. (От этого брака родился Карим, нынешний Ага-хан.)
Однако настоящей сенсацией была женитьба в 1949 году Али-хана на знаменитой американской киноактрисе Рите Хайворт, находившейся в то время в зените славы. С этого дня супружеская пара стала почти беспрерывно украшать иллюстрированные журналы Запада. (А фотографировать было что: брак, продержавшийся четыре года, был богат на бурные ссоры и примирения — от Голливуда до французской Ривьеры.) После развода Али-хан в соответствии со своей репутацией так же и умер: после одной бурной ночи он на своей машине «феррари» врезался в дерево в Булонском лесу в Париже.
В биографии как отца, так и сына можно обнаружить следы политической деятельности, скрытые от стороннего глаза. Но по прошествии времени и о них становится известно. Так, например, теперь мы знаем, что во время второй мировой войны Али-хан был одним из руководителей английской секретной службы «Интеллидженс сервис» в Иерусалиме. Главной задачей его была «работа среди арабов». После высадки союзников, американцев и англичан, на юге Франции он выполнял важные задания по связи между английской и американской разведками. (Одновременно он не забывал и о своих семейных обязанностях, «освободив» из нацистского плена чистокровных лошадей со своих конфискованных гитлеровцами конных заводов, которые по указанию Геринга были угнаны из скаковых конюшен династии Ага-ханов на юге Франции.) После второй мировой войны Алихан некоторое время был руководителем пакистанской делегации в ООН.
Карим, Ага-хан IV, как личность не мог сравниться со своим отцом и дедом. Однако когда зачитали завещание деда, ко всеобщему удивлению старый имам именно его, а не своего сына Али-хана назначил преемником. В миру он был прежде всего продолжателем старых традиций Ага-ханов: три месяца в году он жил в своем парижском дворце (как раз в сезон скачек), а оставшиеся девять месяцев распределял между конторой по продаже недвижимого имущества на острове Сардиния и заседаниями в составе нескольких, не очень важных делегаций в штаб-квартире ООН — для укрепления своих семейно-политических связей в Пакистане, Англии и Америке.