После того как Завахири в 1996 году уехал из Судана, он словно испарился. Египетская разведка видела его в Швейцарии и Сараево. Говорили, что он нашел убежище в Болгарии, но египетские газеты писали о его роскошной жизни на швейцарской вилле недалеко от границы с Францией и о тридцати миллионах долларов на тайных счетах. В то же самое время Завахири номинально считался издателем газеты «Аль-Муджахедин», редакция которой находилась в Копенгагене. Ни швейцарская, ни датская разведка не имели достоверной информации, действительно ли Завахири живет в их странах. Фальшивый паспорт, который он использовал, свидетельствует о путешествиях в Малайзию, Тайвань, Сингапур и Гонконг. Говорили, что Завахири появлялся в Голландии, где вел переговоры об учреждении нового спутникового телеканала. Он говорил, что его поддерживает один богатый араб, который хотел бы создать фундаменталистскую альтернативу телеканалу «Аль-Джазира», вещавшему из Катара. Завахири планировал вещать восемь часов в сутки на Европу и Ближний Восток. Персонал должен быть исключительно мужским. Но проект гак и остался нереализованным.
Завахири решил отправиться в Чечню, где надеялся основать новую базу для «Аль-Джихада». «Условия там должны быть прекрасными», — писал он одному из своих коллег. Российские федеральный войска начали выводиться с территории Чечни годом раньше, после заключения соглашения о прекращении огня. Чечня была преимущественно исламским районом и по плану исламистов могла стать ядром исламской республики всего Кавказа, откуда огонь джихада должен был перекинуться на всю Среднюю Азию. «Если чеченцы и другие кавказские моджахеды достигнут берегов нефтяного Каспийского моря, то единственное, что их будет разделять с Афганистаном, — это нейтральный Туркменистан, — писал Завахири в мемуарах. — Это создавало своеобразный исламистский пояс моджахедов с юга России, который бы протянулся до восточной части Пакистана и соприкоснулся с движением муджахединов в Кашмире». Таким образом, речь могла бы идти уже о восстановлении исламского халифата. Ситуация в мире была такова, что казалось, до мечты рукой подать.
1 декабря 1996 года, в четыре часа утра, Завахири на микроавтобусе пересек границу России вместе с двумя ближайшими сподвижниками Махмудом Хишамом аль-Ханнави и Ахмедом Саламой Мабруком, возглавлявшим ячейку «Аль-Джихада» в Азербайджане. Они пустились в путешествие без виз, поэтому их сразу же остановили на блокпосту и арестовали сотрудники ФСБ, предъявив обвинения в нелегальном въезде в страну. У Завахири были паспорта четырех стран с четырьмя разными именами. Российским спецслужбам так и не удалось установить, кого они на самом деле арестовали. Они нашли у Завахири 6400 долларов и несколько разных документов, в том числе диплом, выданный медицинским факультетом Каирского университета на имя г-на Амина; набор медицинских справочников; ноутбук, факс и спутниковый телефон. На суде Завахири представился суданским бизнесменом. Он заявил, что не знал о том, что пересек границу нелегально, и утверждал, что приехал в Россию, «чтобы узнать цены на кожу, медикаменты и другие товары». Судья приговорил Завахири и его спутников к шести месяцам заключения. Но поскольку они уже почти отбыли этот срок за время следствия, то вскоре их привезли на границу с Азербайджаном и отпустили. «Бог ослепил их глаза, и они не смогли нас раскрыть», — хвастался Завахири своим сподвижникам.
Этот провал имел серьезные последствия. В связи с уменьшавшимся числом соратников и источников дохода у Завахири не оставалось другого выхода, кроме как отправиться в Кандагар к бен Ладену. Каждый из них понимал, что нужно объединить усилия. «Аль-Каида» и «Аль-Джихад» переживали свои не самые лучшие времена. Вскоре Пакистанская разведка убедила руководство «Талибана» вернуть под контроль бен Ладена тренировочные лагеря под Хостом, рассчитывая, что там начнется подготовка боевиков для заброски в мятежный Кашмир. Пакистанская разведка возобновила финансирование лагерей, что стало важнейшим условием для возрождения «Аль-Каиды». Бен Ладену предоставили международную связь и разрешили позвонить старым знакомым, когда-то спонсировавшим войну против СССР. В результате «Аль-Каида» получила ещё один небольшой, но стабильный источник доходов. Поступление средств было не таким значительным, как ранее. Но уже из первых пожертвований бен Ладену пришлось приобрести несколько дорогих внедорожников для муллы Омара и его окружения, чтобы снискать их расположение. Несмотря на неопределенное финансовое положение, Завахири верил — фортуна чаще улыбается, когда он вместе с бен Ладеном.