Тем не менее я попробую очертить угрозы и перспективы. Будущее имеет свойство совершать подвиги, которые прошлое считало невозможными. Цивилизации будущего даже нарушали то, что цивилизации прошлого считали законами физики. Если бы пророки 1900 года — и даже не думайте о 1000 годе — попытались определить границы силы человеческой цивилизации через миллиард лет, то некоторые из названных ими невозможностей были бы преодолены до конца столетия (превращение свинца в золото, например). Поскольку мы помним, что цивилизации будущего удивляли цивилизации прошлого, то мы не можем накладывать ограничений на своих праправнуков. И все же в XX веке, в XIX веке и в XI веке мы все были людьми.
Можно различить три семейства ненадежных метафор для представления об ИскИне, превосходящим интеллектуальные возможности человека:
• Метафора G-фактора: вдохновлена различиями индивидуального уровня интеллекта людей. ИскИн будет патентовать новые технологии, публиковать прорывные статьи, делать деньги на фондовом рынке или возглавлять политические блоки.
• Историческая метафора: вдохновлена знанием различий между прошлыми и будущими человеческими цивилизациями. ИскИн быстро создаст набор возможностей, который обычно связывается с человеческой цивилизацией через сто или тысячу лет: молекулярную нанотехнологию, межзвездные путешествия, компьютеры, выполняющие 1025 операций в секунду.
• Видовая метафора: вдохновлена различиями в архитектуре мозга между видами живых существ. ИскИн овладеет магией.
Метафора G-фактора наиболее популярна в современной футурологии: когда люди думают об интеллектуальности, они думают о человеческих гениях, а не о людях вообще. В историях о враждебном ИскИне G-метафоры ответственны за «хорошую историю» в духе Бострома: а именно за оппонента, достаточно могущественного, чтобы создать драматическое напряжение, но не достаточно могущественного, чтобы мгновенно истребить героев, как мух, и, в конечном счете, достаточно слабого, чтобы проиграть в последних главах книги. Голиаф против Давида — пример хорошей истории, но Голиаф против мушки дрозофилы — нет.
Если мы рассматриваем метафору G-фактора, то риски глобальной катастрофы в этом сценарии относительно умеренные: враждебный ИскИн — не большая угроза, чем враждебный человеческий гений. Если мы предполагаем множественность ИскИнов, то тогда мы имеем метафору конфликта между племенем ИскИнов и племенем людей. Если племя ИскИнов выиграет в военном конфликте и истребит людей, то, согласно Нику Вострому, это глобальная катастрофа по типу Взрыва. Если племя ИскИнов будет экономически доминировать над миром и обретет эффективный контроль над судьбой возникшей на Земле разумной жизни, но цели ИскИнов не будут для нас интересными или стоящими, то это будет катастрофа в духе Визг, Хныканье или Хруст.
Ник Востром.
Экзистенциальные риски:
анализ сценариев исчезновения человечества.
Категории классификации экзистенциальных рисков
Взрыв — разумная жизнь земного происхождения исчезает вследствие относительно внезапной катастрофы, связанной или со случайностью, или с намеренным актом уничтожения.
Визг — достигнута некая форма постчеловечества, но в чрезвычайно узкой форме, чем было бы желательно и возможно.
Хныканье — постчеловеческая цивилизация возникает, но развивается в направлении, которое постепенно, но необратимо ведет или к полному исчезновению вещей, которые мы ценим, или к состоянию, когда эти вещи доступны лишь в минимальной степени.
Хруст — потенциал развития человечества в постчеловечество перманентно потерян, хотя его существование в той или иной форме продолжается.
Но насколько вероятно, что ИскИн преодолеет весь огромный разрыв от амебы до деревенского дурачка, а затем остановится на уровне человеческого гения?
Физически возможно построить мозг, вычисляющий в миллион раз быстрее человеческого без уменьшения размера, без работы при низких температурах и без квантового компьютера. Если человеческий ум будет ускорен таким образом, субъективный год размышлений завершится за 31 физическую секунду во внешнем мире, а тысячелетие пролетит за восемь с половиной часов. Вернор Виндж назвал такие ускоренные умы «слабым сверхинтеллектом»: ум, думающий как человек, но гораздо быстрее.
Предположим, что возникнет чрезвычайно быстрый ум, располагающийся в сердцевине существующей в это время человеческой технологической цивилизации. Провалом воображения было бы сказать: «Неважно, как быстро он думает, он может влиять на мир только со скоростью своих манипуляций; он не может управлять машинами быстрее, чем приказывает работать человеческим рукам; поэтому быстрый ум — это не великая опасность». Нет такого закона природы, по которому физические операции должны тянуться секундами. Характерное время для молекулярных реакций измеряется в фемтосекундах, иногда в пикосекундах.
Представьте себе, что человечество было бы заперто в ящике и могло бы воздействовать на окружающий мир только посредством медленных движений щупалец пришельца или механических рук, которые бы двигались со скоростью несколько микрон в секунду. Тогда мы бы сконцентрировали всю нашу творческую силу на поисках наикратчайшего пути построения быстрых манипуляторов во внешнем мире. Размышляя о быстрых манипуляторах, немедленно вспоминаешь о молекулярной нанотехнологии — хотя могут быть и другие пути.
— То есть создадут ли они Бога? — уточнил я. — Среди ИскИнов есть и противники этого проекта. Опыт людей подсказал им, что создание высшего разума — прямая дорога к рабству, если не к вымиранию.
— Но станет ли истинный Бог уничтожать свои создания?
— Если иметь в виду Техно-Центр и гипотетический Высший Разум, — возразил я, Бог не создатель, а создание. Возможно, божество может чувствовать ответственность лишь за те низшие существа, которые само создало.
— Тем не менее Техно-Центр, судя по всему, взял на себя ответственность за людей уже много веков назад, со времени Отделения ИскИнов, — произнесла Гладстон. Она пристально смотрела на мое лицо — словно на шкалу какого-то важного прибора.
Я окинул взглядом сад. Дорожка светилась во мраке таинственным белым светом.
— Техно-Центр преследует собственные цели, — сказал я, понимая, что секретарю Сената этот факт известен лучше, чем кому бы то ни было.
— И вы считаете, что человечество ему больше ни к чему?
Как только ИскИн обретает быструю инфраструктуру, дальнейшие события происходят по шкале времени ИскИна, а не по человеческой временной шкале. (Кроме того случая, когда ИскИн предпочтет действовать в человеческой временной шкале.) С молекулярной нанотехнологией ИскИн может (потенциально) переписать всю Солнечную систему без какого-либо сопротивления.
Недружественный ИскИн с молекулярной инфраструктурой (или другой быстрой инфраструктурой) не должен беспокоиться об армиях марширующих роботов, или шантаже, или тонких экономических вмешательствах. Недружественный ИскИн обладает способностью переделать все вещество Солнечной системы согласно своей цели оптимизации. Для нас будет фатальным, если этот ИскИн не будет учитывать при своем выборе то, как эта трансформация повлияет на существующие сейчас системы, такие как биология и люди. Этот ИскИн ни ненавидит вас, ни любит, но вы сделаны из атомов, которые он может использовать как-то по-другому. ИскИн работает на другой временной шкале, чем вы; к тому моменту, когда ваши нейроны закончат думать слова «надо что-то делать», вы уже проиграли.