Проблема контроля стала темой мировых новостей, чему не в последнюю очередь способствовал недавний бестселлер Ника Бострома «Искусственный интеллект»[3][4]. Однако при этом упускается из виду, что сознание может оказаться центральным моментом и в вопросе о том, как ИИ будет оценивать нас. Используя собственный субъективный опыт как трамплин, сверхразумный искин мог бы и у нас увидеть способность к осознанному переживанию. В конце концов, если мы в определенной мере ценим жизнь животных, то делаем это потому, что ощущаем сродство сознания – так, почти любой из нас испытает отвращение при мысли об убийстве шимпанзе, но без всяких угрызений совести съест апельсин. Вот если сверхразумные машины не будут обладать сознанием, – то ли потому, что это невозможно, то ли потому, что их так спроектировали, – мы можем оказаться в беде.
Эти вопросы необходимо рассматривать в еще более широком, поистине вселенском контексте. Как участница двухгодичного проекта в NASA я выдвинула предположение, что схожие события могут происходить и на других планетах; где-то во Вселенной другие биологические виды, возможно, вытесняются искусственным разумом. Занимаясь поисками внеземной жизни, мы должны иметь в виду, что самые разумные инопланетяне могут оказаться постбиологическими сущностями, искинами, развившимися на основе биологических цивилизаций. И если эти искины не способны обладать сознанием, то с заменой ими биологического разума Вселенная попросту лишается целых популяций существ, обладающих сознанием.
Если сознание, присущее или не присущее ИИ, действительно так важно, как я утверждаю, то нам лучше заранее знать, может ли оно в принципе быть создано и не создали ли его мы, земляне. В последующих главах я расскажу о том, как определить, существует ли искусственное сознание, и коротко опишу тесты, разработанные мной в Институте перспективных исследований в Принстоне.
А теперь рассмотрим идею слияния людей с ИИ. Представьте, что вы находитесь в Центре конструирования разума. Какие расширения возможностей мозга вы выбрали бы из меню – если вообще стали бы это делать? Вы, вероятно, уже начинаете догадываться, что принятие решений при конструировании разума – дело весьма и весьма непростое.
Можно ли слиться с ИИ?
Я не удивлюсь, если идея расширения возможностей мозга при помощи микрочипов кажется вам совершенно пугающей – как, кстати, и мне. Сейчас, когда я пишу это введение, приложения в моем смартфоне, вполне возможно, отслеживают мое местонахождение, слушают мой голос, фиксируют содержание моих поисковых запросов и продают всю эту информацию рекламщикам. Я вроде бы отключила эти функции, но компании, создающие приложения, делают этот процесс настолько непрозрачным, что уверенности в успехе нет. Если ИИ-компании даже сейчас не уважают нашу частную жизнь, то можно представить себе, какие потенциальные возможности для злоупотреблений появятся, когда самые потаенные наши мысли будут оцифрованы и записаны на микрочипы, а то и доступны где-нибудь в интернете.
Но предположим, что законодательство, регулирующее ИИ, улучшится и наш мозг можно будет защитить от хакеров и алчности корпораций. Тогда, наверное, у вас появится желание расширить возможности мозга – ведь окружающие, похоже, получают немалую пользу от этих технологий. В конце концов, если слияние с ИИ ведет к рождению сверхразума и радикальному увеличению продолжительности жизни, разве этот путь не лучше обычной альтернативы – неизбежной деградации умственных способностей и тела?
Идея о необходимости слияния человечества с ИИ сегодня буквально витает в воздухе. Ее преподносят, с одной стороны, как средство предотвращения вытеснения людей искинами с привычных рабочих мест, а с другой – как путь к сверхразуму и бессмертию. Например, Илон Маск недавно заметил, что люди могут избежать вытеснения искусственным интеллектом при помощи «соединения биологического и машинного интеллекта»[5]. С этой целью он основал новую компанию Neuralink. Одна из ее первых целей – создать «нейронное кружево», своеобразную паутинку, которая будет вводиться в мозг путем инъекции и обеспечивать его связь с компьютером. Нейронное кружево[6] и другие усовершенствования, основанные на технологии ИИ, должны, по идее, сделать возможной беспроводную передачу информации из вашего мозга в цифровые устройства или в облако, где доступны большие вычислительные мощности.