— Наверняка.
— Исследования в этой области чрезвычайно обширны, и хотя большинство прямо не говорит о стремлении достичь AGI, конкуренция нас к этому подталкивает. Никто не может позволить себе не создавать максимально умные прикладные программы или сдерживать развитие этой области. Подумайте только, что нами уже создано на данный момент. Подумайте, например, о том, что имелось в вашем телефоне пять лет назад — и что имеется сегодня.
— Да.
— Раньше, до того, как он стал так скрытен, Франс прикидывал, что мы сможем достичь AGI в ближайшие тридцать-сорок лет, и это звучит глобально. Но лично я думаю, не проявлял ли он излишнюю осторожность. Мощность компьютеров удваивается каждые восемнадцать месяцев, и нашему мозгу не уловить, что означает такое экспоненциальное развитие. Знаете, это немного напоминает зернышко риса на шахматной доске. Вы кладете одно зернышко на первую клеточку, два — на вторую, четыре — на третью, восемь — на четвертую…
— И вскоре зернышки риса заполоняют весь мир.
— Темпы прироста только увеличиваются и в конце концов выходят из-под нашего контроля. Самое интересное, однако, не когда мы достигнем AGI, а что произойдет потом. Тут существует много сценариев, в зависимости от того, каким путем мы туда доберемся. Но мы точно будем пользоваться программами, которые обновляют и улучшают нас самих, и при этом нельзя забывать, что у нас появится новое представление о времени.
— Что вы имеете в виду?
— Что мы выйдем за человеческие ограничения. Нас забросит в новый порядок, где механизмы обновляют себя круглые сутки. Всего через несколько дней после достижения AGI мы получим ASI.
— А это что такое?
— Artificial Superintelligence[276], нечто более интеллектуальное, чем мы. Дальше все пойдет быстрее и быстрее. Компьютеры начнут улучшаться в нарастающем темпе, возможно, с коэффициентом десять, — и станут в сто, в тысячу, в десять тысяч раз умнее нас; и что случится тогда?
— Скажите.
— Вот именно. Сам по себе интеллект непредсказуем. Мы не знаем, куда нас заведет человеческий интеллект. И еще меньше знаем о том, что произойдет с суперинтеллектом.
— В худшем случае мы станем не больше интересны для компьютера, чем белые мыши, — вставил Микаэль, подумав о том, что написал Лисбет.
— В худшем случае? Девяносто процентов нашей ДНК одинаковы с мышами, и мы считаемся примерно в сто раз умнее, в сто раз, не больше. Здесь же мы стоим перед чем-то совершенно новым, не имеющим, согласно математическим моделям, подобных ограничений и, возможно, способным стать в миллионы раз интеллектуальнее. Вы можете себе это представить?
— Я пытаюсь, — осторожно улыбаясь, ответил Микаэль.
— Я хочу сказать вот что, — продолжала Фарах Шариф. — Как, по-вашему, почувствует себя компьютер, очнувшись и обнаружив, что он взят в плен и контролируется такими примитивными тварями, как мы? Почему он должен терпеть такую ситуацию? Зачем ему вообще проявлять к нам повышенное уважение или, тем более, позволять нам копаться в его внутренностях, чтобы остановить процесс? Мы рискуем оказаться перед интеллектуальным взрывом, технологической сингулярностью, как назвал это Вернор Виндж[277]. Все, что произойдет после этого, находится за пределами нашего горизонта событий.
— Значит, в тот миг, когда мы создадим суперинтеллект, мы утратим контроль над всем?
— Есть риск, что все наши знания о нашем мире окажутся недействительными, и это станет концом человеческого существования.
— Вы шутите?
— Я знаю, что для не посвященного в данную проблематику человека это звучит идиотизмом. Но вопрос этот в высшей степени реален. Сегодня тысячи людей по всему миру работают над тем, чтобы воспрепятствовать подобному развитию. Многие проявляют оптимизм или даже впадают в утопию. Говорят о friendly ASI, о дружелюбных суперинтеллектах, которые с самого начала программируются так, что будут нам помогать. Представляют себе нечто в духе описанного Азимовым в книге «Я, Робот», встроенные законы, запрещающие механизмам причинять нам вред. Изобретатель и писатель Рэй Курцвейл[278] видит перед собой чудесный мир, где мы с помощью нанотехнологий объединимся с компьютерами в единое целое и разделим с ними будущее. Но, разумеется, никаких гарантий этого нет. Законы могут прекращать свое действие. Значение изначального программирования может меняться — и невероятно легко совершить антропоморфические ошибки, приписать машинам человеческие черты и неверно истолковать их внутренние движущие силы. Франс был одержим этими вопросами и, как я сказала, раздираем противоречиями. Он мечтал об интеллектуальных компьютерах — и в то же время волновался из-за них.