Что же произойдет, если ИИ превзойдет человеческий разум и сможет успешнее решать все когнитивные задачи. Подобная система потенциально способна к рекурсивному самоулучшению и может спровоцировать тем самым «взрыв» интеллекта, оставив человеческий разум далеко позади. Изобретение революционных технологий, а сверхразум ‒ одна из них, может помочь человечеству искоренить войны, болезни и бедность. Само по себе создание подобной технологии может стать крупнейшим событием во всей истории человечества. Однако, некоторые эксперты предполагают, что если человек не научится синхронизировать свои цели с задачами ИИ до того, как тот превратится в сверхразум, это событие может оказаться для него последним. Есть и те, кто сомневается в возможности создания сильного ИИ, и те, кто считает, что создание сверхразвитого ИИ гарантированно принесет человечеству пользу. Я признаю возможность развития обоих сценариев событий и понимает, что ИИ может преднамеренно или непреднамеренно стать источником большой беды. ИИ вряд ли будет проявлять эмоции, присущие человеку, такие как, например, любовь или ненависть. Не стоит также ожидать, что искусственный интеллект станет намеренно доброжелательным или, наоборот, озлобленным».
Я потерла виски, пытаясь хоть слово понять. Все было одновременно просто, но и сложно. Ничего толком не поняв, я стала читать дальше. Я запретила себе размышлять об этом – появлялось слишком много вопросов.
«Этот ИИ опасен, хотя бы потому что изначально он был разработан с разрушительной целью. Например, в качестве системы управления автономным оружием. В руках не того человека такое оружие легко станет причиной множества жертв. Более того, гонка вооружений с использованием технологий ИИ может непреднамеренно привести к войнам искусственных разумов, которые, несомненно, унесут еще большее количество жизней. Вероятнее всего, подобное оружие будет не так-то просто взять и «выключить» ‒ будут разработаны системы защиты от вражеского взлома систем. А в результате, человечество может потерять контроль над подобными орудиями. Риск существует даже при использовании слабого ИИ, но с возрастанием степени его разумности и автономности угроза многократно увеличивается. Но вместе с тем искусственный интеллект изначально разработан для позитивной задачи, однако в процессе ее исполнения избирает деструктивный метод достижения цели: это может случиться, как только мы допустим ошибку в синхронизации целей искусственного интеллекта и человечества. Синхронизация невероятно сложна. Так, если вы попросите самоуправляемый автомобиль доставить вас в аэропорт как можно скорее, вы можете прибыть в пункт назначения вместе с кортежем преследующих вас полицейских ‒ поездка будет совсем некомфортной. Машина сделает буквально то, что вы попросили, но не то, чего вы на самом деле хотели. Если сверхразуму поручить амбициозный геоинжиниринговый проект, побочным эффектом его деятельности может стать разрушение экосистемы, а попытки человека остановить работу ИИ будут восприняты как угроза, которую необходимо отразить.
Все эти примеры показывают, что основная сложность при применении систем сильного ИИ связана не со злым сверхразумом, но скорее с компетентностью разработчиков. Сверхразумный ИИ будет невероятно эффективен в решении поставленных задач, вот только если они разойдутся с реальной целью человека, возникнут проблемы.
У ИИ есть потенциал превзойти когнитивные способности любого человека, поэтому нет верного способа предсказать, как система себя поведет. Мы не можем использовать в качестве основы для предсказаний разработки прошлых лет, поскольку человечество никогда прежде не создавало механизмов, способных случайно или преднамеренно стать умнее нас. Лучшим примером того, с чем мы можем столкнуться, является эволюция самого человека. Люди господствуют на этой планете не потому, что сильнее, больше или быстрее других биологических видов, но потому, что умнее. И если мы станем не самыми умными ‒ как же сохранить господство?».
Я отодвинулась от стола, смотря в одну точку, пытаясь собрать новую информацию в кучу. Ничего не выходило. Мне нужно было, чтобы кто-то мне все это объяснил простым языком.
Я взяла телефон и визитку, с номером Розы. Звонить я не решилась – я написала смс. Девушка согласилась на встречу со мной, отправила мне свой адрес. Ночью ехать не хотелось, но другой возможности может не представиться. Нужно быть скрытными.