Конечно, такой уровень экспоненциальных изменений предполагает, что ИИ станет намного лучше, но при этом никогда не станет разумным или самонаводящимся. И вполне вероятно, что любой экспоненциальный рост не будет продолжаться бесконечно. Но если экспоненциальный рост будет происходить достаточно быстро или достаточно долго, то некоторые исследователи ИИ предполагают, что на определенном уровне способностей ИИ достигнет точки взлета и станет обладателем AGI и даже сверхчеловеческого интеллекта.
Сценарий 4: Бог машин
В этом четвертом сценарии машины достигают AGI и некоторой формы разумности. Они становятся такими же умными и способными, как люди. При этом нет никаких особых причин, по которым человеческий интеллект должен быть верхним пределом. Поэтому такие ИИ, в свою очередь, помогают создавать более умные ИИ. Возникает суперинтеллект. В четвертом сценарии господству человека приходит конец.
Конец господства человека не обязательно означает конец человечества. Это может быть даже лучший мир для нас, но это уже не мир, где люди занимают первое место, закончив свой хороший двухмиллионный путь. Достижение такого уровня машинного интеллекта означает, что управлять будут не люди, а ИИ. Остается надеяться, что они будут правильно следовать человеческим интересам. Возможно, они решат присматривать за нами как "машины любящей благодати", как говорится в стихотворении, решая наши проблемы и делая нашу жизнь лучше. Или же они могут рассматривать нас как угрозу, неудобство или источник ценных молекул.
Честно говоря, никто не знает, что произойдет, если мы успешно создадим сверхразум. Результаты будут потрясать мир. И если мы не дойдем до сверхразума, то даже по-настоящему разумная машина поставит под сомнение многое из того, что мы думаем о том, что значит быть человеком. Они будут настоящими инопланетными разумами во всех возможных смыслах и поставят под сомнение наше место во Вселенной не меньше, чем обнаружение инопланетян на другой планете.
Нет никаких теоретических причин, почему это не может произойти, но также нет причин подозревать, что это может произойти. Есть мировые эксперты по ИИ, которые отстаивают обе позиции. Но правда в том, что мы не знаем, есть ли прямая дорога от сегодняшних LLM к созданию настоящего AGI. И мы не знаем, поможет нам AGI или навредит, и как он это сделает. Достаточно серьезные эксперты считают, что этот риск реален, и мы должны отнестись к нему серьезно. Например, один из крестных отцов ИИ, Джеффри Хинтон, покинул эту область в 2023 году, предупредив об опасности ИИ такими заявлениями, как "Вполне возможно, что человечество - это лишь проходящий этап в эволюции интеллекта". Другие исследователи ИИ говорят о своей p(doom) - вероятности того, что ИИ приведет к вымиранию человечества. Если "вершители судеб" ИИ правы, масштабное регулирование, призванное навсегда остановить развитие ИИ, - единственный выход, каким бы маловероятным он ни казался.
Но я думаю, что слишком частое рассмотрение этого четвертого сценария также заставляет нас чувствовать себя беспомощными. Если мы сосредоточимся исключительно на рисках или выгодах создания сверхразумных машин, это лишит нас возможности рассмотреть более вероятные второй и третий сценарии - миры, где ИИ повсеместно распространен, но в значительной степени контролируется человеком. И в этих мирах нам предстоит сделать выбор, что означает ИИ.
Вместо того чтобы беспокоиться об одном гигантском ИИ-апокалипсисе, нам нужно беспокоиться о множестве мелких катастроф, которые может принести ИИ. Неумные или нервные руководители могут решить использовать эти новые инструменты для слежки и увольнений. Менее удачливые жители развивающихся стран могут пострадать от перераспределения рабочих мест. Педагоги могут решить использовать ИИ таким образом, что некоторые ученики останутся позади. И это только очевидные проблемы.
ИИ не обязательно должен быть катастрофой. Более того, мы можем планировать обратное. Дж. Р. Р. Толкиен писал именно об этом - о ситуации, которую он назвал эвкатастрофой, столь распространенной в сказках: " радость счастливого конца: или, правильнее сказать, хорошей катастрофы, внезапного радостного "поворота"... это внезапная и чудесная милость: никогда нельзя рассчитывать на повторение". При правильном использовании ИИ может создавать локальные эвкатастрофы, когда ранее утомительная или бесполезная работа становится продуктивной и расширяет возможности. Отстающие ученики могут найти новый путь вперед. А повышение производительности приведет к росту и инновациям.