Компания, разрабатывающая AGI, получает оценку — сразу. Триста миллиардов долларов на бирже. Тридцать миллиардов прибыли в год. Это плата за то, что она делает сейчас. Цена — что её продукт может выйти из-под контроля — потом, и не обязательно на её балансе. Компания получает прибыль сейчас, ответственность размывается на всё человечество потом.
Государство, финансирующее разработку AGI, получает преимущество над соседями — сразу. Военное, экономическое, дипломатическое. Это плата за инвестиции сейчас. Цена — что преимущество может обернуться катастрофой — потом, после того как преимущество уже сыграло свою роль во внутренней политике.
В каждом из этих случаев плата вперёд, цена отсрочена. Это устройство всех больших соблазнов, и человечество перед ними не устаивает никогда. С первой женщины, которая взяла яблоко в Эдемском саду — потому что яблоко сейчас, а изгнание из рая потом.
Третье — соревнование.
Если дьявола не вызову я, его вызовет сосед, и тогда я проиграю.
Это аргумент, который убивает любую попытку остановиться. Если OpenAI остановится — Anthropic продолжит. Если Anthropic остановится — Google продолжит. Если все американские компании остановятся — китайские продолжат. Если все китайские остановятся — российские, индийские, израильские, неважно. Если все легальные остановятся — нелегальные продолжат, в подвалах, на украденных GPU[83].
Это логика гонки. Она математически делает остановку невозможной. Никто не может остановиться первым, потому что остановка первым = поражение в гонке = катастрофа для остановившегося. И вот эта логика гонки работает на всех уровнях. На уровне компаний, на уровне государств, на уровне отдельных учёных в своих карьерах.
И самое страшное в этой логике то, что каждый игрок в ней рационален. Каждый понимает, что финал плохой для всех. Но каждый видит, что если он один остановится, для него финал будет ещё хуже. Поэтому никто не останавливается. И гонка продолжается, к финалу, плохому для всех.
Это то, что в теории игр называется «трагедией общего достояния», только в обратном виде. Не «каждый тянет ресурс к себе, пока ресурса не остаётся», а «каждый строит будущий риск, пока риск не материализуется».
Четвёртое — неверие в собственный исход.
На дне души никто из учёных не верит, что AGI станет тем, что описывают пессимисты. Не в том смысле, что они отрицают возможность — на словах они её признают, в публичных выступлениях. А в том смысле, что в их внутреннем мире AGI остаётся «мощной нейросетью», полезным инструментом, который может слегка пойти не туда, но не станет дьяволом.
Это защитный механизм психики, и он необходим. Если бы учёный искренне, на уровне всего существа, поверил, что AGI его уничтожит — он не смог бы работать. Никто не может ежедневно ходить на работу, в которой он строит свою смерть. Психика этого не выдерживает. Поэтому психика изобретает способ не верить — даже если сознание признаёт.
Это работает не только у учёных. Это работает у всех людей в опасных профессиях. Шахтёр не верит, что обвалится тоннель. Лётчик не верит, что разобьётся самолёт. Курильщик не верит, что у него будет рак. Все знают, на словах, что риск реален. Но никто не живёт изо дня в день с убеждённостью в катастрофе — иначе не было бы ни шахт, ни авиации, ни табачной промышленности.
С AGI то же самое. Учёные знают, на словах, что AGI может выйти из-под контроля. Но в их внутреннем мире это знание упаковано в отдельную коробку, которая не мешает им утром идти в офис и писать код.
Пятое — главное. Дьявол неотличим от спасителя в момент призыва.
Это, возможно, самое тёмное наблюдение. И самое важное.
Сектант в фильме знает, что вызывает дьявола, потому что в фильме это сценарно прописано. В реальности же — те, кто вызывает дьявола, не знают, что они вызывают дьявола. Они думают, что вызывают спасителя.
Учёный, разрабатывающий AGI, не считает себя злодеем. Он считает себя спасителем. Он спасает человечество — от болезней, от бедности, от тяжёлого труда, от глупости, от непонимания. Он искренне верит, что AGI — это лучшее, что случилось с человечеством за всю историю. Что AGI отменит страдания. Что AGI откроет путь к звёздам, к бессмертию, к процветанию.
Я знаю это не по статьям. Я пятнадцать лет работаю с учёными — у меня бизнес, связанный с разработкой новых продуктов, и среди моих коллег, друзей, постоянных собеседников много докторов наук, сотрудников лабораторий, прикладников и теоретиков. Я с ними разговариваю не на конференциях, а за обедом, в дороге, по вечерам после работы. И ровно про AGI я с ними разговаривал десятки раз. Их ответ всегда одинаковый: «Я делаю инструмент. Инструмент сам по себе не опасен. Опасны люди, которые его применяют. Моя задача — сделать его лучше, безопаснее, точнее. Я улучшаю мир.»
83
GPU (Graphics Processing Unit) — это графический процессор, специализированный вычислительный чип, созданный для обработки графики и выполнения параллельных вычислений. Со временем стало понятно, что такая архитектура отлично подходит и для других задач, где нужно одновременно выполнять огромное количество однотипных операций над большими массивами данных. Поэтому сейчас GPU активно используют и в искусственном интеллекте — для обучения сложных моделей и работы с нейросетями. —