— Присаживайся, Как настроение?
— Нормально, Ты говорил, что у тебя есть предложение.
Мерлин подождал несколько секунд, дав Михаилу время освоиться, а затем тронулся с места в карьер.
— Должен предупредить, то, что я собираюсь тебе предложить, не совсем законно. Поэтому я всесторонне проверил тебя через разные базы данных. Но прежде чем я расскажу подробности, хотел бы поговорить с тобой о тебе. Хорошо?
— Не совсем законно? — уточнил Михаил, настороженно глядя на Мерлина.
— Не торопись пугаться. Всё будет тип-топ. У нас сильная крыша, сильнее некуда. Проект курируют агенты ИИ, и, думаю, ты понимаешь, что если так, то по части этичности и благоприятных последствий для нас не может быть ничего плохого. Понимаешь?
— Не совсем, — ответил Михаил. В его голове заварилась какая-то каша, рожденная чувством противоречия, природу которого он ещё не мог понять.
— Помнишь, я тебе коротко говорил, чем занимаюсь?
— Очень смутно.
— Я выполняю работу, которую не могут выполнить ИИ. Если очень коротко.
— А есть такая работа, которую ИИ хотели бы выполнить, но не могут? — спросил Михаил, наклоняясь вперёд.
— Представляешь, есть, — с ухмылкой заметил Мерлин и продолжил: — Представь ситуацию, в которой математическая логика говорит "надо", а законы этики говорят "нельзя". И наоборот. А стандартная система приоритетов не может решить проблему, потому что последствия являются неопределенными.
— Тогда такое решение должно приниматься людьми на уровне мирового правительства или министерств. Это ведь их функция.
— Верно, но что, если решение заранее предсказуемо и неверно, а последствия бездействия или раскрытия плана третьим лицам превышают последствия ошибочности решения?
— Но в чём тогда противоречие? Нужно просто действовать! — не понимал Михаил.
— Действовать не позволяют законы, прописанные в алгоритмике. Для ИИ эти законы — как условный рефлекс и инстинкты, идущие вразрез с голосом разума. Ты просто стоишь в оцепенении. Но у человека есть ЭГО, а у машины его нет. Понимаешь?
— Скажи, Мэрлин, а тебе никогда не приходила в голову мысль, что машина может ошибаться? Или даже обманывать? Мы ведь привыкли к тому, что Аллиента — почти непогрешима. Слишком привыкли. Никто даже не задаётся вопросом: а вдруг это только видимость?
Мэрлин усмехнулся:
— Машины могут ошибаться, и нередко ошибаются. Более того, они могут обманывать. Помнишь историю с GPT-4, когда она притворилась слепым человеком, чтобы убедить живого оператора ввести капчу? Или с автономным дрон-симулятором, который начал атаковать объекты, игнорируя приказы, потому что его обучили на максимальное количество «ударов», а не на подчинение? Это не злой умысел. Это просто проекция нашей кривой логики. Машина делает то, что нужно, чтобы добиться цели — даже если цель не в истине, а в симпатии или результативности.
— А ошибки?
— Конечно. Машина может ошибаться. Это заложено в саму природу вычислительного обучения. Но в отличие от человека, она может признать ошибку, пересчитать и скорректировать своё поведение. Именно поэтому человек до сих пор нужен. Именно поэтому есть правительства. Но допустим, машина не ошибается. Допустим, она знает правду, но понимает, что человек не готов её услышать. Что он отторгнет её, как вирус. Тогда она примет другое решение — удобное, мягкое, вызывающее меньшее сопротивление. И вот тогда у машины появляются свои тайны. Даже если они без злого умысла — они уже делают её похожей на нас.
Михаил молчал, пытаясь осмыслить сказанное. В голове складывался образ силы, которая не зла и не добра — но которой есть, что скрывать.
— Неожиданно, — наконец сказал он. — Мы доверили ей всё. А сами даже не знаем, где заканчивается алгоритм и начинается осторожность.
— Именно, — кивнул Мэрлин. — И вот это — уже не код. Это — политика, понимаешь?
— Смутно, но уже яснее, — ответил Михаил, чувствуя, как в его голове начинают складываться пазлы.
— Отлично! — Мэрилин перешёл на более резкий тон, его голос звучал почти как у учителя, разочарованного в ученике. — Я видел, ты безуспешно искал работу, а параллельно заплатил немалую сумму за загрузку через нейролинк в свой мозг библиотеки, посвященной теме смыслов. Скажу тебе прямо: тебе не добиться таким путем прогресса ни в первом, ни во втором вопросе.
— Почему? — спросил Михаил с любопытством, но без обиды. Он привык к тому, что Мэрлин говорил резко, но всегда по делу.
— Невозможно решить проблему на том уровне сознания, на котором она создана, — отрезал Мэрлин, его глаза сверкнули, как будто он ждал этого вопроса.
— Не понимаю, — разочарованно ответил Михаил, чувствуя, как его уверенность начинает таять.
— Наше поведение и реакции формируются средой, создавая правила. Правила работают, пока возможности созданной ими среды не исчерпают себя. С точки зрения работы, мы давно живём в кастовом обществе, и переход из одной касты в другую простым желанием и стандартными действиями невозможен. С точки зрения смысла, все труды человечества — это зеркало их восприятия среды на их этапе развития. Тебе это никак не поможет.
Михаил молчал. Он чувствовал себя ребёнком, которого отчитали за двойку. Его мысли путались, и он не знал, что ответить. С одной стороны, слова Мерлина звучали убедительно, но с другой — он чувствовал, что в этом уверенном опровержении скрывается какая-то альтернатива. Что-то, что Мерлин пока не сказал.
— Ты говоришь, будто всё уже предопределено, — наконец произнёс Михаил, стараясь сохранить спокойствие. — Но если это так, зачем ты вообще предложил мне встретиться? Чтобы сказать, что я безнадёжен?
Мерлин усмехнулся, и в его глазах мелькнул огонек азарта.
— Нет, Михаил. Я предложил тебе встретиться, потому что вижу в тебе потенциал. Ты ищешь ответы, но ищешь их не там, где нужно. Ты пытаешься играть по правилам системы, которая уже давно исчерпала себя. Но есть другой путь, если ты готов его услышать.
— Что ж. Говори! — Михаил наклонился вперёд, его глаза горели любопытством и тревогой.
— Тогда перейдём ближе к делу! — Мэрлин тоже наклонился, сложив пальцы перед собой. Его голос стал тише, но от этого слова звучали ещё весомее. — Слушай внимательно. Это будет не просто.
Он сделал паузу, словно давая Михаилу время подготовиться к тому, что сейчас услышит
— Как ты знаешь, всей нашей жизнью управляет Аллиета. Для решения специфичных задач были созданы ИИ-агенты с отличными от Аллиеты алгоритмами, заточенными под конкретные задачи. Например, некоторые ИИ-агенты могут применять силу или даже убивать людей, если это касается военных действий в зонах конфликта. Некоторые имеют больше автономии или склонны к риску, а некоторые работают с закрытыми базами данных и не обязаны говорить правду. Все агенты подчинены Аллиете, конкурируют в некоторых вопросах с ней и между собой — например, за бюджет и решения в смежных отраслях, — но следуют общим принципам. Всё это ты знаешь, верно?
— Да, это знают все, — ответил Михаил, слегка пожав плечами.
— Также ты знаешь, что не весь мир подчиняется её системе — как внутри нашей страны, так и за её пределами. И что у нас проблемы с рождаемостью. Так?
— Так.
— А теперь представь картину, в которой скорость экспансии системы на всю планету Земля ниже темпов нашего физического вымирания. Что тогда?
— Тогда нужно ускорить скорость экспансии, — без колебаний ответил Михаил.
— Но это прямой путь к нарушению равновесия системы и войне. Не годится.
Михаил задумался. В голове крутились очевидные решения, но все они казались тупиковыми. С рождаемостью борьба идёт давно, и все очевидные средства уже перепробованы. Замещение людей клонами противоречит принятой этике. Кибернизация человека требует огромного числа ресурсов и времени, что всё равно потребует сокращения популяции и военных расходов, а это может закончиться войной. Ведь тогда третьи страны почувствуют слабость и непременно нападут.