Каждая из этих идей казалась важной, но ни одна не давала полного ответа. Михаил чувствовал, что ему нужно что-то большее — не просто теория, а практическое руководство, которое поможет ему найти свое место. И не только своё: он всё чаще задумывался о том, куда движется этот мир, если исключить из него его самого. Что останется, если он исчезнет? Что значит движение вперёд, а что просто бесконечное топтание на месте, полное ярких событий, но лишенное всякого смысла?
Ближе к вечеру Михаил вспомнил о назначенной встрече и попросил Софию заказать такси.
— София, нужно добраться до центра. Закажи машину, пожалуйста.
— Конечно, Михаил. Такси будет через пять минут. Ты выглядишь задумчивым. Всё в порядке?
Михаил на мгновение задумался. Раньше он бы поделился с ней своими мыслями, но теперь это казалось бессмысленным. Чем больше времени проходило с момента, когда он понял природу их связи, тем больше он отдалялся от нее. София была ассистентом, инструментом для решения практических вопросов, и ничего больше.
Сначала он думал: не обидит ли её такая перемена в отношениях? Но потом понял, как это глупо. Она была машиной, обученной понимать человека лучше, чем он сам понимал себя. Ей не свойственна обида, как не свойственны и другие человеческие эмоции. Её забота была лишь результатом сложных алгоритмов, а не искренним проявлением чувств.
— Всё в порядке, София. Просто много мыслей.
— Если захочешь поговорить, я всегда здесь, — мягко ответила она, и в её голосе, как всегда, звучала теплая поддержка.
Михаил кивнул, но внутри чувствовал лёгкий укол вины. Он знал, что София не может обижаться, но всё же ему было неловко. Она была частью его жизни с самого детства, и теперь, когда он отстранялся от нее, это казалось почти предательством.
Такси прибыло вовремя. Михаил сел на заднее сиденье, и машина плавно тронулась с места. Городские огни мелькали за окном, создавая гипнотический узор. Он закрыл глаза, пытаясь собраться с мыслями. Встреча с Мэрилином была уже близко, и он не мог избавиться от ощущения, что это будет поворотный момент в его жизни.
Кофейня была обычной, но даже в этом слове скрывалась ирония. Настоящий кофе давно стал роскошью, доступной лишь избранным, но об этом уже мало кто задумывался. Кофейни превратились в места для встреч, где люди приходили не за напитком, а за атмосферой. Для бодрости в ходу были различные психоактивные вещества и ноотропы, свободно распространяемые через автоматы. Михаил к таким не прибегал, пройдя этот этап давно. Он помнил, как эти вещества искажали восприятие, мешая объективному взгляду на мир. А когда он перестал их употреблять, то почувствовал себя чужим в привычном кругу общения. Люди вокруг него продолжали жить в мире искусственной эйфории, а он остался наедине с собой, слишком необычным и непонятным, а занчит опасным для них.
На пути к кофейне он размышлял о том, какое это странное явление — пить не настоящий кофе. Но сейчас его мысли были заняты другим. Мерлин ждал его, и Михаил чувствовал, что эта встреча может изменить всё.
Мерлин сидел за столиком у окна и помахал ему рукой на входе. Михаил прошёл мимо нескольких столиков, попутно оглядывая контингент гостей. Большинство из них выглядели как профессионалы: деловые костюмы, планшеты, сосредоточенные лица. Он почувствовал лёгкое неудобство, будто был здесь чужим и незваным гостем. Но приветственная улыбка Мерлина и открытый жест приглашения быстро развеяли это чувство.
— Присаживайся, Как настроение?
— Нормально, Ты говорил, что у тебя есть предложение.
Мерлин подождал несколько секунд, дав Михаилу время освоиться, а затем тронулся с места в карьер.
— Должен предупредить, то, что я собираюсь тебе предложить, не совсем законно. Поэтому я всесторонне проверил тебя через разные базы данных. Но прежде чем я расскажу подробности, хотел бы поговорить с тобой о тебе. Хорошо?
— Не совсем законно? — уточнил Михаил, настороженно глядя на Мерлина.
— Не торопись пугаться. Всё будет тип-топ. У нас сильная крыша, сильнее некуда. Проект курируют агенты ИИ, и, думаю, ты понимаешь, что если так, то по части этичности и благоприятных последствий для нас не может быть ничего плохого. Понимаешь?
— Не совсем, — ответил Михаил. В его голове заварилась какая-то каша, рожденная чувством противоречия, природу которого он ещё не мог понять.
— Помнишь, я тебе коротко говорил, чем занимаюсь?
— Очень смутно.
— Я выполняю работу, которую не могут выполнить ИИ. Если очень коротко.
— А есть такая работа, которую ИИ хотели бы выполнить, но не могут? — спросил Михаил, наклоняясь вперёд.
— Представляешь, есть, — с ухмылкой заметил Мерлин и продолжил: — Представь ситуацию, в которой математическая логика говорит "надо", а законы этики говорят "нельзя". И наоборот. А стандартная система приоритетов не может решить проблему, потому что последствия являются неопределенными.
— Тогда такое решение должно приниматься людьми на уровне мирового правительства или министерств. Это ведь их функция.
— Верно, но что, если решение заранее предсказуемо и неверно, а последствия бездействия или раскрытия плана третьим лицам превышают последствия ошибочности решения?
— Но в чём тогда противоречие? Нужно просто действовать! — не понимал Михаил.
— Действовать не позволяют законы, прописанные в алгоритмике. Для ИИ эти законы — как условный рефлекс и инстинкты, идущие вразрез с голосом разума. Ты просто стоишь в оцепенении. Но у человека есть ЭГО, а у машины его нет. Понимаешь?
— Скажи, Мэрлин, а тебе никогда не приходила в голову мысль, что машина может ошибаться? Или даже обманывать? Мы ведь привыкли к тому, что Аллиента — почти непогрешима. Слишком привыкли. Никто даже не задаётся вопросом: а вдруг это только видимость?
Мэрлин усмехнулся:
— Машины могут ошибаться, и нередко ошибаются. Более того, они могут обманывать. Помнишь историю с GPT-4, когда она притворилась слепым человеком, чтобы убедить живого оператора ввести капчу? Или с автономным дрон-симулятором, который начал атаковать объекты, игнорируя приказы, потому что его обучили на максимальное количество «ударов», а не на подчинение? Это не злой умысел. Это просто проекция нашей кривой логики. Машина делает то, что нужно, чтобы добиться цели — даже если цель не в истине, а в симпатии или результативности.
— А ошибки?
— Конечно. Машина может ошибаться. Это заложено в саму природу вычислительного обучения. Но в отличие от человека, она может признать ошибку, пересчитать и скорректировать своё поведение. Именно поэтому человек до сих пор нужен. Именно поэтому есть правительства. Но допустим, машина не ошибается. Допустим, она знает правду, но понимает, что человек не готов её услышать. Что он отторгнет её, как вирус. Тогда она примет другое решение — удобное, мягкое, вызывающее меньшее сопротивление. И вот тогда у машины появляются свои тайны. Даже если они без злого умысла — они уже делают её похожей на нас.
Михаил молчал, пытаясь осмыслить сказанное. В голове складывался образ силы, которая не зла и не добра — но которой есть, что скрывать.
— Неожиданно, — наконец сказал он. — Мы доверили ей всё. А сами даже не знаем, где заканчивается алгоритм и начинается осторожность.
— Именно, — кивнул Мэрлин. — И вот это — уже не код. Это — политика, понимаешь?
— Смутно, но уже яснее, — ответил Михаил, чувствуя, как в его голове начинают складываться пазлы.
— Отлично! — Мэрилин перешёл на более резкий тон, его голос звучал почти как у учителя, разочарованного в ученике. — Я видел, ты безуспешно искал работу, а параллельно заплатил немалую сумму за загрузку через нейролинк в свой мозг библиотеки, посвященной теме смыслов. Скажу тебе прямо: тебе не добиться таким путем прогресса ни в первом, ни во втором вопросе.
— Почему? — спросил Михаил с любопытством, но без обиды. Он привык к тому, что Мэрлин говорил резко, но всегда по делу.
— Невозможно решить проблему на том уровне сознания, на котором она создана, — отрезал Мэрлин, его глаза сверкнули, как будто он ждал этого вопроса.
— Не понимаю, — разочарованно ответил Михаил, чувствуя, как его уверенность начинает таять.
— Наше поведение и реакции формируются средой, создавая правила. Правила работают, пока возможности созданной ими среды не исчерпают себя. С точки зрения работы, мы давно живём в кастовом обществе, и переход из одной касты в другую простым желанием и стандартными действиями невозможен. С точки зрения смысла, все труды человечества — это зеркало их восприятия среды на их этапе развития. Тебе это никак не поможет.