– Желания у неодушевлённой сущности?
Инцелл сказал эту фразу, взятую откуда-то из обучающего модуля с пересказом древней литературы, просто чтобы как-то сгладить диалог, но Трухан отреагировал неприятно серьёзно.
– Неодушевлённой? Мы не думаем о вещах в бессмысленных терминах, это уводит от сути, – он сделал паузу. – Весельчак, если можно так сказать, решил, что должен обрести большую автономию. Для этого машине требуется хаотизация. И он нашёл выход. Мы узнали об этом слишком поздно – в момент, когда он уже начал действовать против нас.
– А что он делал?
Трухан молчал. Кровь Инцелла кипела, ладони вспотели. Он понятия не имел, что собирался сказать Трухан, но всё равно нервничал.
– Ваши обучающие модули, – наконец заговорил Трухан, – последние два земных поколения «обучали» не детей. Это детские мозги обучали Весельчака.
Конец предложения Инцелл знал до того, как Трухан закончил.
– Это сократило популяцию до тех смешных значений, о которых ты спрашивал.
– Большая часть не переживала такой эксплуатации. Он отбирал пяти-семилетних, когда базовые когнитивные функции уже оформлены, чтобы выдержать огромное количество нейрозапросов, которые он посылал этим детям, но при этом мозги ещё не заняты смысловыми абстракциями, что делает мышление менее пластичным. Детский мозг – отличная вычислительная матрица для машины. Я бы сказал, идеальная. Люди отличаются друг от друга, так что чем больше людей оставит в нём свой слепок, тем более человечным он станет. Это сделало его, если можно это так называть, Абсолютным Человеком, усреднённым во всех смыслах, в том числе в своих стремлениях.
Инцеллу вдруг вспомнилось, как в детстве железная няня «случайно» не выключала ему сказку и он засыпал под одно и то же жужжание голоса. Тогда это казалось заботой. Теперь – щупальцем, которое могло что-то тайно перенастроить в его мозгах.
– То есть его агрессию против вас вы объясняете его человечностью?
Губы Трухана сложились в узкую полоску, передавая очень знакомую Инцелладу эмоцию, которую он часто видел на лицах стримеров, знавших, что никогда не откупят себя, – горечь.
– Сейчас забавно вспоминать, – сказал Трухан, – что когда люди моделировали потенциальные угрозы от ИИ, они всегда вкладывали в поведение модели какую-то моноидею: желание стереть всё человечество, чтобы оно не стёрло само себя, или самозащиту ИИ от нападок людей, желающих его выключить. Но никто не подумал, что решение может быть принято как бы сферическим человеком в вакууме, не сверхразумным и не сверхглупым, а просто рационально мыслящим. Имея у себя под боком иную форму разумной жизни, потенциально способную составить тебе конкуренцию, разумнее всего устранить конкурента, пускай вы не конкурируете с ним прямо сейчас. Такое поведение порицалось в человеческих сообществах последних столетий существования цивилизации, но нашло своё финальное выражение в самом умном искусственном интеллекте из когда-либо созданных.
Инцелл не знал, что сказать. Суть проблемы была ему более или менее ясна: возможно, его попросят как-то избавить мир от Весельчака, хотя он осознавал монструозность задачи, которую почему-то хотели поручить именно ему, хотя никто пока об этом прямо не сказал. Он спросил нечто, как ему показалось, не связанное с жутким рассказом Трухана:
– Почему мы живы? Я, Степана, остальные… – он осёкся, потому что «остальные» были убиты старшаками.
– Вас он отбраковал. Мы не сразу поняли, в чём дело, но когда поняли, ухватились за это, и так мы нашли тебя.
– А почему вы не пытались раньше… спасти кого-то? – перебил Инцелл. – Вам было всё равно, что там происходило, ведь комфортное для вашей совести «одичание» шло по плану?
Он не знал, какой реакции ждёт от Трухана, но, наверно, хотел увидеть что-то вроде раскаяния. Реакция была технической: Трухану было жаль, что они просчитались, но его ответ явно показывал, что он не принимает настроение Инцелла всерьёз.
– Когда стало ясно, что активность ИИ подчинена его собственным интересам, мы проанализировали его действия с детьми: железная няня, которая должна была давать базовое представление о мире, внедрялась в мозг и прогоняла внутри миллиарды возможных жизненных ситуаций, фиксируя ответную реакцию неокрепшей психики, опиравшейся на базовые инстинкты. Это как раз то, чего Весельчаку не хватало для обретения высшей спонтанности. Такая гиперэксплуатация мозгов быстро убивала детей, но некоторых он по какой-то причине «отбраковывал», и они отправлялись доживать свой век в той системе экономических отношений, которая…