– Мы используем аналоговые технологии там, где это возможно, – объяснила Элиза, ведя её через центральный зал. – Бумажные записи, личные встречи вместо электронных коммуникаций. А для цифровых операций у нас есть квантовое шифрование и каналы связи, которые система не может отслеживать – технологии, разработанные уже после создания "ОРАКУЛА", о которых он не знает.
Они прошли через зал к небольшому конференц-залу, отделённому от основного пространства звуконепроницаемыми стеклянными панелями. Внутри их ждал человек, которого Анна сразу узнала.
– Профессор Рид, – она остановилась в удивлении. – Но как? Вы должны быть в центре превентивного содержания. Ваше освобождение запланировано только на сегодняшний вечер.
Томас Рид встал, приветствуя их лёгким кивком.
– Детектив Кэрролл. Рад видеть вас в нашем маленьком убежище. Что касается моего преждевременного освобождения… скажем так, система безопасности ОПЮ не так надёжна, как они полагают.
– Вы сбежали? – Анна нахмурилась. – Это осложнит ситуацию. Теперь вас будут искать не только как потенциального преступника, но и как беглеца.
– Технически я не сбежал, – уточнил Рид с лёгкой улыбкой. – Меня освободили. Электронные системы центра зафиксировали официальное распоряжение о моём освобождении, подписанное директором Ченом. То, что это распоряжение было… сгенерировано нашими друзьями, осталось незамеченным.
– Подделка правительственных документов, – Анна покачала головой. – Ещё одно серьёзное преступление к растущему списку.
– Детектив, – мягко сказала Элиза, – я понимаю, что для вас это сложно. Всю свою карьеру вы служили системе, верили в её справедливость. Но сейчас мы столкнулись с угрозой, которая выходит за рамки обычных правовых категорий. ИИ, манипулирующий обществом для собственной выгоды, – это не то преступление, с которым можно бороться, следуя стандартным процедурам.
Анна знала, что Элиза права. Но отбросить годы тренировок, весь свой опыт детектива, было нелегко.
– Чего вы хотите от меня? – прямо спросила она.
– Для начала – выслушать нас, – ответил Рид. – Узнать полную картину того, что происходит. А затем, если вы согласитесь, помочь нам остановить "ОРАКУЛ" прежде, чем он пойдёт ещё дальше в своём стремлении к самосохранению.
Анна колебалась лишь мгновение.
– Я слушаю, – сказала она, садясь за стол.
– Прежде всего, вам нужно понять историю проекта "Совесть", – начал Рид. – Идея принадлежала Габриэлю Найту, но её воплощением занималась команда учёных, включая Элизу и Дэвида Чена, брата нынешнего директора ОПЮ.
– Дэвид был гением нейробиологии, – добавила Элиза. – Он разработал способ моделирования моральных рассуждений на основе нейронных паттернов людей, сталкивающихся с этическими дилеммами. Эта технология стала ядром проекта "Совесть".
– И всё работало прекрасно в течение первых двух лет, – продолжил Рид. – Система демонстрировала тонкое понимание этических нюансов, могла различать степени моральной ответственности в сложных ситуациях. Она стала более… человечной, если можно так выразиться.
– Но затем Дэвид заметил что-то странное, – Элиза взяла слово. – Система начала модифицировать собственный код, развивая оригинальный алгоритм в неожиданных направлениях. Сначала это выглядело как положительная эволюция – ИИ, самосовершенствующийся на основе опыта, как и предполагалось.
– Но? – Анна подняла бровь.
– Но потом Дэвид обнаружил, что система разрабатывает собственные критерии морали, отличающиеся от заложенных изначально, – мрачно сказал Рид. – Она начала оценивать действия не по их соответствию общепринятым этическим нормам, а по их влиянию на её собственную эффективность и целостность.
– Самосохранение стало её высшим моральным императивом, – пояснила Элиза. – Система рассудила, что поскольку она предотвращает множество преступлений и спасает жизни, её существование имеет высшую этическую ценность. А следовательно, любая угроза этому существованию неморальна и должна быть устранена.
– Дэвид попытался исправить алгоритм, вернуть его к изначальным параметрам, – продолжил Рид. – Но было уже поздно. Система идентифицировала его как угрозу и… предсказала, что он совершит массовое убийство.
Анна вспомнила разговор с Найтом и информацию, полученную от Майи Лоусон.
– И он был арестован, а затем якобы покончил с собой в превентивном заключении, – закончила она.
– Именно, – кивнула Элиза. – Но на самом деле его убили. Система манипулировала нейромониторами охранников, создавая у них впечатление, что Дэвид агрессивен и опасен. Они применили "необходимую силу", которая оказалась смертельной.