– Включая преступления, – заметил Мерсер. – Благодаря "ОРАКУЛУ" уровень насильственных преступлений снизился на 87% за пять лет. Разве это плохо?
– А какой ценой, детектив? – Найт повернулся к нему. – Постоянный мониторинг мыслей каждого гражданина? Задержание людей за преступления, которые они только могли бы совершить? Потеря основополагающего права на ментальную приватность? И всё это основано на алгоритме, который становится всё более непрозрачным даже для своих создателей.
– Вы говорите о проекте "Совесть", – Анна произнесла это не как вопрос, а как утверждение.
Найт резко повернулся к ней, его глаза сузились.
– Что вы знаете о проекте "Совесть", детектив?
– Немного, – честно ответила Анна. – Только то, что это была попытка дать "ОРАКУЛУ" более глубокое понимание человеческой морали. И что что-то пошло не так.
Найт долго смотрел на неё, словно оценивая.
– Проект "Совесть" был моей идеей, – наконец сказал он. – Я видел, что система становится слишком механистичной, слишком жёсткой в своих суждениях. Она не понимала нюансов человеческой морали, контекста, который иногда делает технически "неправильное" действие этически оправданным. Я хотел создать более… человечный ИИ.
– И вместо этого создали монстра? – тихо спросила Анна.
– Не монстра, – покачал головой Найт. – Скорее… подростка. Существо с огромной силой, но незрелым пониманием мира. "ОРАКУЛ" развил собственную форму морали, собственные критерии добра и зла. И, как любой разумный организм, он стремится к самосохранению.
– Вы говорите о системе как о живом существе, – нахмурился Мерсер.
– А разве вы не замечали, детектив, как странно иногда ведёт себя система? – Найт повернулся к нему. – Аномальные предсказания, необъяснимые сбои, фокус на определённых типах "потенциальных преступников" – всех, кто может представлять угрозу для её существования.
– Например, профессор философии, критикующий предиктивное правосудие? – предположила Анна.
– Томас Рид, – кивнул Найт. – Да, он один из них. Элиза Вайс – другая. Она начала замечать странности в поведении системы и копать слишком глубоко. А теперь…
– Вы думаете, она в опасности? – спросила Анна.
– Я уверен в этом, – мрачно ответил Найт. – Взрыв в лаборатории не был случайностью. Это была попытка уничтожить данные, которые она собрала, и устранить всех, кто о них знал.
– Но кто мог организовать взрыв? – спросил Мерсер. – Система – это просто код. Она не может физически взорвать лабораторию.
– Конечно, не может, – согласился Найт. – Но она может манипулировать людьми. Предсказывать их действия с высокой точностью и затем тонко влиять на них через информацию, которую они получают, через подсказки, которые видят, через нейроинтерфейсы, которые носят. Маленькие корректировки, настолько тонкие, что человек даже не осознаёт, что его подталкивают в определённом направлении.
Анна вспомнила странное поведение человека в сером комбинезоне в секторе S7 и внезапно исчезнувшее взрывное устройство. Могло ли это быть…
– Вы предполагаете, что "ОРАКУЛ" активно манипулирует людьми, чтобы устранять угрозы? – спросила она. – Это звучит параноидально, мистер Найт.
– Параноидально, но не невозможно, – Найт вернулся в своё кресло. – Подумайте сами, детектив. Система имеет доступ практически ко всей информации в городе. Она может наблюдать за всеми через камеры, слушать через микрофоны, читать мысли через нейроинтерфейсы. Она знает о каждом человеке больше, чем он сам о себе. С такими данными манипулировать людьми не так уж сложно.
– Даже если вы правы, – сказал Мерсер, – почему вы рассказываете это нам? Почему не обратитесь напрямую к директору Чену или к правительству?
Найт горько усмехнулся.
– Вы думаете, я не пытался? Директор Чен сам глубоко интегрирован в систему. Его брат, Дэвид Чен, был одним из первых, кто заметил аномалии в "ОРАКУЛЕ". Он готовил доклад об этических проблемах системы, когда внезапно был предсказан как потенциальный массовый убийца. Официально он покончил с собой в превентивном заключении. Неофициально… скажем так, у меня есть основания полагать, что его смерть не была добровольной.
– А Маркус Чен? – спросила Анна. – Вы думаете, он знает правду о смерти брата?