— Или еще лучше — добавить еще один процессор, который будет постоянно работать, присматривая за первым. Мозг Б для присмотра за мозгом А.
— А может быть, и мозг В для присмотра, не зациклился ли мозг Б. Черт возьми! Я только что вспомнил, что в одной из моих старых записей говорилось: «Здесь поставить мозг Б, чтобы подавить зацикливание». Надо бы мне, конечно, тогда писать пояснее. Дайте-ка я прикину, каким должен быть этот мозг Б.
— Только не сейчас! В таком состоянии вы все испортите.
— Вы правы. Пора спать. Лягу, не беспокойтесь, только сначала чего-нибудь поем.
— Я пойду с вами и выпью кофе.
Брайан отпер дверь и сощурился от яркого солнечного света.
— Вы мне как будто не доверяете.
— Да, не доверяю — после сегодняшней ночи.
Шелли прихлебывала кофе, пока Брайан расправлялся с завтраком по-техасски — бифштексом с яйцом и оладьями. Не в состоянии его одолеть, он перевел дух и отодвинул тарелку. Если не считать двух сменившихся с дежурства охранников, которые сидели за столом в дальнем углу, они были в столовой одни.
— Вот теперь я чувствую себя более или менее человеком, — сказал он. — Еще кофе?
— Нет, мне более чем достаточно, спасибо. Как вы думаете, сумеете вы наладить ваш свихнувшийся искусственный интеллект?
— Нет, я так на него разозлился, что стер ему всю память. Придется заново переписать кое-какие программы, прежде чем мы снова его загрузим. Это займет пару часов. Даже ассемблеру «лама-5» требуется для таких вещей много времени. И на этот раз, прежде чем запускать новый вариант, я хочу сделать резервную копию.
— Это значит — дубликат. А как вы думаете, когда у вас будет работающий человекоподобный искусственный интеллект, можно будет снять копию и с него?
— Конечно. Что бы он ни делал, это все равно всего лишь программа. Программу всегда можно скопировать, и любая копия ничем не будет от нее отличаться. А почему вы спрашиваете?
— Проблема индивидуальности. Будет ли второй искусственный интеллект в точности таким же, как и первый?
— Да, но только в тот момент, как будет скопирован. А как только заработает, начнет думать сам, — станет меняться. Вспомните: мы не что иное, как наша память. Когда мы что-то забываем, или чему-нибудь обучаемся, или нам приходит в голову новая мысль, новая ассоциация, — мы меняемся. Становимся кем-то другим. И это же относится к искусственному интеллекту.
— Вы в этом уверены? — спросила она с сомнением.
— Безусловно. Потому что именно так функционирует сознание. А это значит, что мне придется еще много поработать над критериями оценки. Потому-то и оказались неудачными столько прежних вариантов Робина. Проблема в оценке последствий — мы об этом уже говорили. На самом деле схема «возбудитель—реакция—вознаграждение» для обучения не годится: таким способом можно решать только простые задачи, дающие непосредственный результат. Нет, нужно добиваться масштабного мышления, надо обдумывать долгосрочные последствия, выяснять, какие стратегии действительно были эффективными, а какие заводили в тупик, какие ходы, казавшиеся полезными, на самом деле ничего не дали.
— У вас получается, что сознание — это что-то вроде… вроде луковицы.
— Ну да. — Он улыбнулся этому сравнению. — Хорошая аналогия. Слой за слоем, и все соединены между собой. Человеческая память не просто ассоциативна, она не ограничивается сопоставлением ситуаций, реакций на них и результатов. Это еще и прогноз. Возникающие ассоциации тоже должны включать долгосрочные цели и планы. Вот почему так важна разница между краткосрочной и долговременной памятью. Почему требуется примерно час, чтобы запомнить что-то надолго? Потому что должен быть какой-то буферный период, чтобы решить, какое поведение на самом деле достаточно полезно, чтобы занести его в память.
Внезапно он ощутил усталость. Кофе остыл, голова начинала болеть, надвигалась депрессия. Шелли заметила это и дотронулась до его руки.
— Пора спать, — сказала она. Он вяло кивнул и с трудом поднялся со стула.
Глава 26
19 июня 2024 года
Беникоф постучал, и Шелли открыла ему дверь.