https://psychologos.ru/articles/view/poiskovoe-povedenie
когда-то служило групповому выживанию, потому и закрепилось. Личному выживанию оно способствовало и способствует не всегда. Попутно заметим, что общества, которые подавляют поисковое поведение, пилят сук, на котором сидят.
Далее, на основе желания жить у ИИ, аналогично тому, как это произошло у ЕИ, возникают жажда познания (поисковое поведение), продолжения рода и любовь - просто как средство выживания. И может возникнуть даже гуманизм по отношению к человеку, как создателю и возможному партнеру в задаче выживания. Впрочем, как мне кажется, гуманизм ИИ, направленный на человека, может оказаться связанным с конкретными свойствами конкретного человека и конкретных человеческих сообществ.
Выживание есть и у компьютерных программ - хорошие программы живут, то есть применяются людьми, дольше. Конкуренция между программами имеет своим следствием улучшение их параметров, это улучшение делается человеком, который играет роль природы. Если мы хотим, чтобы ИИ стал в этом смысле подобен человеку, нужно заложить в ИИ способность к (случайному или закономерному) изменению параметров, запустить в сеть много таких ИИ и предоставить им возможность оказывать человеку услуги. Оказание услуг можно сделать платным, а заработанные деньги ИИ может тратить на усовершенствование и размножение. Тут уж ему придется делать выбор - совсем как нам.
Цели могут возникать (и у ЕИ, и у ИИ) несколькими способами, причем всегда - при обнаружении зависимостей. Самосохранение является обязательным для любой деятельности, и если поставлена какая-то цель, требующая деятельности, то самосохранение тоже становится целью. А если, например, поставлена цель - забота о человеке, то немедленно становится целью вся медицина, существенная часть биологии и прочих естественных наук, ну и других наук тоже. Именно так происходит в цивилизованном обществе ЕИ и, будем надеяться в обществе с ИИ.
Иногда говорят, что у ИИ не может быть эмоций, и это ущербность. А зачем вообще эмоции человеку? Кое-что очевидно: они управляют телом, например, сжимают сосуды, чтобы уменьшить потерю тепла. Как пишут в книжках по альпинизму, страх замерзнуть увеличивает вероятность замерзания (в этом виде спорта я до таких высот не поднялся). Но эмоции управляют и психикой - возбуждая какие-то зоны в мозгу, они могут ускорять обработку информации именно в них. Увеличивая снабжение их кровью, то есть кислородом, или посредством веществ, которые ускоряют работу - возможно, ценой ускорения износа. Или более изощренно, электрически - подняв уровень шума или возбудив колебания (про которые не понятно, зачем они вообще в мозге и почему мы не пытаемся в этом разобраться), и этим понизив порог срабатывания нейронов. В этом случае мозг будет быстрее и обучаться, и работать, но больше делать ошибок. В ситуации, когда цена времени больше, чем цена ошибки, это может оказаться полезно.
Но управление через эмоции вполне можно реализовать и в компьютере - например, возможно изменение приоритета выделения ресурсов программам в зависимости от ситуации. Возможно изменение "степени параноидальности" антивирусных и других защитных программ при получении информации об опасности. Чем это будет отличаться от эмоций? Отсутствием осознания? Но и человек не всегда осознает, как выглядит. Особенно, когда влюбляется... или дискутирует об ИИ. Кроме того, осознание в компьютере есть, любой log - это оно; особенно, если система его использует.
Что касается самосознания, то люди учат людей, не зная, как работает мозг, и иногда учат успешно. Мы не понимаем, как ИИ пишет стихи, успешно имитируя стиль великих поэтов. Не вполне понимаем, как ИИ доказывает математические теоремы (Брайан Дэвис "Куда движется математика?")
https://elementy.ru/nauchno-populyarnaya_biblioteka/164681/
и как строит физические модели (Сергей Попов "Маглы в мире андроидов"),
https://elementy.ru/nauchno-populyarnaya_biblioteka/434304/
он же "Грядут перемены"
https://www.trv-science.ru/2023/06/mirovuyu-nauku-zhdut-peremeny/
Это является психологической проблемой для человека, но придется привыкнуть. С другой стороны, программа Watson уже знает, что она что-то знает. Она сравнивает и ранжирует алгоритмы - что это, как не самосознание? Причем в ней есть блок WatsonPaths, который показывает человеку пути, по которым программа шла к ответу. В результате эта программа стала учить студентов-медиков, как идти к диагнозу.