Помимо технических, галлюцинации могут возникать и из-за исходного материала ИИ, который может быть необъективным, неполным, противоречивым или даже ошибочным, о чем мы говорили в главе 2. У модели нет возможности отличить мнение или творческий вымысел от факта, образный язык от буквального, ненадежные источники от надежных. Модель может унаследовать предубеждения и предрассудки создателей, кураторов и настройщиков данных.
Бывает забавно, когда ИИ не может отличить, когда вымысел перетекает в реальность. Например, Колин Фрейзер, специалист по изучению данных, заметил, что на вопрос о случайном числе от 1 до 100 ChatGPT отвечает "42" в 10 % случаев. Если бы он действительно выбирал число случайным образом, он должен был бы отвечать "42" только в 1 проценте случаев. Ботаники-фантасты среди моих читателей, вероятно, уже догадались, почему 42 встречается гораздо чаще. В классической комедии Дугласа Адамса "Путеводитель автостопщика по Галактике" 42 - это ответ на "главный вопрос жизни, Вселенной и всего остального" (оставляя открытым более важный вопрос: что это был за вопрос?), а в Интернете это число стало шуткой. Таким образом, Фрейзер предполагает, что ИИ может увидеть гораздо больше 42, чем других чисел, что, в свою очередь, увеличивает вероятность того, что ИИ выдаст это число, галлюцинируя при этом, что дает вам случайный ответ.
Эти технические проблемы усугубляются тем, что для создания ответов они опираются на шаблоны, а не на хранилище данных. Если вы попросите ИИ привести цитату, он сгенерирует ее на основе связей между данными, которые он изучил, а не извлечет из памяти. Если цитата известная, например "Четыре часа и семь лет назад", ИИ закончит ее правильно: "...наши отцы основали на этом континенте новую нацию, созданную на принципах Свободы и верности постулату о том, что все люди созданы равными". ИИ видел эти связи достаточно раз, чтобы понять следующее слово. Если более неясное, например моя биография, он дополнит детали правдоподобными галлюцинациями, например GPT-4 будет настаивать на том, что я получил степень бакалавра по информатике. Все, что требует точного запоминания, скорее всего, приведет к галлюцинации, хотя предоставление ИИ возможности использовать внешние ресурсы, например веб-поиск, может изменить это уравнение.
И вы не сможете выяснить, почему ИИ генерирует галлюцинации, спросив его об этом. Он не осознает свои собственные процессы. Поэтому, если вы попросите его объяснить себя, ИИ вроде бы даст вам правильный ответ, но он не будет иметь ничего общего с процессом, который породил исходный результат. Система не может объяснить свои решения и даже не знает, что это были за решения. Вместо этого она (как вы уже догадались) просто генерирует текст, который, по ее мнению, порадует вас в ответ на ваш запрос. LLM, как правило, не оптимизированы для того, чтобы говорить "я не знаю", когда у них недостаточно информации. Вместо этого они дадут вам ответ, выражающий уверенность.
Один из самых известных ранних примеров галлюцинаций в LLM произошел в 2023 году, когда юрист по имени Стивен А. Шварц использовал ChatGPT для подготовки юридической записки по иску о нанесении телесных повреждений авиакомпании. Шварц использовал ChatGPT для изучения судебных документов; ИИ привел шесть поддельных дел. Затем он представил эти дела суду как реальные прецеденты, не проверив их подлинность или точность.
Фальшивые дела были обнаружены адвокатами защиты, которые не смогли найти никаких записей о них в юридических базах данных. Тогда они сообщили об этом судье, который потребовал от Шварца объяснить, откуда он взял информацию. Шварц признал, что использовал ChatGPT для создания дел и что у него не было намерения обмануть суд или действовать недобросовестно. Он утверждал, что не знал о природе и ограничениях ChatGPT и что узнал о нем от своих детей, обучающихся в колледже.
Судью, П. Кевина Кастела, не убедили объяснения Шварца. Он постановил, что Шварц действовал недобросовестно и ввел суд в заблуждение, предоставив ложную и ничем не подкрепленную информацию. Он также установил, что Шварц проигнорировал несколько тревожных сигналов, которые должны были предупредить его о том, что дела были поддельными, например, их нелепые названия, даты и ссылки. Он наложил совместный штраф в размере 5 000 долларов на Шварца и его соадвоката Питера ЛоДуку, который взял на себя ведение дела, когда оно перешло в другую юрисдикцию. Он также приказал им обратиться к судьям, упомянутым в фальшивых делах, с информацией о сложившейся ситуации.
Эти три предыдущих абзаца, кстати, были написаны версией GPT-4 с подключением к Интернету. И они почти правы. Согласно новостям, было более шести фальшивых дел; ЛоДука не брал на себя дело, а просто прикрывал Шварца; и часть причины штрафа заключалась в том, что адвокаты удвоили количество фальшивых дел, намного превысив свою первоначальную ошибку. Эти мелкие галлюцинации трудно уловить, потому что они совершенно правдоподобны. Я смог заметить эти проблемы только после чрезвычайно внимательного прочтения и исследования каждого факта и предложения в выходных данных. Возможно, я все еще что-то упустил (извините, кто проверяет факты в этой главе). Но именно это и делает галлюцинации такими опасными: проблемы могут возникнуть не из-за больших проблем, которые вы улавливаете, а из-за маленьких, которые вы не замечаете.
Исследователи ИИ неоднозначно относятся к тому, когда эти проблемы будут решены и будут ли вообще. Есть некоторые основания надеяться. По мере совершенствования моделей количество галлюцинаций со временем снижается. Например, исследование количества галлюцинаций и ошибок в цитатах, выдаваемых ИИ, показало, что GPT-3.5 допускал ошибки в 98 % случаев, а GPT-4 галлюцинировал лишь в 20 % случаев. Кроме того, технические уловки, такие как , дающие ИИ клавишу "backspace", чтобы он мог исправлять и удалять свои собственные ошибки, похоже, повышают точность. Так что, хотя эта проблема, возможно, никогда не исчезнет, она, скорее всего, улучшится. Помните принцип 4: "Предположите, что это худший ИИ, который вы когда-либо будете использовать". Уже сегодня, имея определенный опыт, пользователи могут узнать, как избежать принуждения ИИ к галлюцинациям и когда необходима тщательная проверка фактов. А более активное обсуждение этого вопроса не позволит пользователям вроде Шварца полностью полагаться на ответы, сгенерированные LLM. Тем не менее мы должны быть реалистами в отношении главного недостатка, который означает, что ИИ не может быть легко использован для критически важных задач, требующих точности и аккуратности.
Галлюцинации позволяют ИИ находить новые связи вне точного контекста обучающих данных. Это также часть того, как он может выполнять задачи, которым его явно не обучали: , например, создать предложение о слоне, который ест тушеное мясо на Луне, где каждое слово должно начинаться с гласной. (ИИ придумал: "Слон ест луковый хвост на внешней орбите".) Это парадокс креативности ИИ. Та же особенность, которая делает LLM ненадежными и опасными для фактической работы, также делает их полезными. Настоящий вопрос заключается в том, как использовать ИИ, чтобы воспользоваться его сильными сторонами и в то же время избежать его слабых сторон. Для этого давайте рассмотрим, как ИИ "мыслит" творчески.
Автоматическое творчество
Учитывая историю автоматизации, многие могли бы предсказать, что первыми задачами, с которыми хорошо справится ИИ, будут скучные, повторяющиеся и аналитические. Именно такие задачи обычно первыми автоматизируются в любой волне новых технологий - от паровой машины до роботов. Однако, как мы видим, это не так. Большие языковые модели отлично справляются с написанием текстов, но лежащая в их основе технология Transformer также служит ключом к целому ряду новых приложений, включая ИИ, создающий произведения искусства, музыку и видео. В результате исследователи утверждают, что новая волна ИИ в наибольшей степени затронет именно те рабочие места, которые связаны с наиболее творческими, а не повторяющимися задачами.
Это, как правило, заставляет нас чувствовать себя неловко: В конце концов, как может ИИ, машина, создать что-то новое и творческое? Дело в том, что мы часто путаем новизну с оригинальностью. Новые идеи не приходят из эфира; они основаны на существующих концепциях. Специалисты по инновациям давно указывают на важность рекомбинации в генерировании идей. Прорывы часто случаются, когда люди соединяют далекие, казалось бы, несвязанные идеи. Канонический пример: братья Райт объединили свой опыт механика велосипеда и наблюдения за полетом птиц, чтобы разработать концепцию управляемого самолета, который можно было бы сбалансировать и направить, искривив крылья. Они не были изобретателями велосипеда, первыми, кто наблюдал за крыльями птиц, или даже первыми, кто попытался построить самолет. Вместо этого они первыми увидели связь между этими понятиями. Если вы сможете соединить разрозненные идеи из разных областей и добавить немного случайного творчества, то, возможно, вам удастся создать что-то новое.