Алек Радфорд, ведущий автор GPT-2, по позднейшим словам коллег, был удивлён не меньше, чем читатели его статьи. Он провёл с моделью несколько недель индивидуально, экспериментировал, давал ей разные промпты, читал ответы. Модель оказалась способной не только продолжать тексты в любом жанре — от газетных до научных и сказочных, — но и делать вещи, ради которых её специально никто не обучал.
Если дать ей фрагмент английского текста и подставить в конце фразу Перевод на французский:, она выдавала французский перевод — не идеальный, но в основном грамматически правильный. Если дать ей вопрос и попросить ответить, она часто отвечала — иногда верно, иногда нет. Если дать абзац из новостной статьи и попросить кратко изложить, она вполне сносно выдавала краткое содержание.
Ни одно из этих умений в неё не закладывали явным образом. Она научилась им сама, просто читая сорок гигабайт текста с веб-страниц, на которые ссылались reddit-юзеры, и пытаясь угадать следующее слово.
Алек назвал это явление, в духе физических аналогий, эмерджентным многозадачным обучением. То есть: модель, обученная одной задаче (угадывать следующее слово), оказалась способной на много задач сразу, причём способности эти возникли как бы сами собой, в процессе обучения, без явных инструкций.
Это было поразительно. И это было ровно то, чего Илья Суцкевер ждал со времён аспирантуры. Гипотеза о том, что нейронные сети, достаточно увеличенные в размере и обученные на достаточном объёме данных, начнут выказывать новые качественные способности, на GPT-2 впервые получила публичное подтверждение применительно к языку.
В январе 2019 года, когда модель была полностью обучена и команда писала статью, внутри OpenAI состоялась серия дискуссий. Тема была неприятная: что делать с тем фактом, что эта модель может писать связные тексты, неотличимые от человеческих?
Несколько руководителей высказали опасение. Что если, спрашивали они, кто-нибудь возьмёт нашу модель и начнёт массово производить фейковые новости? Что если её используют для автоматизации спама? Для фишинговых писем? Для пропагандистских материалов? Сейчас публикация нейросетевых моделей подразумевала открытие весов в свободном доступе: любой исследователь мог скачать модель и использовать её. У GPT-1 это была разумная норма; для GPT-2, способной писать газетные статьи, это уже выглядело тревожнее.
В результате внутренних дискуссий было принято решение, на тот момент в индустрии беспрецедентное. Команда опубликует статью с описанием архитектуры и результатами. Но саму модель — самые большие веса — пока не выложит. Вместо этого OpenAI запустит так называемый staged release, поэтапный релиз: сначала будет открыта маленькая версия (сто двадцать четыре миллиона параметров), потом — средняя (триста пятьдесят пять миллионов), потом — большая (семьсот семьдесят четыре миллиона), и только в самом конце, через несколько месяцев, если за это время не появится свидетельств массового злоупотребления, — полная версия с 1,5 миллиарда параметров.
Это решение в академическом сообществе было воспринято со смесью одобрения, удивления и негодования.
Одобряющие говорили: наконец-то лаборатория искусственного интеллекта берёт на себя ответственность за свои разработки и подходит к публикации с осторожностью.
Удивлённые отмечали, что прецедента такого ещё не было. Все большие модели — BERT, ELMo, оригинальный Transformer — выкладывались целиком, с весами, и никто из их разработчиков не делал заявлений об опасности.
Негодующие, и их было больше всего, считали происходящее пиар-кампанией. По их мнению, OpenAI намеренно нагнетал страхи вокруг своей модели, чтобы привлечь внимание. Действительно, говорили они, если бы модель была настолько опасной, как утверждается, разумнее было бы её вообще не публиковать; а если она опасна не настолько, нет смысла поднимать столько шуму. Сам факт того, что OpenAI выбрал промежуточный, «театральный» вариант, наводил критиков на мысль, что главное здесь — не безопасность, а самореклама.
Среди особенно резких критиков был Зак Липтон, тогда профессор в Карнеги-Меллон. Он публично написал, что заявление OpenAI создаёт прецедент злоупотребления нарративом об «опасном ИИ»; что любой стартап теперь сможет утверждать, что у него есть модель, слишком опасная для публикации; и что научному сообществу пора отделять реальные проблемы безопасности от маркетинговых упражнений.