Вторая, и в публике менее известная, — это методология обучения языковых моделей под названием Constitutional AI, конституционный искусственный интеллект. Идея состояла в следующем.
Обычный подход к тому, чтобы языковая модель вела себя приемлемо (не оскорбляла, не помогала с противозаконными действиями, не выдавала медицински опасных советов) состоял в том, что в OpenAI назвали RLHF — обучение с подкреплением на основе обратной связи от людей. Для этого нанимали несколько десятков людей-аннотаторов, давали им пары ответов модели и просили оценить, какой из двух ответов лучше. По этим оценкам потом подкручивали модель.
Подход работал, но имел недостатки. Во-первых, он требовал огромных трудозатрат: тысячи часов работы аннотаторов на каждое поколение модели. Во-вторых, оценки людей часто были непоследовательными: разные люди оценивали одни и те же ответы по-разному, что вносило шум. В-третьих, и главное, он плохо масштабировался: для каждого нового вида опасностей нужно было собирать новый набор оценок.
Anthropic предложил альтернативу. Вместо того, чтобы оценки давали люди, давайте сформулируем набор принципов в текстовом виде — «конституцию» — и научим модель оценивать собственные ответы по этой конституции. Принципы могут быть, например: не помогай в действиях, которые незаконны в большинстве юрисдикций, уважай достоинство собеседника, не давай медицинских советов без указания на необходимость консультации специалиста, и так далее. Модель в процессе обучения учится критиковать свои собственные ответы по этим принципам и переписывать их в более удовлетворительной форме.
Метод оказался эффективным. С Constitutional AI можно было получать модели сопоставимого с RLHF качества, но без массовой ручной разметки. Anthropic опубликовала статью о методе в декабре 2022 года, и метод этот в течение года вошёл в арсенал большинства лабораторий, занимающихся языковыми моделями. Это была, наверное, главная техническая идея Anthropic за её существование.
К 2023 году в мировой индустрии больших языковых моделей сформировалась так называемая «большая четвёрка»: OpenAI, Google DeepMind (объединившая Google Brain и DeepMind в одну структуру в апреле 2023 года), Anthropic, и Meta (с её серией LLaMA, выложенной в открытый доступ). Каждая из этих лабораторий имела ресурсы и команды для обучения моделей передового уровня. Между ними шла интенсивная конкуренция: каждые несколько месяцев одна из них выпускала новую модель, которая хотя бы по одной метрике обходила лучшие модели остальных.
Помимо большой четвёрки, на сцену в 2023 году вышли два серьёзных не-американских игрока. Из Парижа — Mistral AI, основанная бывшими сотрудниками Meta и DeepMind, специализирующаяся на относительно небольших, но высокоэффективных моделях. Из Китая — стартап DeepSeek, который в начале 2025 года выпустит модель R1, обходящую по нескольким бенчмаркам модель o1 от OpenAI и обошедшуюся при этом в десять раз дешевле. DeepSeek поразит американских инвесторов и заставит на несколько дней упасть акции Nvidia.
Но это уже другой сюжет. Возвращаясь к 2021–2022 годам: Anthropic закрепляется в роли одной из ведущих лабораторий, не имея ещё ни одного публичного продукта; OpenAI готовит ChatGPT, не зная, что разрабатывает приложение, которое за два месяца наберёт сто миллионов пользователей.
Ушли многие, но не все. В OpenAI осталось ядро, образовавшее новое научное руководство.
Илья Суцкевер остался. Его выбор не был очевидным; ему тоже предлагали присоединиться к Дарио и его команде. Но Илья, по позднейшим словам коллег, считал, что у OpenAI остаётся миссия, которую он не хочет бросать. Он остался главным научным сотрудником и в течение следующих трёх лет руководил всем направлением «суперинтеллекта».
Грег Брокман остался. Алек Радфорд остался. Андрей Карпатий — нет, но и не из-за раскола с Дарио: он ещё в 2017 году ушёл в Tesla руководить разработкой автопилота, в 2023 году вернётся в OpenAI, а в 2024 уйдёт снова — делать собственный образовательный стартап.
Сэм Альтман остался и стал генеральным директором новой, коммерческой структуры. Через два года, в ноябре 2023 года, его на пять дней уволят, потом восстановят, и эта история будет одной из самых громких корпоративных драм года, но всё это произойдёт уже после ChatGPT.