Глава 6
Восемь авторов и песня The Beatles
Мы предлагаем новую простую сетевую архитектуру, Transformer, основанную исключительно на механизмах внимания.
На сервере препринтов arXiv 12 июня 2017 года, в одиннадцать часов девятнадцать минут вечера по нью-йоркскому времени, появилась статья на десять страниц. Восемь авторов, никто из них не был профессором, ни у кого даже не было привычного академического титула на главной странице. Только адреса электронной почты: у семерых — google.com, у восьмого — личный email. Заголовок статьи был коротким, чуть ироничным, как будто его авторы решили не делать вид, что они написали учебник. Attention Is All You Need.
Через семь лет эта статья станет одной из десяти самых цитируемых научных публикаций двадцать первого века. Её прочитают, в той или иной форме, миллионы инженеров и исследователей по всему миру. На предложенной в ней архитектуре будут построены все большие языковые модели, все основные системы машинного перевода, все системы преобразования текста в изображение, в музыку, в видео; на ней будут построены роботы, программирующие вместо человека, и врачи, ставящие диагнозы, и юристы, читающие договоры. Все восемь её авторов в ближайшие шесть лет уйдут из Google, и каждый из них запустит свой стартап. Кое-кто из них к моменту, когда вы читаете эту главу, уже стал миллиардером.
А в момент публикации никто из них точно не подозревал, что они только что сделали.
Якоб Узкорайт
Идея, в конечном счёте превратившаяся в трансформер, родилась в голове у одного человека. У этого человека была фамилия с лингвистическим оттенком: Ушкорайт.
Якоб Ушкорайт родился в Германии в 1981 году. Его отец, Ганс Ушкорайт, был и до сих пор является одним из самых известных в Европе специалистов по компьютерной лингвистике; в восьмидесятые-девяностые годы он много занимался формальными моделями грамматики, разрабатывал системы машинного перевода ранних поколений, основал лабораторию компьютерной лингвистики в немецком городе Саарбрюккен. Якоб вырос среди разговоров о синтаксисе, морфологии, парсерах и формальных языках, и к моменту окончания университета прекрасно понимал и любил эту область, но решил пойти в неё со стороны. Защитившись в Берлине по математике и информатике, он в 2008 году поступил в Google и быстро стал одним из главных людей, отвечавших за качество Google Translate.
К 2016 году Якобу было около тридцати пяти. Он успел поработать с архитектурами, основанными на статистических методах, потом с нейронными сетями на LSTM, видел в реальном времени, как Google Translate переходит на нейронные рельсы. У него к этому моменту накопилось определённое раздражение от LSTM-ной парадигмы. Слишком долгое обучение, слишком плохая параллелизация, слишком ограниченная архитектура.
В 2016 году в группе Якоба сделали небольшую, скромную, но важную работу. Они применили механизм внимания не как добавку к рекуррентной сети, а к простой нейросети без рекуррентности, на узкой лингвистической задаче (установить, следует ли одно утверждение из другого). Результаты их удивили. Их маленькая модель, без всяких LSTM, побила тогдашние state-of-the-art системы на этой задаче, причём имея в десять раз меньше параметров и обучаясь на порядок быстрее.
Якоб задумался. Если внимание само по себе, без рекуррентности, способно так хорошо работать на узкой задаче, что мешает применить ту же идею в полном объёме? Что если вообще выбросить LSTM из машинного перевода? Что если сделать модель, где есть только внимание, повторённое много раз, и больше ничего рекуррентного?
Эту гипотезу Якоб начал высказывать коллегам осенью 2016 года. Большинство кивало вежливо и относилось со скепсисом. Машинный перевод как задача казался слишком сложным; были устоявшиеся подходы, которые работали; зачем рисковать, чтобы заменить их на что-то непроверенное?
Даже отец Якоба, когда сын рассказал ему о своей идее в одном из телефонных разговоров, отнёсся скептически. Ганс Ушкорайт, человек, посвятивший пятьдесят лет жизни обработке естественного языка, ответил сыну примерно так: языковая структура слишком сложна, чтобы её можно было выучить одним только вниманием; ты, вероятно, упрощаешь. Якоб засмеялся, согласился, и продолжил уговаривать коллег по Google попробовать.
Ашиш Васвани
Илья Полосухин, основатель NEAR Protocol