Говоря более техническим языком, "семантическое пространство" ImageNet расширялось, становясь все более плотным, и все меньше пространства для дыхания отделяло правильные ответы от неправильных. С практической точки зрения это часто означало, что методы, которые хорошо работали при различении небольшого числа широко варьирующихся категорий, плохо работали при работе с десятью тысячами категорий ImageNet, многие из которых можно было отличить только по тонким различиям. Некоторые методы и вовсе ломались. Это был унизительный, но в конечном счете обнадеживающий знак того, что завтрашние алгоритмы будут не просто более эффективными версиями сегодняшних, но и принципиально другими, причем так, как мы и не предполагали.
Знаете, что мне больше всего понравилось в "Калтехе 101"? Слова Алекса вернули меня в тот момент. "Это были не только учебные данные. Это была возможность сравнить результаты моих собственных исследований с вашими, используя те же самые изображения. Яблоки к яблокам".
"Ориентир", - ответил я.
"Именно так. Это позволило легко измерить прогресс. А что может быть более вдохновляющим для исследователя? Это как вызов. Смелость".
Смелость. Мне это нравилось.
"Хорошо, а что если сделать то же самое с ImageNet?" спросил я, все еще размышляя вслух. "А еще лучше, что если мы организуем целый конкурс вокруг этого?"
"Что-то вроде PASCAL, вы имеете в виду?"
Набор данных PASCAL Visual Object Classes, известный как PASCAL VOC, представлял собой коллекцию из примерно десяти тысяч изображений, разбитых на двадцать категорий. Собранный группой исследователей в Европе, он был похож на Caltech 101, но с существенным отличием: он послужил основой для конкурса компьютерного зрения, который проводится ежегодно с 2005 года. Каждый год участники со всего мира представляли алгоритмы, обученные на наборе данных, которые затем подвергались воздействию нового набора ранее не виденных изображений и ранжировались по точности их классификации. Победителем объявлялся алгоритм с наименьшим числом ошибок. Конкурс, в котором одновременно велось сотрудничество и соревнование, привлек внимание к последним достижениям в этой области. И все это с набором данных, лишь в тысячную долю меньшим, чем ImageNet.
"Вот это было бы интересно", - ответил Алекс. "Как это работает в ImageNet? Я могу представить, как исследователи задают друг другу именно такой вопрос о своей последней идее".
Северная звезда для поля, подумал я.
Если дух статьи Цзя верен и ImageNet действительно предвещает скорую перестановку палубы - новые правила, новые интуиции, может быть, даже совершенно новую парадигму, - что может быть лучше для ее изучения, чем конкурс? Коллективная сила сотрудничества, заряженная энергией конкуренции. Исследовательская, но принципиальная. Яростный. Даже после многих лет работы над созданием ImageNet простое представление этой идеи вдохнуло в нее новую жизнь.
Это также означало, что работа по распространению ImageNet в мире еще не закончена.
Подготовка к конкурсу началась сразу после моего возвращения в США, и на первый взгляд предпосылка казалась простой: взять набор алгоритмов, обученных на ImageNet, протестировать их на наборе никогда ранее не виденных изображений, оценить их ответы и проранжировать их по количеству допущенных ошибок. Победит тот, у кого будет наименьший суммарный коэффициент ошибок. Однако на практике превращение набора данных в соревнование - это сложная научная задача.
В таких играх, как шахматы, покер или баскетбол, понятие победы просто и самоочевидно. Однако объявление победителя в научном соревновании сродни принятию на себя обязательств: не только в том, что участник покажет хорошие результаты по каким-то показателям, но и в том, что его разработка внесет вклад в общее дело. Что она может научить нас чему-то новому, проницательному и, возможно, даже преобразующему. Что это следующий шаг к Полярной звезде. Это грандиозное заявление, и очень важно, чтобы оно было сделано с уверенностью.