После того, как нейросеть самообучилась, она готова к практическому применению. Теперь, если к нам придет набор данных по следующему 21-му студенту, сеть автоматически занесет его в тот или иной кластер, либо сделает вывод о невозможности такого отнесения (при большом расстоянии до центра ближайшего кластера). При этом веса узлов сети и кластеров на выходе, снова скорректируются, то есть новые данные продолжают учить сеть.
РАБОЧАЯ ЛОШАДКА ГЛУБОКОГО ОБУЧЕНИЯ
Эта главка написана для подлинных афисионадос обучения — человеческого или машинного, все равно. Для тех, кто ее пропустит, скажу лишь, что алгоритмы нейросетей сегодня невероятно усложнились, да и подходы за последние 20 лет изменились довольно сильно. Так, даже многослойные нейросети по нынешним меркам обучаются ужасно медленно и не в состоянии выполнять задачи, допустим, распознавания в течение пяти секунд лица гражданина Китая и установления его личности.
После многослойных сетей ученые придумали когнитрон и неокогнитрон, рекуррентные сети, которые обладали ассоциативной памятью, а в 2000-е годы вышли на алгоритмы глубокого обучения. Все вопросы, поставленные в свое время Минским, были сняты, и те, кто воспринимал его критику перцептрона как приговор машинному обучению как таковому, в конце концов оказались посрамлены.
Но нельзя говорить, что Минский задержал развитие науки и технологий на двадцать лет, как считают некоторые. Во-первых, как мы убедились, его сомнения лишь подхлестнули настоящих исследователей — то есть коллективный разум ученых повел себя как тот самый мозг, который увидев, что один из его компьютеров-ученых выдал сигнал ошибки, передал решение задачи другим своим колонкам. В итоге с задачей, как об этом говорил сам Минский, справился кто-то другой. Конечно, все не совсем так, и «компьютеры» коллективного разума, если можно так говорить, сами берут на себя выполнение задач.
Но так или иначе, любой разум, бывает, дает сбои и порой нуждается в перезагрузке, и 1969 год — год, когда Минский написал свою работу, американцы высадились на Луну и на экраны вышла кубриковская «Космическая одиссея 2001 года» и был такой перезагрузкой для коллективного разума всего человечества.
Артур Кларк как-то писал, что если крупный ученый говорит, что нечто может быть выполнено, то он почти всегда прав. Если же ученый говорит, что это не может быть выполнено, он почти всегда неправ. Этот «закон Кларка» применим и к развитию машинного обучения. Когда в распоряжении исследователей появились новые вычислительные возможности и под их разработки была подведена солидная теоретическая база, результат не замедлил сказаться.
Есть разные мнения по поводу того, когда началась новая «весна искусственного интеллекта». Возможно, это произошло в начале 1990-х, а может быть и раньше. Одной из таких дат является 1987 год, когда в мире прошли четыре ключевых совещания по нейронным сетям, а в научных журналах резко выросло число научных сообщений на эту тему. В шестидесятые-семидесятые годы математики и физики несколько выдохлись и перебросили мяч на половину поля биологов. За десяток лет те помогли коллегам и перебросили мяч обратно, что позволило игре выйти на новый уровень. Нейросети стали глубокими, то есть стали состоять из десятков тысяч, а впоследствии и сотен тысяч нейронов. Для таких сетей стали разрабатывать особую архитектуру, которая использовала новые открытия в том, как работает неокортекс.
Нобелевские лауреаты в области медицины Торстен Нильс Визель и Дэвид Хьюбел открыли в зрительной коре головного мозга кошки так называемые простые клетки, которые возбуждаются, реагируя на прямые линии под разными углами, и сложные клетки, реагирующие уже на сочетания простых клеток и их движение в одном направлении. Получалось, что мозг различает паттерны, сначала выделяя очень мелкие фрагменты изображений, а потом складывая из них все более усложняющуюся картину.
Архитектуру, нацеленную на этот метод распознавания образов, предложил в 1988 году французский математик (снова тяжело одним словом охарактеризовать сферу интересов ученого!) Ян Лекун. Она получила название сверточных нейросетей — и ей предстояло стать рабочей лошадкой глубокого машинного обучения, которая пыхтит и сегодня.
Сейчас Лекун возглавляет лабораторию искусственного интеллекта Facebook в Нью-Йорке — что, кстати, многое говорит о том, где применяются эти сверточные нейросети. Лекун не Эйнштейн и не Оппенгеймер, чтобы задавать власть имущим вопросы о том, в каких целях используются научные достижения, на благо людям или во зло. Сегодня наука не та, что была 50-60 лет назад, ее перестроили так, что она зависит от денег крупных корпораций и приватизированных ими государств. Талантливые ученые, такие как Лекун, понимают, что их статус в современном обществе совсем не эйнштейновский.