В 1986 году небольшая группа исследователей под руководством профессора Калифорнийского университета в Сан-Диего Дэвида Э. Румельхарта опубликовала в научном журнале Nature письмо, в котором представила методику, позволяющую алгоритмам, подобным неокогнитрону, эффективно обучаться. Они назвали ее "обратным распространением", по имени ее определяющей особенности: каскадный эффект, при котором каждый случай обучения - в частности, степень правильности или неправильности реакции сети на заданный стимул - изменяется от одного конца к другому, слой за слоем.
Однако по-настоящему глубокое значение для обратного распространения информации имели изменения, которые происходили в структуре сети с течением времени. По мере того как сеть подвергалась воздействию все большего количества примеров, таких как коллекция фотографий или звуковых сигналов, связи между ее нейронами изменялись под воздействием увиденного и несли на себе отпечатки все более детального характера. Подобно стенам каньона, вырезанным веками текущей реки, сеть стала представлять особенности, которые ее обучали распознавать. После долгих лет борьбы нейронные сети вдруг стали обучаться в невиданных ранее масштабах и с беспрецедентной точностью, предвещая настоящий переломный момент.
Хотя Румельхарт был ведущим исследователем, именно Джефф Хинтон, один из двух его соавторов, стал фигурой, наиболее ассоциирующейся с обратным распространением. Хинтон, в то время профессор Университета Карнеги-Меллон, с ранних лет был очарован загадкой интеллекта и посвятил свою карьеру поиску новых методов его воспроизведения. Он неустанно работал, изучая множество новых подходов к машинному обучению и внося огромный вклад в период, который стал ранним ренессансом для этой области. Это было время постоянно растущих сетей, содержащих все больше слоев и сложно связанных между собой нейронов, обученных с помощью все более совершенных методов. Наконец, Ян ЛеКун, один из первых студентов Хинтона, знаменито применил все это к впечатляющей практической задаче: чтению рукописных почтовых индексов. Менее чем за десять лет машинное обучение превратилось из неосуществимой мечты в триумф в реальном мире.
Мой отец изучал все вокруг, а я - его. На его лице было выражение удивления, которое, должно быть, казалось неуместным - непропорциональное проявление энтузиазма, учитывая наше окружение. Это выражение было мне знакомо еще со времен наших первых совместных вылазок в дикую природу, но даже я был удивлен, увидев его в таком месте. Это был воскресный день, и мы уже несколько часов как отправились в поездку, посвященную любимому занятию моего отца с момента приезда в эту страну - гаражным распродажам.
Каждые выходные мы проезжали мили и мили в поисках чужого подъезда или лужайки перед домом, и часто за одну поездку попадались сразу несколько. Тот факт, что мы всегда приезжали к одной и той же сцене, его, похоже, не беспокоил. Стопки устаревших журналов и книг в мягких обложках десятилетней давности, обложки выцветшие и помятые. Колонки Hi-Fi с матерчатыми решетками. Детские роликовые коньки, недавно переставшие быть роликовыми. Старинные настольные игры. Экшн-фигурки. Использованные чемоданы. Потертые, но еще вполне пригодные кастрюли и сковородки. Кемпинговое снаряжение, давно вышедшее из моды. Картонные коробки с картриджами для игр Atari. Видеомагнитофоны и стопки фильмов на VHS. Тренажеры. Для моего отца это была новая разновидность дикой природы, и она требовала, чтобы ее исследовали.
Гаражные распродажи были также одним из немногих мест, где я видел, как мой отец использовал свои почти несуществующие знания английского, поскольку он достаточно хорошо владел языком, чтобы совершить покупку и, в некоторых случаях, даже немного поторговаться. Я был рад, что у него есть возможность участвовать в этом, но я знал, что его трудности с английским - это нечто большее, чем просто практическая неудача. Разговор был для него искусством, и он гордился своим мастерством; он любил китайскую игру слов задолго до того дня, когда назвал меня, и часто использовал ее как способ выражения юмора и привязанности. Зная отцовский ум, я особенно тяжело переживал, когда он ограничивался такими простыми словами. Но его волнение было заразительным, и за то время, что ему потребовалось, чтобы перейти к другому изображению на карточном столе, я забыл обо всем, кроме того, как он выглядел довольным.