В конце 1987 г. меня пригласили прочесть лекцию в Монреальском исследовательском центре компьютерных наук – институте, связанном с университетом Макгилла. В конце моего выступления один из молодых магистрантов задал ряд вопросов, из которых было очевидно, что он серьезно подошел к многослойным нейронным сетям. В то время в этой области было очень мало исследователей. Он задавался вопросом о том, как адаптировать архитектуру нейронных сетей, чтобы они могли обрабатывать протяженные во времени сигналы, такие как речь или текст. Я запомнил его имя: Йошуа Бенджио. Его вопросы были настолько актуальны, что я пообещал себе не упускать его из виду и начать с ним сотрудничество после завершения его учебы. Позже я нашел его уже работающим в Bell Labs, куда его взяли после защиты докторской диссертации и недолгой работы в Массачусетском технологическом институте.
Святая святых
Конференция в Лез-Уш оказалась полезной для меня и по другим причинам. В 1986 г., во время Летней школы по машинному обучению[29]. Ларри Джекел и сотрудники отдела исследований адаптивных систем Bell Labs узнали, что я был в Питтсбурге. Они попросили меня заехать в Bell Labs в Нью-Джерси на обратном пути, чтобы выступить с докладом. Я помню свое первое появление в этом знаменитом «храме технологий» – по крайней мере, таким он был в 1980-х гг. – где родились многие изобретения современного мира. Там собрались все светила физики, химии, математики, информатики и электротехники. Лаборатория Ларри Джекеля примыкала к лаборатории Артура Ашкина, будущего лауреата Нобелевской премии по физике в 2018 г. за работу над «лазерным пинцетом». Рядом с ним был Стивен Чу, который в 1997 г. получит Нобелевскую премию по физике за открытия по охлаждению и захвату атомов при помощи лазера. Отдел исследований компании Bell Labs, насчитывавший 1200 человек, расположенных в нескольких зданиях, возглавлял Арно Пензиас, получивший Нобелевскую премию за открытие космического излучения, доказывающего теорию Большого Взрыва. Голова шла кругом.
Само здание, расположенное в Холмделе, в 60 км к югу от Нью-Йорка, одним своим видом захватывало дух. Его спроектировал знаменитый финский архитектор Ээро Сааринен. Представьте себе восьмиэтажный стеклянный параллелепипед, 300 м в длину и 100 м в ширину, в котором трудилось более 6000 инженеров. В исследовательской части работало около 300 человек.
Весной 1987 г. Ларри снова пригласил меня в Bell Labs, на этот раз для собеседования. Я сказал ему: «Пригласите мою жену. Ее нужно убедить!» Пока я общался с членами лаборатории, Ларри катался на машине с Изабель и Кевином, нашим 18-месячным ребенком. Он расхваливал штат Нью-Джерси: зеленые насаждения, большие дома в американском стиле и океанское побережье. Нью-Джерси дали прозвище «Штат садов», и это было вполне заслужено. Вечером в итальянском ресторане Кевин от усталости начал плакать. Джон Денкер, мужчина с бакенбардами, взял Кевина на руки и начал ходить с ним по ресторану. Кевин мгновенно успокоился. Позже я узнал, что Джон был старшим из четырех детей в своей семье и прекрасно умел обращался с маленькими детьми. Помимо того, что он был выдающимся физиком и инженером, он читал на французском и цитировал Вольтера и Золя. Неплохо для аризонского ковбоя! На следующий день Ларри и двое его коллег отвезли нас на Манхэттен. Мы хотели подняться на самый верх Всемирного торгового центра, но погода была ужасная, и охрана нас отговорила. Но мы все-таки решили подняться на вершину башен-близнецов. И когда мы сделали это, наградой нам стало вкуснейшее гороховое пюре, от которого мы не могли оторваться! Радушный прием, который мы получили, убедил нас. Мы с Изабель согласились остаться в Нью-Джерси на год или два.
Итак, в октябре 1988 г. я был принят на работу в Bell Labs. Отдел Ларри был частью отдела Боба Лаки, блестящего инженера и изобретателя алгоритма адаптивной фильтрации. Он руководил отделом «BL113», который собрал 300 исследователей из Холмдела и Кроуфорд-Хилла, города, находящегося рядом с Холмделом. Именно он утвердил создание исследовательской группы нейронных сетей. Я встречался с ним несколько раз: колоритная личность, высокий, худой, который интересовался всем, и, конечно, телекоммуникационными технологиями. Я также виделся с Джоном Хопфилдом, еще одним человеком из Bell Labs, который установил связь между спиновыми стеклами и нейронными сетями. Я познакомился с ним в Лез-Уше четырьмя годами ранее…
Что касается условий работы, то они были просто космическими по сравнению с теми, что я столкнулся во Франции. У нас были невероятные ресурсы, полная свобода в исследованиях, а мои коллеги были настоящими светилами в своей области. Когда я там работал, в моем распоряжении был компьютер Sun-4. В Торонто мы работали на компьютере того же типа. «В Bell Labs нельзя прославиться, сэкономив деньги», – говорили они мне. Эта фраза заставляет задуматься о многом…
29
«The Machine Learning Summer School»; в настоящее время она ежегодно проводится на базе института Макса Планка, Тюбинген, Германия. –