Главный из них касался задачи под названием XOR, «исключающее или». Имея два бинарных входа, выдать единицу, если входы разные, и ноль, если одинаковые. Задача кажется детской, и для человека таковой и является. Так вот, Минский и Паперт строго доказали: однослойный перцептрон, такой, какой строил Розенблатт, эту задачу решить не может. Никогда. Принципиально. Какие веса в нём ни меняй.
В принципе из этой теоремы не следовало, что обучающиеся нейронные сети безнадёжны. Многослойные перцептроны, теоретически, могли бы решать XOR и всё остальное. Минский и Паперт это знали и в одном из последних разделов книги осторожно отмечали. Но широкий читатель, особенно читатель из числа программных директоров ARPA, до этого раздела не доходил. Из книги выходило простое сообщение: перцептрон не работает. Деньги перестали давать.
Фрэнк Розенблатт после выхода книги Минского жил ещё два года. По всем рассказам, он был расстроен, но продолжал работать. В 1971 году, в день своего сорокатрёхлетия, он отправился на лодке в Чесапикский залив с двумя коллегами. Лодка перевернулась. Розенблатт не выплыл. Его коллеги выжили.
Что именно случилось в тот день, толком неизвестно. Тогда говорили об обыкновенной неосторожности. Через много лет некоторые из писавших о Розенблатте намекали, что обстоятельства его смерти могли быть не такими случайными, как кажется на первый взгляд. Доказательств у этого, однако, нет, и предлагать читателю спекуляции было бы нечестно. Что известно точно: он был молодой, талантливый, переживший публичный научный разгром, и он утонул в день собственного сорокатрёхлетия.
Минский его пережил на сорок пять лет. До конца жизни он отрицал, что книга 1969 года была мотивирована чем-то, кроме научной добросовестности. Большинство историков сегодня склоняются к тому, что он, скорее всего, говорил правду. Но эффект книги от этого не меняется: коннекционистская исследовательская программа после 1969 года надолго замёрзла.
Зима, наступившая для нейросетей в семидесятые годы, не была зимой для всего искусственного интеллекта. Деньги и интерес остались, просто перетекли в соседние комнаты. В Стэнфорде и MIT процветали экспертные системы: программы, в которые инженер по знаниям вручную закладывал тысячи правил вида «если симптом А и симптом Б, то болезнь В с вероятностью семьдесят процентов». Эти программы научились ставить медицинские диагнозы, искать минералы по геологическим разрезам, конфигурировать сложное компьютерное оборудование на заказ. Каждый год новый прорыв, каждый год новый стартап.
В коммерческой обработке естественного языка, между тем, тихо шла другая работа. Без газетных заголовков и без венчурных денег. В лабораториях IBM, BBN, Bell Labs и нескольких университетов несколько десятков человек занимались тем, что напрямую вытекало из шенноновских набросков 1948 года: статистическим моделированием языка для распознавания речи.
Главой этого тихого направления был чех по имени Фредерик Елинек. Он родился в Праге в 1932 году, в шестнадцать лет, после коммунистического переворота, бежал на Запад, через какое-то время оказался в США, закончил MIT, и в начале семидесятых перешёл в исследовательский центр IBM в городе Йорктаун-Хайтс, штат Нью-Йорк. Ему было поручено заниматься распознаванием речи. В отличие от большинства тогдашних специалистов в этой области, Елинек не верил в подход через лингвистическое знание. Он не считал, что нужно сначала разобраться, как устроена грамматика английского языка, и потом запрограммировать это знание в компьютер. Он считал, что нужно собрать очень много примеров живой речи, посчитать в них статистику, и пусть машина сама решит, что во что переходит.
Фредерик Елинек, IBM Research
Подход Елинека был прямым продолжением шенноновского эксперимента 1948 года, только в индустриальном масштабе. Команда IBM построила систему распознавания речи на основе скрытых марковских моделей. Сама модель состояла из двух частей. Первая, акустическая, угадывала по входному звуковому сигналу, какие фонемы могли быть произнесены. Вторая, языковая, решала, какая последовательность слов из этих фонем наиболее вероятна, опираясь на n-граммную статистику английского языка. То есть на ту самую идею Маркова и Шеннона: следующее слово зависит от нескольких предыдущих, и эта зависимость описывается таблицей вероятностей.