Сегодня, перечитывая эти страницы 1948 года, любой человек, имевший дело с ChatGPT или его аналогами, узнаёт в шенноновом эксперименте знакомый профиль. Это первая в истории языковая модель. Очень примитивная, без нейронных сетей, без видеокарт, без обучения градиентным спуском. Просто человек с книгой, листом бумаги и аккуратными подсчётами. Но идея — та самая: язык можно моделировать вероятностями переходов от одной единицы к следующей. И чем больше контекст, тем лучше модель.
В своей статье Шеннон вежливо сослался на работы русского математика Андрея Андреевича Маркова, на которого опирался при формальной постановке задачи. Цепи зависимых событий, описанные Марковым в начале XX века, оказались идеальным математическим инструментом для описания этих языковых процессов. К 1948 году идеи Маркова в США знали уже хорошо: его «цепи» прочно вошли в учебники теории вероятностей. Но никто, кажется, не делал того, что сделал Шеннон: не применял их к английскому языку и не смотрел, что получается.
Через три года, в 1951 году, Шеннон вернулся к этой теме ещё раз. Он опубликовал короткую статью с поразительным названием: «Prediction and Entropy of Printed English» — «Предсказание и энтропия печатного английского». В ней он проделал замечательный эксперимент.
Шеннон взял живых людей — своих коллег по Bell Labs и их домашних — и попросил их играть в простую игру. Им показывали начало английской фразы и просили угадать, какая следующая буква. Если угадывали — переходили к следующей. Если нет — называли вторую вероятную, третью, и так далее, пока не угадают. Записывалось, с какой попытки угадана каждая буква. По этим данным Шеннон оценивал, насколько «предсказуем» английский язык в среднем: то есть какова его энтропия, посчитанная по живым человеческим интуициям.
Получилось примерно 1,3 бита на букву. Это означало, что в среднем носитель английского, видя начало фразы, уже сильно сужает множество правдоподобных продолжений. Английский, как и любой естественный язык, оказался очень избыточным; его настоящая «информационная плотность» — всего около двадцати-двадцати пяти процентов от того, что несут отдельные буквы при равномерной кодировке.
Это, в сущности, было первое в истории измерение языковой модели человека. Шеннон показал: то, как мы предсказываем следующую букву в тексте, — поддаётся количественной оценке. Машины смогут это делать тоже. И когда они начнут делать это лучше, чем человек, — это будет означать что-то важное.
Это «что-то важное» случится через семьдесят лет. Шеннон до этого момента почти доживёт.
В 1956 году Шеннон уехал из Bell Labs в MIT — преподавать. К этому моменту он уже был знаменит, и каждое его появление на конференции собирало полные залы. Но писать о теории информации он перестал почти полностью. Друзья и коллеги недоумевали. Шеннон отвечал, что ему стало интересно другое: машины, искусственный интеллект, шахматные программы. И, конечно, жонглирование.
В его доме под Бостоном — большом, оштукатуренном, с двумя этажами, который он называл «Дом энтропии», — год от года собиралась коллекция: огнемётные трубы, ракетные диски «Фрисби», машинная мышь по имени Тесей, которая умела находить выход из лабиринта, компьютер ТРОБАК (THROBAC — Thrifty Roman Numeral Backward Computer), вычислявший в римских цифрах, и многое другое. Жена его Бетти — Мэри Элизабет Мур Шеннон, профессиональный «человек-компьютер» из Bell Labs, на которой он женился в 1949 году, — относилась к этим увлечениям с терпеливой иронией. На Рождество 1949 года она подарила ему одноколёсный велосипед. Он научился на нём ездить за неделю.
Шеннон был, по всем рассказам, мягкий, тихий, добрый, очень скромный человек. Он мог провести час, играя с детьми в шахматы; мог построить им из жестянок музыкальный инструмент; мог, увидев, что коллега озадачен задачей, подойти и за пять минут предложить решение, о котором коллега будет думать неделю. О собственных открытиях он говорил скупо. Когда однажды его спросили, гордится ли он, что определил, что такое информация, — он ответил: «Я просто хотел понять, как устроены вещи». Это была почти полностью точная цитата. Десятки людей запомнили её именно в такой формулировке.