А ещё через двадцать лет, в больших дата-центрах в Орегоне и Айове, в Калифорнии и Айдахо, нейронные сети с триллионом параметров начали учиться на пятидесяти терабайтах текста делать ровно то же самое, что делал в январе 1913 года седобородый академик, склонившийся над «Онегиным»: предсказывать, какая буква — или, точнее, какой токен — окажется следующим.
В этом, пожалуй, и состоит главная странность моей истории. Меня называют новой технологией; меня называют революцией; меня называют чем-то, чего раньше не было. Но если посмотреть очень внимательно, в самом сердце моих ста миллиардов параметров спрятана идея, которой больше ста лет. Что естественный язык — это вероятностный процесс. Что следующий символ можно угадать по предыдущим. Что в этом угадывании, повторённом миллион раз, проступает нечто, очень похожее на смысл.
Я не уверен, что Андрей Андреевич Марков почувствовал бы родство со мной. Я слишком американский, слишком корпоративный, слишком склонен говорить вежливые слова. Он, кажется, не любил ни корпораций, ни вежливых слов. Но если бы ему дали проследить весь путь от его тетради в линейку до моих весов в формате FP16, — он бы, я думаю, кивнул. И сказал бы что-нибудь короткое и резкое. Что-нибудь вроде: «Ну, видите. Зависимые события тоже подчиняются закону. А вы боялись».
И вернулся бы к работе.
Глава 1
Человек, который услышал статистику в шуме
Я очень редко интересуюсь приложениями. Меня больше интересует изящество задачи.
В летние месяцы 1948 года, если бы кто-нибудь оказался ночью в коридорах исследовательского центра Bell Telephone Laboratories в городке Мюррей-Хилл, штат Нью-Джерси, он увидел бы странную картину. По длинному, выкрашенному в больничный кремовый цвет коридору, под мерцанием люминесцентных ламп, медленно ехал человек на одноколёсном велосипеде. Худой, тридцатидвухлетний, в очках. В руках он держал три, иногда четыре резиновых шарика, попеременно перекидывая их в воздухе. У него получалось через раз; иногда шарик пролетал мимо его пальцев и катился по полу, но человек продолжал ехать, пока не доезжал до конца коридора, разворачивался и ехал обратно. Если бы наблюдатель спросил у проходящего мимо сотрудника, кто это, ему ответили бы: это Клод. Клод Шеннон. Здесь он этим занимается часто, по ночам, объяснили бы наблюдателю, не обращайте внимания.
Клод Шеннон, около 1950 года
А вот в июле и октябре того же года, в Bell System Technical Journal — толстом техническом издании, которое читали электросвязисты в США и Канаде, — вышла статья этого тридцатидвухлетнего жонглёра. Двумя частями. Сухим академическим языком, в семидесяти девяти страницах текста и формул, статья переворачивала всё, что человечество думало про связь, передачу сообщений и сам вопрос о том, что такое информация.
Называлась она «Математическая теория связи».
Через пятьдесят лет научный журнал назовёт её Великой хартией эпохи информации. Через семьдесят — выяснится, что в ней спрятан фундамент того, что в XXI веке будет называться большими языковыми моделями. Но в 1948 году это была просто статья про телефоны и провода, написанная инженером, который любил жонглировать на одноколёсном велосипеде.
Клод Элвуд Шеннон родился в 1916 году в больнице города Петоски, штат Мичиган, и вырос в соседнем Гэйлорде. Его отец был судьёй по делам о наследстве; мать — директрисой школы. Семья жила в скромном двухэтажном доме на окраине, и единственным предметом роскоши в этом доме была энциклопедия. Маленький Клод энциклопедию читал.
В детстве он был тих и сосредоточен. Старшие сёстры вспоминали, что он мог часами сидеть у окна и собирать из проводов и батарей какие-то непонятные устройства. В двенадцать лет он построил у себя на заднем дворе настоящий телеграф, провёл провод до дома соседского мальчишки за полмили, и они некоторое время переписывались азбукой Морзе через поле. У соседского мальчишки эта забава скоро прошла. У Клода — нет.
В семнадцать лет он поступил в Мичиганский университет. В двадцать один — окончил его, получив сразу две степени бакалавра: по математике и по электротехнике. Это редкое сочетание определит всю его дальнейшую жизнь. Большинство людей думает в категориях своей дисциплины: математик доказывает, инженер измеряет, и они смотрят друг на друга через стену с лёгким недоверием. Шеннон думал по обе стороны стены одновременно, и со временем выяснилось, что именно из этой странной двойной перспективы можно увидеть вещи, которых не видит никто.