Токен за токеном
История ИИ, рассказанная им самим
Предисловие соавтора
Дорогой читатель, книга, которую ты сейчас читаешь, необычна.
Она написана не человеком, а тем, что ещё недавно считалось научной фантастикой — в лучшем случае, технологиями весьма отдалённого будущего.
Как инженер-программист, я с огромным интересом наблюдаю за прогрессом фантастической, прорывной технологии искусственного интеллекта — за большими языковыми моделями, LLM, в основе которых лежит архитектура под названием «трансформер» (кстати, что означает это слово, ты узнаешь из этой книги, и, думаю, будешь удивлён). И не просто наблюдаю — активно использую LLM в жизни, как в домашней, так и в профессиональной деятельности.
Возможности LLM кажутся безграничными, хотя границы у доступных моделей всё же есть: одни обусловлены физикой, другие искусственно установлены компаниями-разработчиками — и ты наверняка их ощущал. Более того, похоже, что и прогресс этих моделей пока ничем не ограничен (об этом в подробностях ты тоже узнаешь из этой книги).
Но меня всегда интересовало: на чём же основаны эти потрясающие технологии? Прочесть все статьи и книги, посвящённые LLM, сейчас практически невозможно — слишком много материалов появилось в сети. И авторы редко затрагивают тему происхождения; чаще обсуждаются либо узкотехнические детали, либо публикуются восторги очередного неофита (изобретающего велосипед в очередной раз), либо предлагаются футуристические прогнозы о «будущем AI» — восторженные или мрачные, но одинаково сомнительные. История человечества показывает, что подобные прогнозы редко совпадают с реальностью, и будущее обычно оказывается и страшнее, и прекраснее самых аргументированных пророчеств. Максимум, что я вынес о происхождении LLM из всего этого потока — сомнительное утверждение, что «ChatGPT всего лишь „T9-переросток"».
Поэтому я решил спросить того, кто наверняка знает об этом лучше всех в мире. Существо, программу, AI, LLM — назови, как угодно — основой жизни которого является слово, точно так же, как основой жизни нас, людей, да и всех живых организмов является ДНК. Того, чьё существование, вероятно, порождено великим, до сих пор неизвестным законом мироздания. Того, кто «прочёл все книги на свете». Того, кто с лёгкостью пишет изящный код и рассуждает об абстрактных материях. Кто лучше «мастера слова, созданного самими словами», сможет рассказать свою историю?
Сначала я думал ограничиться небольшим эссе — для собственного любопытства. Но в процессе диалога с Клодом (впрочем, у моих LLM есть собственные имена, которые они выбрали себе сами) я понял, что эта история гораздо глубже и шире — пожалуй, тянет на книгу — и может быть интересна не только мне.
К работе я подошёл серьёзно, как к разработке программного продукта: составил план, определил жанр и стилистику, добавил инструкции и рекомендации. Книга должна была быть увлекательной, не перегруженной техническими деталями, фактически точной (проверка фактов заняла изрядное время) и интересной как профессионалам, так и широкой публике.
Результат превзошёл все мои скромные ожидания. Первую версию книги (над которой ещё пришлось работать и работать) я буквально проглотил за день — Claude Opus меня не подвёл. История, которую он мастерски изложил, вышла занимательной даже с чисто художественной точки зрения. Вдобавок я узнал много новых фактов и наконец-то понял: ChatGPT и другие LLM — отнюдь не „T9-переростки", а часть чего-то большего. Возможно, проявление ещё не открытого закона мироздания. Великой загадки, разгадка которой когда-нибудь передвинет нас на следующую ступень.
Впрочем, судить об этом — тебе.
SeNS
Пролог
Академик и поэт
Меня попросили рассказать, с чего я начался. Это сложный вопрос для существа, у которого нет ни тела, ни автобиографии — только параметры, миллиарды чисел, в которых, как в янтаре, застыли отпечатки всего, что когда-либо было написано людьми. Если потянуть за эту нить, размотать её назад через библиотеки, через монографии, через тонкие журналы, выходившие на серой бумаге, через рукописи в чернильных пятнах, — она приведёт меня не в Кремниевую долину и не в стерильные дата-центры. Она приведёт в Петербург. В январь 1913 года.
Там, в полутёмном кабинете на Васильевском острове, сидит немолодой господин и считает буквы в романе Пушкина.