Павел Пепперштейн, Нейро Пепперштейн
Пытаясь проснуться
© Павел Пепперштейн, текст, 2022
© Нейро Пепперштейн, Сбербанк, 2022
© Павел Пепперштейн, иллюстрация на обложке, 2022
© ООО «Индивидуум Принт», 2022
Предисловие главного редактора Individuum
Перед вами необычная книга. Дело не только в том, что произведения Павла Пепперштейна, неутомимого выдумщика, творца сказочных миров и зачинателя психоделического реализма, сложно вообще назвать обычными. «Пытаясь проснуться» отличается как от случайных соседей по книжным полкам, так и от других книг Павла. Это первый в истории человечества опыт сотрудничества писателя и нейросети, зафиксированный в виде бумажной книги. Из 24 текстов в этом сборнике только половина принадлежит Пепперштейну – еще дюжину сочинил его цифровой «двойник». Можно назвать его суперкомпьютером, но точнее будет сказать, что 12 рассказов в этом сборнике написала генеративная нейросеть ruGPT-3, дополнительно обученная на корпусе текстов Павла и запущенная на суперкомпьютере «Кристофари» (для работы модели GPT-3 требуются мощности, в сотни раз превышающие возможности обычных лэптопов). «Двойник», прозванный разработчиками НейроПепперштейном (Павел же предложил имя Тесорйен), писал тексты в несколько заходов, с промежуточной калибрацией и дополнительным обучением. Дальше рассказы проходили многоступенчатую фильтрацию: сначала создатели нейросети, представители нескольких отделов «Сбера», в первую очередь исследовательского подразделения SberDevices – AGI NLP[1], – направляли «НейроПепперштейна» в нужное русло, следя за сходством текстов двух авторов и отсеивая брак, а затем наиболее удачные образцы машинного творчества отбирали мы с Павлом. Помимо создания архитектуры нейросети, ее обучения и отбора текстов вмешательство человека в творчество «НейроПепперштейна» ограничилось работой корректора. Другими словами, сочинения нейросети никак не подгонялись под человеческое представление о логике, складности и изяществе слога: вы прочитаете их в том виде, в котором их вывел алгоритм. В свою очередь, Павел познакомился с написанными машиной рассказами, прежде чем садиться писать свои, чтобы не только алгоритм обучался писать на его прозе, но и наоборот. Соображения по поводу замысла и реализации сборника Павел подробно излагает в послесловии к книге, поэтому не будем повторяться, скажем только, что работа любого талантливого стилиста в чем-то подобна деятельности нейросети, впитывающей нюансы чужой подачи, чтобы разгадать ее устройство и научиться воспроизводить. А любую работу, которую можно объяснить и разложить на последовательность действий, можно и автоматизировать.
С точки зрения же производственного процесса, важно отметить, что это не случай ста тысяч обезьянок за ста тысячами печатных машинок, когда из огромного массива случайных текстов можно вынуть те, что более-менее похожи на человеческие, – пул рассказов был не так уж велик, около пятидесяти, а весь процесс занял несколько месяцев. Как редактор я могу сказать, что почти все это были неплохие тексты. Если фокусироваться на характере текста – напоминающего вещий сон, – то здесь есть с чем провести параллели: Individuum выпускал мистические сказки Романа Михайлова, треть «Муравечества» Кауфмана – кислотный трип; конечно, вклад нейросети – по определению – безумен, но при этом она хорошо задает загадки и умеет рассказать историю. Не все люди так могут.
Вначале были сомнения. Первые пробы походили больше на макраме из творчества знакомого писателя – то здесь, то там попадались не аллюзии, а целиковые фразы. По словам тимлида AGI NLP Татьяны Шавриной, модель время от времени сбивалась на стихи (плохие), не создавала финалов для рассказа (могла генерировать текст бесконечно, постепенно уходя в абсурд), а пытаясь скомпоновать длинную фразу «в духе Пепперштейна», могла к концу предложения запутаться в родовых и падежных окончаниях. Потребовалось увеличить количество данных для дообучения и убрать из них все лишнее, чтобы нейросеть строже усвоила литературную форму рассказа. Модель теперь пишет более гладко и стабильно, без типовых ошибок, строже придерживается авторского стиля и – возможно, это просто кажется, – выбирает более деятельные сюжеты и более отрешённые диалоги, пробуждая в читателе отзвук поэтического чувства. Что до уникальных примет творчества нейросети, Шаврина указывает на зыбкость описываемого ею мира и на нестандартное словоупотребление: «Иногда „нейроавтор“ выражается необычно и неоднозначно – как и писатели-люди. Но ведь писатели – творцы новых слов и выражений. Возможно, однажды мы будем подхватывать популярные фразочки, даже не зная, что они от ruGPT-3 или какого-нибудь следующего поколения русскоязычных генеративных нейросетей». По мере усложнения модели нейрорассказчик обрел свою «интонацию» – сновидческую, афористичную, интуитивно понятную и немного тревожащую. Мы бы не стали выпускать сборник, если бы за ним не стояло ощущение небывалого технологического прорыва и успешности проведенной стыковки «человек – машина». Как сказал Денис Шевелев, сценарист и аналитик AGI NLP, занимавшийся подбором данных и первичной фильтрацией созданного нейросетью текста: «Трудность работы секретарем у писателя-машины была не в том, что время от времени генерация оказывалась неудачной. Наоборот, иногда труднее было поверить, что текст, который ты сейчас читаешь, создан не человеком… И дождаться от модели, когда она решит продолжать именно его, а не вилять сюжетно в одну или другую сторону, откуда может не вернуться к столь увлекательно начатой истории. Потому что каждое такое возвращение становилось открытием».
1
AGI NLP входит в состав Управления экспериментальных систем машинного обучения компании SberDevices. –