«Возьмите свежей баранины,— рекомендует автор поваренной книги,— пропустите дважды сквозь мясорубку, посолите...»
В том же стиле можно теперь описать способ приготовления энтропии.
Возьмите 32 пустые карточки и напишите на них все буквы русского алфавита. Положите все карточки в коробку, тщательно перемешайте. Извлеките наугад одну букву. Извлекли? Прекрасно! Запишите, какую именно. Записали? Очень хорошо. Теперь бросьте карточку с буквой в коробку и перемешайте карточки еще раз. Тщательнее перемешивайте! Еще раз! Еще! Теперь достаточно. Можете извлечь следующую букву и записать ее рядом с предыдущей.
Проделав подобную процедуру раз 30—40, вы получите набор букв и слов[5].
*Одна из 32 карточек должна быть пустой. При извлечении этой карточки в тексте оставляется пропуск, соответствующий интервалу между словами.
Математик Р. Л. Добрушин в результате такого эксперимента получил текст, который вы уже видели на 25-й странице. Возвращаясь к нему теперь, спросим себя: стоило ли ради такой бессмыслицы делать специальный эксперимент? Оказывается, стоило. Ведь полученный Добрушиным текст — это не просто бессмыслица, а самая бессмысленная бессмыслица, какую только можно вообразить. Чередование букв наиболее беспорядочно, хаотично. Энтропия текста обладает наибольшей их всех возможных текстов величиной.
Все это вытекает из описанной методики эксперимента. В самом деле, вероятность извлечения любой из букв одинакова, то есть выполняется уже знакомое нам условие:
Ра = Рб=... =Ря= 1/32
Чтобы это условие не нарушилось, мы настоятельно рекомендовали после извлечения карточки возвращать ее к коробку и тщательно снова все перемешивать.
Заметим, что вероятность извлечения пустой карточки, соответствующей интервалу между словами, также равна 1/32. Поэтому-то такими несуразно длинными получились слова нашего странного текста: каждое слово, формируемое описанным способом, состоит в среднем из 32 букв, то есть на каждые 32 наугад извлеченные буквы попадется в среднем один интервал.
В реальных текстах средняя длина слова составляет примерно 6 букв. Это значит, что в реальных текстах интервал встречается примерно в 5 раз чаще, чем в нашем эксперименте. Значит, его вероятность для реального текста составляет не 1/32, а 5/32 ≈ 1/6 ≈ 0,17.
Так же обстоит дело и с остальными буквами вероятность их появления в реальных текстах значительно отличается от 1/32 .
Для определения реальных значений вероятностей появления букв в письменных текстах фиксировали частоту появления каждой буквы на протяжении сотен и тысяч страниц.
В результате такого учета было установлено, что чаще всего в русских текстах появляется буква «О» (ро = 0,09), а реже всего буква «Ф» (рф = 0,002) [6].
**Сравните с вероятностью появления тех же букв в описанном эксперименте: Ро = Рф =1/32 ≈ 0,03
Чаще, чем буква «О» и другие буквы, появляются в русских текстах интервалы между словами. Их вероятность составляет ринтервала = 0,17.
Благодаря тому, что вероятности появления различных букв в реальных текстах неодинаковы, их энтропия (беспорядочность) меньше, чем в экспериментальном, искусственном тексте. Реальные тексты отличаются от энтропийного определенным порядком чередования букв.
Чтобы уяснить, как возникает порядок, попытаемся составить текст, в котором соблюдались бы реальные вероятности появления букв. Для этого нам придется вновь поместить карточки с буквами в общую коробку, но теперь понадобится не 32 карточки, а значительно больше, потому что число карточек должно быть пропорционально вероятностям появления букв (например, на две карточки с буквой «Ф», имеющей вероятность Pф = 0,002, должно приходиться 90 карточек с буквой «О», имеющей вероятность Рo = 0,09 и т. д.).
Впрочем, можно не тратить времени на приготовление множества карточек с буквами. Тот же эксперимент можно проделать без карточек, используя обычный печатный текст. Ведь в тексте каждая буква будет встречаться именно с той частотой, которая соответствует ее вероятности.
Если, закрыв глаза, наугад переворачивать страницы и указывать на букву, а затем приписывать ее к ряду ранее таким же образом отобранных букв, то вы получите новый искусственный текст, в котором частота появления букв будет соответствовать вероятности их появления в русском тексте. Действуя таким образом, Р. Л. Добрушин получил фразу, помещенную в нижеприведенной таблице под номером 2.
5
Одна из 32 карточек должна быть пустой. При извлечении этой карточки в тексте оставляется пропуск, соответствующий интервалу между словами.
6
Сравните с вероятностью появления тех же букв в описанном
эксперименте: