Тому, кто впервые попал в Новый Город, некогда думать об отдыхе. Здесь что ни шаг, то новые впечатления. Сейчас мы подходим к самому центру - к площади Новых Идей.
Что за величественное сооружение установлено посреди этой площади? В честь каких побед воздвигнут этот необычный обелиск?
В причудливом беспорядке нагромоздили скульпторы у его подножия радиоприемники и антенны, книги и музыкальные инструменты, микроскоп и фотоаппарат, телевизионную камеру и простой телеграфный ключ. Стройная колонна возвышается в середине, а на самом верху на фоне ясного неба четко вырисовываются непонятные символы:
I =
n
∑
i=1
Pi log Pi
Что выражают эти значки? Может быть, спросить местных жителей? Вот как раз сюда идет какой-то прохожий...
- Простите, вы не скажете, что означает это сооружение?
- Это юбилейный подарок. Он преподнесен от имени жителей нашего города его основоположнику, ученому Клоду Шеннону.
- Простите, что мы отнимаем у вас время. Видите ли, мы впервые идем по улицам вашего города...
- Я так и подумал.
- ...и совершенно не знаем ни его истории, ни тех, кто его населяет. Объясните, пожалуйста, чем заслужил такое уважение этот ученый?
- Охотно! Имя Клода Шеннона стало таким популярным в последние годы. И не случайно: он научил людей измерять информацию. Вы видите формулу, изображенную там, на самом верху? Она носит его имя. По ней можно подсчитать, какое количество информации содержится на странице книги, в звуках человеческой речи или на телевизионном экране.
- Но мы только что научились измерять информацию без всяких формул.
- Каким же образом?
- Мы сравнивали текст, передаваемый по телеграфу, и текст на экране телевизора. Мы узнали, что в том же объеме телеграфного сигнала можно уместить в 60 раз больше слов. Чем больше слов, тем больше информации. Разве не так?
Почему наш собеседник улыбается столь снисходительно? Разве наши утверждения уж настолько наивны?
- Но ведь так поступают и работники связи, - пытаемся мы оправдаться. - Они тоже считают слова, чтобы определить стоимость телеграмм.
- Это верно. А не скажете ли вы, что должен сделать отправитель телеграммы, чтобы не расходовать лишних средств?
- Правильно составить текст.
- Что значит «правильно»?
- Это значит, что в тексте должно быть как можно меньше слов.
- Ну, а как же быть с информацией? Ведь вы же говорили, что информацию можно измерять словами. Значит, сократив количество слов, отправитель должен обязательно упустить что-то важное из той информации, которую предстоит передать? Так или не так?
- Нет, конечно. Просто он старается сказать обо всем очень коротко.
- Вот именно. Значит, об одном и том же можно сказать в одних случаях коротко, в других длинно. Следовательно, одну и ту же информацию можно передать разным количеством слов. А в одном и том же слове может содержаться больше или меньше информации, в зависимости от характера сообщений.
Представьте себе, что вы получаете такую телеграмму: «За июлем следует август». Много ли информации получите вы, прочитав эти слова?
Нет, немного. Например, слово «август» можно вовсе не передавать по телеграфу: для того чтобы понять эту фразу, достаточно и первых трех слов. А вслед за этим сообщением пришло, скажем, такое: «Ежегодное совещание работников транспорта будет проводиться в августе месяце». Чувствуете разницу? Здесь слово «август» содержит в себе гораздо больше информации. Пока вы не прочли на телеграфной ленте этого слова, вы оставались в полном неведении, в каком из 12 месяцев года будет совещание. А дополнив это сообщение еще всего одним словом - допустим, совещание состоится пятого августа, вы сможете отметить нужную дату среди 365 дней.
Как видите, даже при передаче текста дело обстоит совсем не так просто, как может показаться на первый взгляд. А с музыкой или телевизионным сигналом будет еще сложней. Ведь здесь нет ни слов, ни букв, ни импульсов азбуки Морзе, которые можно было бы сосчитать. Есть только непрерывно изменяющийся во времени сигнал. Но и он содержит в себе информацию, которую можно измерить.
Кажется, нам повезло. Наш новый знакомый, вероятно, крупный ученый, и он настолько увлекся затронутой темой, что уличная беседа превратилась в солидный доклад.
- Как же оценить количество информации, содержащейся в самых разнообразных сообщениях? Ведь информацию не измеришь линейкой и не взвесишь на весах! Какая же мера способна учесть не только количество переданных слов и сигналов, но и количество содержащихся в них «новостей»? Здееьто и возникает новое понятие о «количестве информации», выражаемом с помощью энтропии.
Ученый обошел вокруг обелиска и остановился возле двух ящиков, затерявшихся среди множества прочих предметов. Заглянув туда, мы обнаружили, что в каждом из них есть черные и белые шары.
- Это устройство предназначено для туристов, - поясняет ученый. - Тому, кто стремится понять смысл информации, надо прежде всего познакомиться с вероятностью. В этом нам помогут шары. В урне 6 черных шаров и 4 белых. Вынимайте их наугад и бросайте обратно. А ваш товарищ будет записывать, какой попадается шар. Вторая пара проделает то же самое с шарами другой урны. Записали? Продолжайте опыт. Чтобы определить вероятность извлечения черного и белого шаров, придется повторить эти манипуляции несколько десятков раз.
Набравшись терпения, мы полчаса таскали шары из ящиков и отмечали, какой попадается шар. Записи выглядели так:
I урна: Ч, Б, Ч, Ч, Б, Ч. Б, Б, Ч, Ч, Ч, Б, Б...
II урна: Ч, Ч, Б, Ч, Ч, Ч, Ч, Ч, Ч, Б, Ч, Ч, Ч, Ч, Ч...
- Очевидно, Б обозначает «белый»? - спрашивает ученый. - Мы обычно пишем не так. У нас одному случаю соответствует 1, а второму - 0.
- Как в двоичном коде?
- Вот именно. Итак, белый шар - 1, черный - 0. Как теперь будут выглядеть записи?
I урна: 0, 1, 0, 0, 1, 0, 1, 1, 0, 0, 0, 1, 1...
II урна: 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0...
- Теперь обратите внимание на одно весьма важное обстоятельство: во второй строчке цифра 0 встречается гораздо чаще, чем 1. Во втором опыте вам гораздо чаще попадались черные шары. Как вы думаете, это случайно?
- Разумеется. Ведь мы вынимали их наугад.
- Совершенно справедливо. Но во втором случае извлечение черного шара имело большую вероятность. Это легко подсчитать: здесь среди 10 шаров 9 имеют черную окраску, значит вероятность такого события составляет 9/10, или 90 процентов.
В первом ящике было 6 черных шаров. Вероятность их извлечения составляет 60 процентов. Поэтому еще до начала опыта можно было предвидеть, что из второй урны мы будем извлекать черный шар гораздо чаще, чем из первой.
Итак, мы извлекаем наугад шары сначала из первой урны, затем из второй и получаем сообщения об исходе опыта: в обоих случаях извлечен черный шар. Какое из этих двух сообщений содержит большее количество информации? Теория информации утверждает, что первое, потому что случай с четырьмя и шестью шарами имеет большую неопределенность - ведь во втором случае можно еще до получения сообщений почти безошибочно предсказать, что при повторении опыта будут чаще попадаться черные шары. Таким образом, количество информации зависит как от степени неопределенности какого-то явления, так и от меры нашего неведения о том, как и что будет происходить.
Теперь предположим, что мы продолжаем поочередно извлекать шары из второго ящика до тех пор, пока в руках у нас не окажется белый шар. Давайте отложим этот шар в сторону и продолжим наш опыт. Сколько информации будет давать нам теперь сообщение об извлечении шара? Нуль. Ведь, получив информацию о том, что из ящика извлечен единственный белый шар, мы можем уже совершенно определенно утверждать, что теперь любой извлеченный шар будет черным. Значит, мы пришли к случаю, соответствующему полному отсутствию неопределенности: вся неопределенность, заключающаяся в наличии одного белого шара, исчерпана в момент получения информации о том, что этот шар извлечен.