I =
n
∑
i=1
Pi log Pi
Эту формулу можно использовать для оценки разнообразных сообщений. «Когда состоится очередное совещание работников транспорта?» - -запросили вы министерство. Какое количество информации вы должны получить в ответ? Неопределенности здесь гораздо больше, чем в опытах с черными и белыми шарами. Там вы могли ожидать только два различных исхода. А здесь вам могут назвать любой месяц и любое число. В году 365 дней, и, пока вы не получили ответа, любой из них имеет для вас одинаковую вероятность:
P1 = P2 = ... = P365 =
1
365
Формула Шеннона поможет нам выразить эту неопределенность количеством бит:
I =
365
∑
i=1
Pi log Pi
Если действовать так, как велит эта формула, придется, набравшись терпения, выписать все члены Pilog Pi от P1 до P365 и сложить их между собой.
Но в данном случае расчет производится проще: сложение можно заменить умножением, потому что все вероятности Pi равны. Значит,
I =
(
1
365
·log
1
365
)
·365 = log
1
365
= - log 28,5 = 8,5 бита.
Но вот пришел, наконец, ответ организаторов совещания, и неопределенность исчезла: в ответе указана точная дата - пятое августа. В каждом слове этого сообщения содержится определе-н'ное количество информации. Слово «август» позволяет отметить один из 12 месяцев. В нем содержится:
I1 =
12
∑
i=1
Pi log Pi =
(
1
12
·log
1
12
)
·12 = - log 23,6 = 3,6 бита.
Слово «пятое» позволяет выбрать из 31 дня данного месяца интересующий нас день совещания.
Значит,
I2 =
31
∑
i=1
Pi log Pi =
(
1
31
·log
1
31
)
·31 = - log 24,9 = 4,9 бита.
А в целом полученное сообщение дало нам как раз то количество информации, которое мы ожидали: I(сообщения) = I1 + I2 = 3,6 + 4,9 = 8,5 бита.
Видите, как все получается просто: чтобы узнать количество информации, содержащейся в сообщении, надо учесть число бит в каждом его элементе (слове, букве, числе, импульсе) и сложить их между собой4.
Бывают случаи, когда подсчитать количество информации очень несложно. Например, количество информации, содержащейся в сообщении о том, что Ботвинник играет черными, составляет ровно 1 бит. В самом деле, до получения этого сообщения вы могли предполагать, что черные фигуры окажутся или у Ботвинника, или у его партнера. Оба эти случая имели равную вероятность. Однако если вы знали о том, что прошлую партию Ботвинник играл черными, данное сообщение не несет вам никаких новых сведений - информация равна нулю. Зато сообщение о каждом ходе Ботвинника дает большое количество информации, потому что до его получения была полнейшая неопределенность: вы могли строить множество комбинаций, изыскивая лучший ход.
Если бы мы могли учесть все возможные комбинации и подсчитать вероятность каждого из ходов, наша формула позволила бы оценить эту информацию количеством бит. Однако сделать это не так-то просто: ход, который для Ботвинника имеет наибольшую вероятность, едва ли сделает какой-нибудь новичок. Значит, вероятность различных ходов зависит от опыта и умения шахматистов - от той информации, которая получена шахматистами еще задолго до игры. И не только от опыта. Иногда и настроение участников турнира может оказать существенное влияние на весь ход игры.
- Как вы сказали? Настроение?
До сих пор мы слушали все, о чем рассказывал нам ученый, не проронив ни единого слова, - настолько убедительной казалась нам его речь. Понятие информации казалось таким логичным и строгим, и вдруг...
- Значит, для того чтобы оценить здесь количество информации, надо учитывать настроение шахматиста? Разве такие вещи можно рассчитывать с помощью формулы?
- А почему бы и нет? - возражает ученый. - Разве настроение шахматиста, в свою очередь, не зависит от информации, от тех сведений и сообщений, которые он получил незадолго до начала игры?
«Но ведь это же чисто психологические вопросы!» - хотим возразить ему мы и вдруг вспоминаем, что информация - это удивительное колечко, которое катится все дальше и дальше, из одной области знаний в другую.
- Значит, психологию можно тоже оценивать в битах?
- Отчасти да. И с этим вы столкнетесь неоднократно. В нашем городе вас ожидает еще немало поразительных вещей. Но не все сразу.
Прежде всего вам надо как следует разобраться в том, каким образом удается самые разные сообщения оценить с помощью одних и тех же единиц. Не слишком ли отвлеченной, «неощутимой» кажется вам единица количества информации - так называемый бит? Вес можно определить с помощью весов и гири, объем - с помощью измерительных инструментов, время измеряется по часам, а энергия и сила тока - по отклонению стрелки прибора, включенного в электрическую цепь. Каким же прибором можно измерить количество информации? Оказывается, такой прибор уже существует. Правда, название «прибор» будет в этом случае, пожалуй, чересчур скромным - ведь речь идет об электронной вычислительной машине, которая не только измеряет (точнее - рассчитывает), но и использует и преобразует информацию, подобно тому как электрические приборы используют, преобразуют и измеряют электрический ток.
Было время, когда и обычная секунда казалась людям такой же неощутимой, каким сейчас кажется бит. Да что там говорить - мысль о том, что количество дней и баранов можно подсчитать с помощью одинаковых чисел, была, пожалуй, одной из самых непостижимых за всю историю развития человеческих знаний. Можно ли надеяться, что и бит со временем станет неизменным спутником нашего быта? Очевидно, можно. И вам будет приятно вспомнить, как вы в числе первых посланцев большого мира впервые встретились с битом в центре Нового Города, на площади Новых Идей.
Однако к делу. Вы теперь знаете, как измеряют количество информации, но еще не умеете измерить ее объем.
- Очевидно, надо построить спичечную коробку?
- Да, нечто похожее. Высота коробки будет соответствовать количеству информации, длина - времени передачи сигналов, а ширина - диапазону содержащихся в сигнале частот. Расчет объема информации напоминает расчет объема воды, подаваемой по трубе: чтобы найти этот объем, надо тоже перемножить три величины - скорость движения воды, время подачи и площадь сечения трубы.
Подсчитав объем информации, легче сравнивать различные способы ее передачи. Ведь прежде чем передать информацию по каналам связи, надо превратить все сообщения в какой-то сигнал. Одну и ту же информацию можно передать различным сигналом: все зависит от того, какой выбран код. Мы стараемся выбрать код таким образом, чтобы вся информация «размещалась» в самом малом объеме сигнала.
В жизни от нас часто требуют определенного объема знаний: например, знания физики в объеме школьной программы. Может быть, и объем знаний можно оценивать количеством бит? Представьте себе, что вы являетесь на экзамены и вас встречает... электронная машина! Вы отвечаете на вопросы, а машина подсчитывает количество информации, содержащейся в вашем ответе, и выдает точную оценку ваших знаний, выраженную количеством бит. Конечно, подобный пример - всего лишь шутка, ведь для оценки ответов по физике нужно знать не только объем, но и смысл информации по самым разнообразным вопросам. И все же шутка эта, как, впрочем, и всякая шутка, имеет определенный смысл. Можно, например, сконструировать такую машину, которая сможет задавать вопросы по правилам уличного движения и оценивать качество ответов по принципу «верно» или «неверно» («да» или «нет»).