Каменная скрижаль весом в три тонны несет столько же информации, сколько ее хороший фотоснимок в археологическом журнале. Следовательно, мощность сигнала, так же как и вес носителя, никак не могут служить оценкой количества информации, переносимой сигналом. Как же оценить это количество?
Во время второй мировой войны подобные вопросы не на шутку заинтересовали шифровальщика при одном из штабов американских войск в Европе К. Шеннона. Упорство в достижении поставленной цели часто приносит успех, и после войны К. Шеннон защитил докторскую диссертацию, став основоположником новой науки — теории информации. В 1948–1949 годах увидели свет его статьи «Математическая теория связи» и «Связь в присутствии шума».
Любое сообщение можно свести к передаче чисел. Пылкий влюбленный, находясь в разлуке с объектом своей любви, посылает телеграмму: «Любишь?». В ответ приходит не менее лаконичная телеграмма: «Да!». Сколько информации несет ответная телеграмма? Альтернатив здесь две — либо Да, либо Нет. Их можно обозначить символами двоичного кода 1 и 0. Таким образом, ответную телеграмму можно было бы закодировать единственным символом «1». Выбор одного нз двух сообщений («Да» или «Нет», «1» или «0») принимают за единицу информации. Она названа «бит» — сокращение от английских слов binary digit, что означает двоичная цифра. Таким образом, ответная телеграмма несла всего 1 бит информации. А вопрос ценности этой информации для получателя-это уже из иной области.
Однако только что данное определение единицы информации слишком упрощено. Если влюбленный уверен в положительном ответе, то ответ «Да» не даст ему почти никакой новой информации.
Информация измеряется в битах.
То же самое относится и к безнадежно влюбленному, уже привыкшему получать отказы. Ответ «Нет» также принесет ему очень мало информации. Но внезапный отказ уверенному влюбленному (неожиданное огорчение) или ответ «Да» безнадежно влюбленному (нечаянная радость) несут сравнительно много информации, настолько много, что радикально изменяется все дальнейшее поведение влюбленного, а может быть, и его судьба! Таким образом, количество информации зависит от вероятности получения данного ответа.
Лишь при равновероятных ответах ответ «Да» или «Нет» несет 1 бит информации. Общая формула для подсчета количества информации, содержащегося в сообщении а, выглядит гак
где Р(а) — вероятность появления данного (дискретного) сообщения а.
Обратите внимание, что для абсолютно достоверного события P(а) = 1 (событие обязательно произойдет, поэтому его вероятность равна единице), при этом количество информации в сообщении о таком событии i(а) = 0. Чем невероятнее событие, тем большую информацию о нем несет сообщение.
Но зачем в приведенной формуле использована логарифмическая функция? Нельзя ли проще? Нет, проще не получается. Информация, содержащаяся в двух независимых сообщениях a1, и а2, должна быть равна сумме информации, содержащихся в каждом из сообщений: i(a1,a2) = i(a1) + i(a2). Логичное требование, не правда ли? Но вероятность того, что источник пошлет оба эти сообщения, одно за другим, равна произведению вероятностей появления каждого из сообщений: P(a1,a2) = Р(а1)·Р(а2). Как известно, при умножении двух величин их логарифмы складываются. Поэтому и количество информации должно выражаться логарифмической функцией.
Ввиду широкого использования двоичных сигналов в вычислительной технике и связи, чаще всего используют логарифм по основанию два. При этом количество информации оказывается выраженным в битах. Если в примере с влюбленными вероятность ответов «Да» и «Нет» одинакова и, следовательно, составляет 0,5, то количество информации в одном ответе составляет 1 бит.
Ну а что если выбор надо осуществить не из двух сочетаний, а из множества? У древних индейцев Центральной Америки существовало узелковое письмо. Писали, завязывая узелки на веревке. Совершенно очевидно, что при таком способе письма можно использовать двоичный код: есть узелок в данном месте единица, нет узелка — нуль. Если на каждом сантиметре длины веревки разместить по узелку, то метровая веревка будет нести 100 бит информации. Согласитесь, это не так уж мало.
В одном романе Жюля Верна собака, увидев игрушечные кубики с буквами, выбрала из них вполне определенные, с буквами, которые составили имя ее пропавшего хозяина, чем и приоткрыла завесу над тайной его исчезновения. Здесь мы видим выбор определенных знаков из 26, составляющих английский алфавит.
Еще один пример, но теперь из реальной жизни — 1943 год, англо-американские войска готовятся к высадке на итальянский остров Сицилию, занятый фашистскими войсками. В это время в одной из тюрем США сидел очень влиятельный гангстер Лучано, выходец из Сицилии. Американская разведка, пользуясь всяческими средствами, вступила с ним в сговор, пообещав досрочное освобождение. В результате с самолета над Сицилией был сброшен вымпел — шелковый платок с вышитой на нем буквой L. Сицилийские мафиози, в то время не ладившие с немецко-фашистскими оккупантами, прекрасно поняли смысл сообщения: Лучано за союзников! Эффект был поразителен — американская армия практически не понесла потерь при освобождении Сицилии, так как мафиози основательно помогли ей, начав партизанскую войну против немцев.
Сейчас нас интересует не значимость для истории сообщения на вышитом платке, а лишь количество переданной информации. В английском алфавите 26 букв, добавим еще служебные знаки препинания — всего 32 знака. Значит, осуществлялся выбор одного из 32 знаков. Пример характерен тем, что при передаче любых телеграмм, на любом языке в приемном устройстве происходит выбор одной буквы из алфавита, который чаще всего содержит 32 знака. Если вероятность появления каждого из знаков одинакова и, следовательно, составляет 1/32, то при передаче одного знака сообщается log232 = 5 бит информации. Ту же цифру мы можем получить и иным способом. Перенумеруем все буквы алфавита по порядку.
Буква L стоит на двенадцатом месте, и ее порядковый номер будет 12. Теперь для выбора этой буквы достаточно передать ее порядковый номер. Число 12, выраженное в двоичном коде, выглядит как 01100. Для передачи любого из 32 чисел двоичным кодом нужно пять разрядов, а любого из N чисел log2N. Вы еще не умеете переводить числа из десятичного исчисления в двоичное и обратно?
Научитесь, это не так уж сложно! Вам поможет приведенная таблица и простое правило: последний разряд двоичного числа дает единицы (20), предпоследний — двойки (21), третий разряд справа — четверки (22), четвертый восьмерки (23), и т. д. Обозначив символы двоичного кода (1 и 0) в последнем разряде х1, в предпоследнем х2 и т. д., получим простую формулу для структуры двоичного числа: