ИНФОРМАЦИЯ И СЛУЧАЙ
Все только что сказанное снова приводит нас к обсуждению вопроса о количестве информации. Мы угадывали числа, и количество информации вроде бы зависело (во всяком случае, читатель мог прийти к такому заключению) от величины интервала, в пределах которого происходит угадывание. Всякий физический эксперимент также представляет собой своеобразное угадывание некоторого числа. Однако, как мы только что говорили, в процессе эксперимента получается лишь ответ «да» или «нет» на вопрос, заданный естествоиспытателем.Впервые мера количества информации была предложена американским инженером Р. Хартли в 1927 году. Он рассуждал так. Всякое поступающее к нам сообщение выбирается из некоторого конечного набора. Чем богаче такой набор, тем труднее угадать, какое именно сообщение будет получено. Следовательно, тем больше информации оно несет с собой. Значит, количество информации должно зависеть от количества сообщений в исходном наборе.Проще всего было бы приравнять количество информации полному количеству сообщений в исходном наборе. Но здесь существует одна трудность. Пусть имеются два набора, каждый из которых содержит, скажем, но десять сообщений. Можно представить себе сложное сообщение, составленное из двух — по одному из каждого набора. Всего их можно образовать сто штук. Вот и получается, что если принять за меру количества информации количество сообщений в исходном наборе, то каждое из них, взятое из первого набора, будет содержать десять единиц информации, взятое из второго набора, — тоже десять. А сложное сообщение, составленное из двух простых, будет содержать не двадцать, как естественнее всего было бы ожидать, а сто единиц информации.Чтобы избежать этой трудности, Р. Хартли предложил брать в качестве меры количества информации не количество сообщений в исходном наборе, а двоичный логарифм этого количества. Легко показать, что в этом случае количество информации, переносимое сложным сообщением, окажется в точности равным сумме количеств информации, содержащихся в составляющих его простых.Возвращаясь к нашему примеру с угадыванием чисел, подсчитаем, чему равно количество информации по Хартли, содержащейся в одном угаданном числе, взятом в интервале от нуля до тысячи. Исходный набор содержит здесь тысячу возможных сообщений. Двоичный логарифм тысячи примерно равен десяти. Следовательно, меры Хартли и Колмогорова в, этом случае совпадают.Главная заслуга Р. Хартли состоит в том, что, он впервые связал понятие о количестве информации с понятием многообразия (количество сообщений в исходном наборе)., Второе важное положение теории Хартли состоит в том, что процесс получения информации рассматривается как выбор одного элемента из некоторого множества. Если исходное множество содержит только один элемент, выбирать не из чего и количество информации равно нулю. Тут снова оправдывается использование логарифма, поскольку логарифм единицы всегда нуль.Наконец, важнейшее положение теории Хартли состоит в том, что количество информации в ней целиком определяется свойствами источника и никак не зависит от свойств получателя. В теории Хартли роль получателя информации совершенно пассивна. Он лишь воспринимает сообщения, которые кто-то (отправитель, автомат, природа) выбирает из наперед заданного набора. Наоборот, в теории Колмогорова получателю отводится основная, активная роль. Это он задает вопросы. Ясно, что количество вопросов, необходимое для угадывания, зависит от того, насколько удачно они поставлены.Однако возможен принципиально иной подход к решению вопроса о количестве информации. Если предложить какому-либо человеку (при этом он не должен быть профессионалом математиком и, кроме того, не следует заранее вводить его в курс дела) выбрать наугад число из интервала от нуля до тысячи, он почти наверняка не загадает единицу или девятьсот девяносто девять. Напротив, в большинстве случаев загаданное число будет расположено где-то недалеко от середины интервала. В чем состоят психологические особенности загадывания чисел, мы не знаем (интуиция?), но каждый из читателей может легко убедиться в справедливости сказанного, предложив загадывать числа нескольким своим приятелям. Для этого не надо даже брать большие интервалы. Вполне достаточно, скажем, загадывать числа из интервала от нуля до десяти.С учетом этих соображений стратегию отгадывания можно построить следующим образом. Будем предполагать, что загаданное число почти наверняка не находится в интервалах от нуля до двухсот пятидесяти шести и от семисот шестидесяти восьми до тысячи. Попытаемся отгадать его, исходя из предположения, что оно заключено в интервале от 256 до 768. Далее используем уже известную стратегию деления пополам. Первый вопрос тот же самый:— Задуманное вами число больше 512?Однако второй вопрос уже будет сформулирован иначе. Если ответ на первый вопрос был положительным, то следующим мы зададим вопрос:— Задуманное вами числ