Рассмотрим несколько свойств энтропии.
Энтропия обладает свойством аддитивности: если система состоит из n независимых подсистем, то энтропия всей системы есть сумма энтропий каждой из подсистем.
Пусть случайная величина Х представляет собой векторную случайную величину Х = (Х1, Х2, ..., ХК), где ni - число возможных значений случайной величины Xi, i = 1, 2, ..., K. Тогда энтропия HХ = НХi. Таким образом, энтропия случайного вектора с независимыми компонентами складывается из энтропий этих компонентов.
В частности, если система характеризуется n переменными (степенями свободы), то ее энтропия равна сумме энтропий, характеризующих степени свободы этой системы. Если каждая степень свободы имеет m равновероятный состояний, то энтропия системы равна n log m.
Рассмотрим следующую задачу. Вам предлагается отгадать букву, которую случайно выбрал в тексте ваш партнер. Если при этом вы не пользуетесь никакой дополнительной информацией, то энтропия этого опыта вычисляется как энтропия случайной безусловной величины Х. Допустим теперь, что перед угадыванием буквы вам сообщается предыдущая буква в тексте, т.е. вы принимаете сообщение Y. В результате возникает условная случайная величина, так как вероятность угадывания буквы уже зависит от того, какую букву сообщили. Эта случайная величина обладает условной вероятностью pX|Y, что приводит к условной энтропии
НX|Y = - p(x|y) log2 p(х|у).
Нетрудно показать, что НX|Y < НX.
Условная энтропия обладает следующим свойством: если величины Х и Y независимы, то НX|Y = НX. Действительно, в этом случае p(х|у)= p(х), так как знание величины Y никак не влияет на наши знания о величине Х.
Если векторная случайная величина Х = (Х1, Х2, ..., Хк) обладает зависимыми случайными компонентами, то имеет место равенство
HХ =НХ1+ НХ2|Х1 + НХ3|Х1Х2 + ... + НХК|Х1Х2 ...Хк-1.
Таким образом, полная энтропия случайного вектора Х является суммой условных энтропий его компонент.
Теперь введем величину, которая имеет противоположный смысл энтропии, и называется количеством информации. С этой целью рассмотрим следующую модель.
Допустим, что представляет интерес значение случайной величины Х, которая имеет известное вероятностное распределение и характеризуется энтропией Н.
(Например, такой величиной может быть заболевание пациента, характеризующегося определенными симптомами). Требуется устранить первоначально имеющуюся неопределенность относительно значения этой величины путем проведения некоторых экспериментов. Вполне возможно, что в результате проводимых экспериментов неопределенность не будет устранена полностью, а лишь уменьшена или, наоборот, увеличена. В этом случае можно говорить о количестве информации, полученной в результате того или иного эксперимента. Отметим, что речь идет не об однократном эксперименте, а о последовательности или серии экспериментов, которые дают усредненный эффект.
Таким образом ставится задача определения среднего количества информации относительно случайной величины Х, содержащегося в эксперименте (случайной величине) Y. (Эта величина обозначается IX|Y). Единица информации - бит. Под случайными величинами в последующем мы будем понимать стимул и реакцию, вход и выход, значение двух различных переменных, характеризующих состояние системы, событие и сообщение о нем, наблюдаемое поведение и его сознательное объяснение.
По определению, IX|Y = НХ - НX|Y.
Это обозначает, что количество информации об Х, содержащееся в случайной величине Y, равно разности энтропий Х до и после проведения эксперимента: IX|Y = НХ apr - НX aps, где НХ apr и НX aps - соответственно априорная и апостериорная энтропии величины Х. Очевидно, что энтропия НX равна собственной информации IX, содержащееся в переменной Х о самой себе. Действительно, в этом случае НX aps =0.
Средняя взаимная информация IX|Y между случайными величинами Х и Y или, по-другому, множествами Х и Y событий есть математическое ожидание величины Ix|y, если рассматривать ее как функцию от случайных величин x, y.
IX|Y = HX - HX|Y =
- p(x, y) log2p(x) + p(x|y) log2p(x|y) =
p(x, y) Ix|y.
(Отметим, что p(x, y) log2p(x) = p(x, y) log2p(x) = p(x) log2p(x), так как p(x, y) = p(x)).
Рассмотрим некоторые свойства количества информации IX|Y.
1. Если случайные величины Х и Y независимы, то IX|Y = 0. Это вытекает из того, что для независимых случайных величин Х и Y имеем равенство НX|Y = НХ.
2. Количество информации неотрицательно. Действительно, имеет место неравенство НX|Y £ НХ.
3. Максимальное количество информации относительно Х, которое можно извлечь из эксперимента над случайной величиной Y, равно НХ. Это достигается, когда энтропия НX|Y = 0.