Отметим, что НX|Х = 0, т.е. энтропия случайно величины Х равна нулю при измерении этой величины. Тот же эффект достигается, когда Х и Y связаны функциональной зависимостью.
Пример. Пока ребенок не понимает, что определенные совершаемые им поступки не одобряются взрослыми (отсутствует предвидение результата), связь между его представлениями (множеством сигналов Х) и демонстрируемым поведением (множеством сигналов Y) отсутствует, т.е. IX|Y = 0. Как только он начинает понимать, что его поступки имеют определенную оценку у взрослых, и она не всегда положительна, его представление о собственном поведении становится более адекватным. Структура системы «демонстрируемое поведение - собственное представление», или по-другому, «объективное – идеальное» усложняется, к ней добавляется новая связь - осознание. Как следствие, величина IX|Y становится большей 0.
4. Информации о случайной величине Х, содержащейся в Y, равна количеству информации об Y, содержащемуся в Х. Поэтому характеристики IX|Y и I Y|X называются взаимной информацией случайных величин относительно друг друга.
5. Справедливо следующие равенства для взаимной информации двух случайных величин Х и Y:
IX|Y = I Y|X = НX + Н Y - НXY.
Действительно, подставим в равенство IX|Y = НX - НX|Y выражение НX|Y = НYX - НY (получаемое из НXY = НY + НX|Y - соотношения между зависимыми случайными величинами)и воспользуемся равенством НXY = Н YX.
Если переменные Х и Y независимы, т.е. связь между ними отсутствует (рис.3а), то их совместная энтропия НXY = НX + НY, так как НX|Y = НX. Если переменные Х и Y зависимы, т.е. между ними имеется корреляция (рис.3б), то их совместная энтропия уменьшается на величину взаимной информации IX|Y и равна НXY = НX + НY - IX|Y.
НX НY
HX|Y IX|Y HY|X
Рис. 3а
Рис. 3б
6. Имеет место равенство
IX|Y = p(j1, j2) log2(pX(j1|j2) / pX(j1)).
Здесь суммирование ведется по всем значениям множеств Х и Y.
Для единичных событий информация, которую содержит событие (предмет, состояние) у о событии (предмете, состоянии) х, равна
где р(х) - вероятность события х до наступления события у (безусловная вероятность); р(х|у) - условная вероятность события х при условии наступления события у.
Если событие у однозначно предсказывает событие х, то р(х|у) = 1 и величина
является собственной информацией, содержащейся в событии х.
Пример. Если р(х) = 1/64, то Ix = - log2р(х) = 6 бит.
Если сообщение у о событии х не абсолютно точно, допустим p(x|y) = 1/2, то Ix|y = 5 бит. Т.е. информация уменьшилась на 1 бит. Таким образом, взаимная информация тем больше, чем выше точность сообщения у о событии х, и в пределе приближается к собственной информации Ix.
1.4. БУЛЕВЫ АЛГЕБРЫ
Приведем несколько результатов теории множеств и укажем их связь с булевой алгеброй, представленной в первом разделе в виде исчисления высказываний. Затем, используя теорему Линденбаума-Тарского, продемонстрируем что, при определенных условиях, операции над множествами порождают булеву алгебру. Известно, что булева алгебра представляет собой формальный механизм получения новых высказываний и описания свойств объектов. Так как операции над множествами, с одной стороны, есть непосредственное отображение предметных действий и, с другой, - при их интериоризации, образуют булеву алгебру, то отсюда вытекает, что именно через манипулирование с предметами происходит формирование логического мышления.
Нам потребуются следующие определения.
Под полем множеств будем понимать любой непустой класс А подмножеств фиксированного пространства Х такой, что А замкнут относительно теоретико-множественных операций объединения (обозначается È), пересечения (обозначается Ç) и дополнения (обозначается -). Иными словами,
(а) вместе с множествами А и В в А содержится и их объединение А È В, где объединение понимается как совокупность всех элементов, принадлежащих множеству А или множеству В (см. рис.6а, где объединение закрашено серым цветом);
(б) вместе с множествами А и В в А содержится и их пересечение А Ç В, где пересечение понимается как совокупность всех элементов, принадлежащих одновременно множеству А и множеству В (см. рис.6б, где пересечение обозначено как общая часть кругов А и В);
(в) если множество А содержится в А, то в А содержится и дополнение -А, т.е. множество всех элементов Х, которые не принадлежат А, (см. рис.6в, где дополнение закрашено серым цветом).
Х
В
А
А
Х