Известно, что энтропия служит мерой свободы системы: чем больше у системы степеней свободы, т.е. чем меньше на нее наложено ограничений, тем больше ее энтропия. Поэтому энтропия максимальна при одинаковой доле наблюдаемых событий, а всякое отклонение от него приводит к ее уменьшению. В пределе, когда доля одного события равна 1, энтропия равна нулю. В данном случае под степенями свободы понимается мощности подмножеств единичных означиваний переменных, определяемых у-эквивалентностью. Чем меньше классов у–эквивалентности, тем больше определенность того на каком вычислителе будет реализовываться вычисление и, следовательно, тем меньше неопределенность этого события. И наоборот, чем больше классов эквивалентности и чем ровнее распределены доли p1, p2, …, pk, тем больше возможностей для отнесения набора к тому или иному промежуточному вычислителю и, следовательно, больше неопределенность.
В случае логической энтропии эта закономерность проявляется с определенностью. Если переменные у определяют небольшое фактор-множество, то они описывают лишь небольшое число различных свойств логической функции. Очевидно, что для описания небольшого числа свойств требуется меньшее число параметров (в нашем случае - переменных ) и наоборот, чем больше качеств проявляет система, тем больше параметров необходимо для ее описания.
Кроме того, при прочих равных условиях, более сложная система внешнему наблюдателю кажется менее определенной и наоборот, чем больше определенности возникает у наблюдателя, тем проще зависимость демонстрируемого поведения системы от входных параметров.
В данном контексте под сложностью зависимости системы от аргументов у понимается число классов у-эквивалентности. Это согласуется с рассмотрением неопределенности функции от переменных у, как сложности зависимости от этих аргументов. Чем меньше классов эквивалентности определяется аргументами у, тем, с одной стороны, меньше показатель неожиданности и поэтому меньше средний показатель неожиданности, а с другой, - тем проще выражение зависимости функции от этих аргументов. Если же классов эквивалентности больше, то больше средний показатель неожиданности и сложнее выглядит зависимость функции от аргументов у. Тем самым, чем больше энтропия Нy, тем сложнее выражается зависимость функции от аргументов у.
В терминах программы этому соответствует мощность подмножеств путей, проходящих через один узел у–сечения. Или, по-другому, мощности подмножеств вычислений, реализуемых одним промежуточным вычислителем. Здесь под промежуточным вычислителем понимается узел у-сечения.
Логическая энтропия обладает следующими интересными свойствами.
Во-первых, понятно, что чем больше энтропия Hy, тем при прочих равных условиях, сложнее логическая функция выражается через переменные y. И наоборот, чем сложнее выражается логическая функция через переменные y, тем больше энтропия Hy.
С другой стороны, чем более разнообразны осуществляемые бинарной программой вычисления, тем больше логическая энтропия. Разнообразие вычислений здесь понимается как возможность использования любой промежуточный вычислитель. Тогда неопределенность поведения трактуется следующим образом: величина log 1/pi рассматривается как фактор неожиданности того, что вычисление будет осуществляться на i-м вычислителе. Это согласуется с содержательными представлениями о неожиданности события. Но тогда энтропия есть усредненное значение показателя неожиданности, которая имеет отношение уже ко всей бинарной программе.
В итоге получаем величину, которая характеризует неопределенность предсказания на каком вычислителе будет осуществляться конкретное вычисление. Таким образом, мы характеризуем логической энтропией как сложностную характеристику логической функции (в данном случае – сложность выражения через определенный набор переменных), так и поведенческую характеристику - неопределенность представления о том вычислителе, на котором осуществляется конкретное вычисление.