Тем самым и для этого расширенного языка установлена связь между идеальными конструкциями (формулами) и реальными объектами - моделями.
1.3. СВЕДЕНИЯ ИЗ ТЕОРИИ ИНФОРМАЦИИ
В последующем нам потребуется взгляд на психологию с позиции теории информации. Это объясняется следующим: человек есть одновременно и функционирующий в среде объект и рефлексирующий субъект. Поэтому он демонстрирует одновременно две формы поведения. Субъект он лишь в той степени, в которой ему удается осознавать себя, как отдельный объект предметного мира. Его субъективность позволяет наблюдать и осознавать себя как объект, действующий наряду с другими объектами.
Если от рассмотрения поведения человека-субъекта перейти к анализу человека-объекта, то понятно, что конкретные поступки последнего суть следствия его субъективных содержаний. И поэтому поведение человека можно исследовать с логических позиций, рассматривая взаимосвязь между субъективными содержаниями и следствиями из них - конкретными действиями.
С другой стороны, поступки человека в среде представляют собой сигналы, которые можно анализировать с точки зрения их адекватности воздействиям среды или ожиданиям социума. Тем самым возникает задача анализа расхождения демонстрируемых и ожидаемых сигналов, что адекватно описывается в терминах теории информации. Поэтому теория информации будет использоваться для объяснения некоторых данных психологии.
Напомним основные положения теории информации, разработанные К.Шенноном.
Пусть рассматривается эксперимент, в котором с равной вероятностью допускаются n исходов, занумерованных от 1 до n. Тем самым можно говорить о некоторой случайной величине Х, имеющей равномерное распределение на множестве {1, 2, ..., n}. И естественно возникает вопрос о степени неопределенности данной случайной величины, как неопределенности нашего знания относительно исходов экспериментов. Эта неопределенность называется энтропией и для равновероятной схемы вычисляется по формуле H = log2n. Единицей измерения энтропии является бит.
Если случайная дискретная величина Х имеет n исходов х1, х2, ..., хn, имеющих вероятностное распределение р1, р2, ..., рn, то энтропия вычисляется по формуле
H = - pilog2 pi.
Если система находится в одном из n равновероятных состояний и все вероятности равны 1/n, то ее энтропия равна
H = - pilog2 pi = - (1/n)log2(1/n) = log2n.
Пример. Пусть случайная величина X принимает два равновероятных значения, т.е. вероятность каждого события 1/2. Тогда ее энтропия равна 1. Если множество значений величины Х состоит из 64 независимых равновероятных событий, то ее энтропия равна 6.
Для более содержательной интерпретации энтропии введем для случайного события А показатель его неожиданности j, зависящий от вероятности рА рассматриваемого события: j(А) = -log2 рА. Чем ближе вероятность рА к единице, тем меньшее значение принимает показатель j(А). При стремлении величины рА к нулю, показатель неожиданности неограниченно возрастает. Эти свойства функции j(А) вполне соответствуют содержательному пониманию степени неожиданности наступления события. Значение j(А) можно также назвать частной энтропией НА события А.
Поэтому последняя формула для энтропии представленная в виде
H = - pi НАi
обозначает статистическое усреднение значений частных энтропий событий Х = хi с их вероятностями pi, i = 1, 2, ..., n.
Если полагать значения НАi как возможные значения случайной величины НА, которые имеют распределение pi, i = 1, 2, ..., n, то последнюю формулу можно представить в виде Н = М[HA]. Т.е. энтропия случайной величины Х есть математическое ожидание случайной величины НА.
Энтропия служит мерой свободы системы: чем больше у системы степеней свободы, чем меньше на нее наложено ограничений, тем больше ее энтропия. Поэтому энтропия максимальна при равновероятном распределении состояний системы, а всякое отклонение от него приводит к уменьшению энтропии. В пределе, когда вероятность одного состояния равна 1, энтропия равна нулю.
Вводя такую меру неопределенности, К.Шеннон опирался на понятии вероятности. Однако А.Н.Колмогоров показал, что под величиной р(х) не обязательно подразумевать вероятность события х: это может быть просто относительная доля, “концентрация”, частота, с которой значение х встречается среди других значений. Мы будем понимать величину р(х) как степень предсказания величины х некоторым наблюдателем. Такой подход будем использовать впоследствии, чтобы ввести понятие логической неопределенности.