Чтобы понять разницу между определениями энтропии, используемыми Больцманом и Шенноном, рассмотрим наполовину заполненный стадион.[22] Одной важной характеристикой такого стадиона является то, что существует множество способов наполнить его наполовину, и путем исследования этих способов мы можем объяснить понятие энтропии.
Сначала мы рассмотрим случай, в котором люди могут беспрепятственно передвигаться по стадиону. При этом один из способов наполовину наполнить стадион сводится к тому, чтобы рассадить людей как можно ближе к полю, оставив все верхние ряды свободными. Другой способ предполагает размещение людей на дальних рядах (при этом нижние ряды останутся незанятыми). Тем не менее люди также могут заполнить полстадиона, заняв места случайным образом.
Теперь чтобы использовать пример со стадионом для объяснения понятия энтропии, мне нужно ввести еще две идеи. Во-первых, я буду называть каждую комбинацию из сидящих на стадионе людей состоянием системы (или, выражаясь технически, микросостоянием). Во-вторых, я буду исходить из того, что мы можем определить эквивалентные конфигурации, используя некоторый критерий, который для целей данной иллюстрации может быть просто средним заполненным рядом.
В данном примере принятое в статистической физике определение энтропии соответствует просто доле всех эквивалентных состояний (на самом деле это логарифм доли, однако эта формальность не имеет отношения к тому, что я пытаюсь сказать). Таким образом, энтропия является наименьшей, когда люди сидят максимально близко или максимально далеко от поля, поскольку существует только один способ такого размещения людей.[23] Энтропия является наибольшей, когда средним из занятых рядов является центральный, поскольку существует много способов размещения людей на местах, при которых средним занятым рядом будет центральный. В предложенном Больцманом определении энтропия представляет собой множество эквивалентных состояний. В случае со стадионом наибольшее число эквивалентных состояний существует тогда, когда средним из заполненных рядов является центральный.
Следует отметить, что энтропия, которая обычно ассоциируется с беспорядком, не является мерой беспорядка. Энтропия – это мера множества состояний (количества эквивалентных состояний). Тем не менее неупорядоченных состояний, как правило, бывает больше, поэтому на практике состояния высокой энтропии, скорее всего, будут неупорядоченными. Именно поэтому приравнивание беспорядка к энтропии не является таким уж неудачным упрощением. Однако увеличение энтропии может не сопровождаться увеличением беспорядка. Рассмотрим случай с расширением газа в коробке, которая удваивается в размере (или распространение людей по стадиону, увеличивающемуся в два раза). Энтропия газа увеличивается с размером коробки, поскольку в коробке большего размера существует больше вариантов организации частиц газа. Тем не менее газ в большей коробке не является более неупорядоченным, чем газ в меньшей коробке.
Шеннон был заинтересован в передаче микросостояния системы, например отдельного твита или расположения сидящих на нашем гипотетическом стадионе людей, поэтому он приравнял понятие информации к понятию энтропии, часто используя эти слова как синонимы. Передача сообщения об одном микросостоянии, в котором средним из занятых рядов является центральный, требует больше бит, так как при этом условии существует множество эквивалентных микросостояний, поэтому для передачи данных о некотором микросостоянии требуется создать очень конкретное сообщение. Таким образом, на языке Шеннона понятия информации и энтропии функционально эквивалентны, поскольку количество битов, необходимых для создания сообщения (информация по Шеннону), представляет собой функцию от числа возможных сообщений, которые могут быть переданы (множество состояний, которое мы понимаем как энтропию). Но, это не делает энтропию и информацию одним и тем же. Лауреат Нобелевской премии по химии 1967 года Манфред Эйген заметил: «Энтропия относится к среднему (физическому) состоянию, а информация – к конкретному (физическому) состоянию».[24]
22
Слишком дотошным математикам следует рассмотреть пример стадиона, в котором количество рядов не увеличивается по мере удаления от поля, а номер ряда определяет расстояние между местом в этом ряду и полем.
23
Существует много критериев для принятия решений, которые в итоге помогают достичь этих состояний. Замечательное введение в тему разнообразия поведений, которые могут привести к тому, чтобы люди заняли верхнюю половину стадиона или зала, можно найти в первой главе книги Томаса Шеллинга Micromotives and Macrobehavior (New York: W. W. Norton, 2006).
24
Манфред Эйген, From Strange Simplicity to Complex Familiarity: A Treatise on Matter, Information, Life and T ought (Oxford: Oxford University Press, 2013), 310.