Термодинамика и информация
Со времен установления принципа Людвига Больцмана (ок. 1875 г.) стало возможным рассматривать классическую термодинамическую и информационную энтропию как практически и теоретически очень близкие, если не равнозначные. В формулировке Макса Планка (ок. 1900 г.) этот принцип как связь средней энтропии системы с вероятностью данного состояния определяется логарифмической зависимостью:
S = kln(Ω),
где S – общая энтропия состояния системы, константа k = = 1,38*10-23 Дж/К, названная Планком постоянной Больцмана, а Ω – статистический вес состояния, являющийся числом возможных равновероятных микросостояний (способов), с помощью которых можно составить данное макроскопическое состояние. Более ранняя формулировка Джозайя Гиббса (1878 г.) для микросостояний, имеющих разную вероятность, устанавливает зависимость в виде суммы произведения вероятности состояний на натуральные логарифмы этих же вероятностей, взятой с противоположным знаком:
где Pi – вероятность пребывания системы в состоянии i. Минус в начале формулы необходим для приведения обеих частей формулы к общему знаку из-за постоянной отрицательности логарифмов вероятности (так как вероятности всегда меньше 1) и неизменной положительности энтропии. Сам Больцман, комментируя свое физико-статистическое определение энтропии, отмечал, что энтропия характеризует недостающую информацию о системе. В этой интерпретации энтропия может считаться мерой неполноты информации о системе.
В ходе разработки углубленной теории информации информационной энтропией стала считаться мера неопределенности, независимо выведенная как сумма произведений вероятностей событий на логарифмы этих же вероятностей (формула Хартли-Шеннона, основателей теории информации), взятая с противоположным знаком:
где H(x) – средняя энтропия сообщения, иногда обозначаемая также как мера неопределенности какого-либо события, или даже как количество информации, Pi – вероятность отдельного события i. Основание логарифма в принципе может быть любым больше 1: в двоичных информационных системах – 2, математические статистики, использующие формулу в различных научных дисциплинах, в том числе биологических и клинических, часто используют натуральный логарифм.
Отрицательная энтропия, которую описывал Эрвин Шредингер, это, разумеется, не энтропия с отрицательным знаком – это, очень условно говоря, мера удаленности от максимальной энтропии в рассматриваемой системе, хотя само понятие негативной энтропии (негэнтропии) на самом деле гораздо более сложное, глубокое и весьма запутанное, даже в сравнении с часто неоднозначно понимаемой «обычной», «позитивной» энтропией в своих самых разнообразных интерпретациях. Некоторые исследователи, вслед за Норбертом Винером, увидевшим за очевидным сходством формул Больцмана-Гиббса и Хартли-Шеннона более глубокую связь термодинамической и информационной энтропий, ассоциируют негэнтропию с информацией, что представляется красивым, но до сих пор далеко не всеми признаваемым суждением.
Одной из точек смыкания термодинамической и информационной энтропии являлся, например, известный парадокс «демона Максвелла», гипотетического устройства, стоящего на границе двух объемов и способного различать быстрые и медленные молекулы и, соответственно, пропускать или не пропускать молекулы в одну сторону, что спонтанно ведет к увеличению упорядоченности системы и падению энтропии, что формально противоречит второму началу термодинамики. Решение парадокса было предложено французским и американским физиком Леоном Бриллюэном, математически показавшем, что даже демон ничего не хочет делать бесплатно: чтобы увидеть скорость молекулы, ему нужно заплатить энергией, которая не может быть менее энергии одного теплового кванта (0,025 эВ при комнатной температуре), и эта энергия соответствует минимальной цене одного бита информации. То есть демон совершает работу по обработке информации, и эта работа охлаждает одно тело и нагревает другое, и так же, как за работу любого домашнего холодильника, за эту работу надо платить.