Проделав это, мы увидели, что по крайней мере одна задача технического проектирования приняла совершенно новый вид. Ведь обычно техническое проектирование считается скорее искусством, чем наукой. Сведя задачу такого рода к разысканию определенного минимума, мы поставили дело проектирования на более научную основу. Нам пришла мысль, что перед нами не изолированный случай и что существует целая область инженерной работы, в которой аналогичные задачи проектирования можно решать методами вариационного исчисления.
Мы обратились к другим аналогичным задачам и решили их этими методами. В числе решенных задач была задача проектирования волновых фильтров. Часто бывает так, что передаваемое сообщение искажают посторонние помехи, так называемый шумовой фон. Тогда встает задача восстановления посланного сообщения из искаженного сообщения при помощи [c.54] некоторого оператора. При этом может потребоваться восстановление посланного сообщения либо в первоначальном виде, либо с данным упреждением, либо с данным запаздыванием. Выбор оптимального оператора и прибора, его реализующего, определяется статистическими свойствами сообщения и шума, рассматриваемых по отдельности и совместно. Так в проектировании волновых фильтров мы заменили старые методы, носившие эмпирический и довольно-таки случайный характер, методами, допускающими четкое научное обоснование.
Но тем самым мы сделали из проектирования систем связи статистическую науку, раздел статистической механики. И действительно, понятия статистической механики вторгаются во все отрасли науки уже более ста лет. Мы увидим далее, что эта преобладающая роль статистической механики в современной физике имеет самое существенное значение для понимания природы времени. В случае же техники связи значение статистического элемента непосредственно очевидно. Передача информации возможна лишь как передача альтернатив. Если нужно передавать одну-единственную возможность, то лучше всего и легче всего это сделать тем, что не посылать вообще никакого сообщения. Телефон и телеграф могут выполнять свои функции только в том случае, когда передаваемые ими сообщения беспрерывно изменяются, причем эти изменения не определяются полностью прошлой частью сообщений. С другой стороны, эффективное проектирование телефона и телеграфа возможно только при том условии, что изменения передаваемых сообщений подчиняются каким-нибудь статистическим закономерностям.
Чтобы подойти к технике связи с этой стороны, нам пришлось разрабатывать статистическую теорию количества информации. В этой теории за единицу количества информации принимается количество информации, передаваемое при одном выборе между равновероятными альтернативами. Такая мысль возникла почти одновременно у нескольких авторов, в том числе у статистика Р.А. Фишера, у д-ра Шеннона из Белловских телефонных лабораторий и у автора настоящей книги[93]. При этом Фишер исходил из классической [c.55] статистической теории, Шеннон — из проблемы кодирования информации, автор настоящей книги — из проблемы сообщения и шумов в электрических фильтрах. Следует, однако, отметить, что некоторые мои изыскания в этом направлении связаны с более ранней работой Колмогорова[94] в России, хотя значительная часть моей работы была сделана до того, как я обратился к трудам русской школы.
Понятие количества информации совершенно естественно связывается с классическим понятием статистической механики — понятием энтропии. Как количество информации в системе есть мера организованности системы, точно так же энтропия системы есть мера дезорганизованности системы; одно равно другому, взятому с обратным знаком. Эта точка зрения приводит нас к ряду рассуждений относительно второго закона термодинамики и к изучению возможности так называемых «демонов» Максвелла. Вопросы такого рода возникают совершенно независимо при изучении энзимов и других катализаторов, и их рассмотрение существенно для правильного понимания таких основных свойств живой материи, как обмен веществ и размножение. Третье фундаментальное свойство жизни — свойство раздражимости — относится к области теории связи и попадает в группу идей, которые мы только что разбирали[95].
93
См.:
94
95