Пусть нам надо передать сообщение с помощью электрического провода на расстояние, скажем, 100 км. И пусть через каждый километр провода мы имеем возможность поставить автоматическую станцию, которая будет усиливать сигнал до той мощности, которую он имеет на предыдущей станции, и — если нужно — как-то преобразовывать его (рис. 1.1).
Допустим, что максимальная величина сигнала, который позволяет послать наша аппаратура, составляет 1 В и что среднеквадратичное искажение сигнала при передаче от станции к станции (помеха) равно 0,1 В.
Рассмотрим сначала непрерывный способ передачи информации. Тогда содержанием сообщения будет величина напряжения, приложенного к проводу у его начала. Величина напряжения на другом конце провода — принятое сообщение — будет из-за помех отличаться от начального напряжения. Как велико будет это отличие? Считая помехи на различных участках линии независимыми, мы находим, что после прохождения ста станций среднеквадратичная величина помехи составит 1 В (складываются средние квадраты помех). Таким образом, помеха в среднем равна максимальному сигналу, поэтому ясно, что никакой полезной информации мы фактически не получим. Значение принятого напряжения может совпадать со значением переданного напряжения разве что случайно. Если, например, нас устраивает точность в 0,1 В, то вероятность такого совпадения равна примерно 1/10.
Теперь рассмотрим дискретный способ передачи. Определим два «осмысленных» состояния начального участка провода: когда приложенное напряжение равно нулю и когда оно максимально (1 В). На промежуточных станциях установим автоматические устройства, которые в одном случае, если принято напряжение меньше 0,5 В, передают дальше нулевое напряжение, а если оно больше 0,5 В, посылают нормальный сигнал в 1 В. Следовательно, в данном случае за один раз (одним сигналом) передается информация вида «да» или «нет» (такое количество информации — единица информации — называется 1 бит). Какова вероятность получения правильной информации? Она сильно зависит от закона распределения вероятности для величины помехи. Как правило, помехи подчиняются так называемому нормальному закону. Приняв этот закон, можно найти, что вероятность ошибки при передаче от предыдущей станции к следующей (равная вероятности того, что помеха превысит 0,5 В) равна 0,25×10-6. Следовательно, вероятность ошибки при передаче на всю длину линии есть 0,25×10-4. Чтобы передать то же сообщение, что и в предыдущем случае, т.е. значение с точностью до 0,1 некоторой величины, лежащей в пределах от 0 до 1, нам достаточно послать четыре сигнала вида «да» или «нет». Вероятность того, что хотя бы в одном из сигналов будет допущена ошибка, равна 10-4. Итак, полная вероятность ошибки при дискретном способе составляет 0,01% против 90% при непрерывном способе.
Начав описывать конкретную кибернетическую систему, мы невольно употребляем термин информация, который в своем разговорном, неформальном значении хорошо знаком и понятен каждому культурному человеку. Теперь мы введем кибернетическое понятие информации, имеющее точный количественный смысл.
Представим себе две подсистемы A и B (рис. 1.2), связанные между собой таким образом, что изменение состояния системы A влечет изменение состояния системы B. Это можно выразить такими словами: подсистема A воздействует на подсистему B.
Рассмотрим подсистемы B в некоторый момент времени t1 и в более поздний момент времени t2. Первое обозначим через S1, второе — через S2. Cостояние S2 зависит от состояния S1. Однако оно не определяется состоянием S1 однозначно, а зависит от него вероятностным образом, ибо мы рассматриваем не идеализированную теоретическую систему, подчиняющуюся детерминистическому закону движения, а реальную систему, состояния которой S суть результаты опытных данных. При таком подходе тоже можно говорить о законе движения, понимая его в вероятностном смысле, т. е. как условную вероятность состояния S2 в момент t2 при условии, что в момент t1 система имела состояние S1. Теперь забудем на минуту о законе движения. Обозначим через N полное число возможных состояний подсистемы B и будем представлять себе дело таким образом, что в любой момент времени подсистема B может с равной вероятностью принять любое из N состояний независимо от того, какое состояние она имела в предыдущий момент. Попытаемся количественно выразить степень (или силу) причинно-следственного влияния подсистемы A на такую безынерционную и «беззаконную» подсистему B. Пусть B под действием A переходит в некоторое совершенно определенное состояние. Ясно, что «сила влияния», которая требуется для этого от A, зависит от числа N и тем больше, чем больше N. Если, например, N = 2, то система B, даже будучи совершенно не связана с A, под действием каких-то случайных причин может с вероятностью 1/2 перейти в то самое состояние, которое «рекомендует» система A. Если же N = 109, то, заметив такое совпадение, мы вряд ли усомнимся во влиянии A на B. Следовательно, мерой «силы влияния» A на B в данном единичном акте, т. е. по существу мерой интенсивности причинно-следственной связи между двумя событиями — состоянием подсистемы A в интервале времени от t1 до t2 и состоянием подсистемы B в момент t2 — должна служить какая-то монотонно возрастающая функция N. В кибернетике эта мера называется количеством информации, переданной от A к B между моментами времени t1 и t2, а монотонно возрастающей функцией служит логарифм. Итак, в нашем примере количество информации I, переданное от A к B, равно log N.