Но даже если и когда такие машины смогут превзойти нынешние —и не возникнет ли при их разработке и эксплуатации проблем, о которых мы сегодня не имеем понятия?
КАК СОЗДАВАЛИ НЕЙРОНЫ
В 1943 году Уоррен МакКаллок и Уолтер Питтс опубликовали работу «Логическое исчисление идей, относящихся к нервной активности», в которой предложили понятие искусственной нейронной сети. Дональд Хебб в работе «Организация поведения» 1949 года описал основные принципы обучения нейронов.
Искусственные нейросети — это, по сути, математические алгоритмы, которые вначале были призваны точно моделировать работу биологических нейросетей, подражая им. Это напоминает момент, когда товарищ Сталин приказал Королеву и его команде точно скопировать «Фау-2» — ракету, которую те видели на испытаниях, куда их пригласили американцы. Задача состояла в том, чтобы воспроизвести ракеты, которые стопроцентно полетят —ибо советские офицеры наблюдали их в действии.
Конечно, в случае с нейросетями задача состояла не в том, чтобы воссоздать химические процессы, происходящие в нейронах, а в том, чтобы на языке математики описать процессы, происходящие в нервных клетках.
Впоследствии, после того как удалось создать модель, которая довольно точно описывала работу живых нейронов, перед сетями была поставлена та задача, ради которой они, собственно, и создавались, а именно сделать вычисления эффективными.
Поэтому искусственные нейросети сегодня не подражают биологическим, а стремятся их превзойти. Ученые то и дело заявляют, что вот-вот создадут алгоритм, чисто математический, абстрактный, умозрительный, не имеющий отношения к живой природе, который превзойдет то, что было подсмотрено у человека или животных. Впрочем, всегда оказывается, что на следующем этапе ученым все равно надо вернуться в область нейрофизиологии, где совершаются новые открытия, и подсмотреть там очередную новинку. Так происходит снова и снова, несмотря на то, что очередной успех, вызванный копированием «природной Фау», вызывает у некоторых исследователей головокружение и они обещают, что с этого момента машины будут развиваться без оглядки на натуру.
Но как и двадцать лет назад, открытия в области нейронаук сразу же моделируются и идут в дело. Таким образом, нейробиология и нейрофизиология продолжают и будут продолжать оказывать огромное влияние на разработку искусственных нейросетей.
Первые описания искусственных нейронов были векторными матрицами с импульсами на входе и выходе и некоей передаточной функцией в промежутке. В подобной модели нейрон реагирует на входной сигнал скачками напряжения или разностью потенциалов между клеткой и окружением.
Одна из первых таких моделей была предложена в 1907 французским физиологом Луи Лапиком и называлась «интегрировать и сработать». Ее можно описать так. Когда на вход подаётся некий ток, напряжение на синапсе возрастает, пока не достигает некоторого значения, при котором происходит скачок напряжения на выходе. После этого напряжение сбрасывается до остаточного. Затем модель копит энергию на следующее срабатывание, и алгоритм повторяется.
Недостатком такой схемы явилось бесконечно большое возрастание частоты срабатывания при линейном увеличении амплитуды входного тока. Поэтому ученые изменили модель с тем, чтобы ограничить частоту срабатывания. Для этого оно было запрещено в течение некоторого времени после возникновения потенциала действия.
Но и эта модель оказалась несовершенной: оказалось, алгоритм имеет вечную память. Если модель получала некий заряд, недостаточный для срабатывания, она сохраняла его и накапливала до следующего срабатывания. Таким образом, на нейроне вечно сохранялось некое напряжение, что никак не соответствовало процессам, наблюдаемым в реальных синапсах.
Модель «интегрировать и сработать» избавилась от этого недостатка через концепцию «утечки». Метод симулировал диффузию ионов, которая происходит в синапсе, в случае, если не выполнены определенные условия. Теперь, чтобы сгенерировать потенциал действия, необходимо было, чтобы значение тока на входе превысило некоторый порог. В противном случае происходит утечка, аннулируя любые изменения потенциала —то есть память «обнуляется».