Теперь немного упростим и немного усложним картину. На рисунке 2.3 для удобства нейрон изображён кружочком. Аксон и дендриты вообще заменены на линии. Этот минималистский стиль активно используется в математической теории нейронных сетей, в схемотехнике, в теории графов… Короче, в любой технической дисциплине, когда нужно отвлечься от деталей и ухватить суть, прочувствовать саму архитектуру сложной системы.
Рис. 2.3. Упрощенная схема суммирования сигналов в нейроне. Сумма входящих подставляется в функцию активации. Результат подается на единственный выход, где его уже ждут благодарные нейронные соседи
Мы видим, как несколько, а именно произвольное число n (подставьте на его место возраст соседского кота), сигналов поступают на вход круглого чёрного ящика. Там сигналы складываются (знак суммы) и сравниваются с пороговым значением. Если порог преодолён, нейрон выдает на выходе единицу. Иначе — ноль.
Функция f, имеющая форму ступеньки и превращающая входной сигнал в выходной (рис. 2.4), называется функцией активации. Само слово «функция» здесь употребляется в непривычном для многих значении. Обычно функция какого-то объекта — это его способности или предназначение. Например, функция паяльника — нанесение расплавленного припоя в место контакта деталей. В особых случаях — терморектальный криптоанализ. Но в нашем контексте функция — это математическая операция, превращающая одно число в другое (одно числовое множество в другое).
Рис. 2.4. Функция активации, то есть зависимость исходящего сигнала (вертикальная ось) от суммы входящих (горизонтальная ось)
Простейший вид функции активации — ступенька. Если число на входе меньше порогового значения U, то функция превратит это число в ноль. Если больше порога, то в единицу. Так вся бесконечная числовая ось отображается в две точки: ноль или один. Удобно, не правда ли? Удобно, но возникает несколько вопросов.
Почему ноль — понятно. Но вот почему именно единица? Почему не корень из двух, почему не минус сто, почему не потенциал ионизации атома водорода? Да потому что сравнивать не с чем. Все нейроны одинаковые. Эталон сигнала мы выбираем сами. Так что мешает положить максимально возможный сигнал равным единице? Ничего не мешает. Вот мы и кладём. Чтобы считать было легче.
А почему, либо ноль, либо единица? А если порог почти-почти преодолён? Или сумма входных сигналов застыла прямо на пороге? Направление вашей мысли понравилось бы любому специалисту по нейронным сетям. Чем дальше в лес, тем более хитрые зависимости выходного сигнала от входного придумывали учёные. Вместо ступеньки теперь часто рисуют «сигмоиду» — такую гладенькую возрастающую выпуклую кривую (рис. 2.5), прижимающуюся к единице по мере возрастания входного сигнала. То есть нейрон как бы верещит, но не громко.
Рис. 2.5. Пример гладкой функции активации
Особо хитрые учёные вообще говорят не об отклике нейрона на сигнал, а о вероятности отклика. Логика та же. На вход нейрона подаётся сигнал. Чем сигнал выше, тем больше вероятность, что нейрон в следующую секунду заверещит. То есть нейрон может (редко, но может) откликнуться на очень слабый сигнал и промолчать на очень сильный. Но у нас никаких «следующих секунд» нет, у нас пока всё синхронно и мгновенно. Поэтому не беспокоимся. И начинаем связывать нейроны в единую сеть.
2.3. В порочащих связях
Задача идеальной имитации электрических сигналов, которыми обмениваются нейроны, до сих пор не решена. Как мы уже сказали, настоящие нейроны генерируют довольно сложные последовательности всплесков и пиков. Тем не менее большинство моделей смело игнорируют эту сложность и не теряют эффективности. А рынок легальных препаратов, влияющих на высшую нервную деятельность, ширится и углубляется едва ли не быстрее, чем рынок препаратов нелегальных.
Дело в том, что нейрон — это не электрический, а электрохимический узел сети. Синапс — это не прямой контакт между двумя клетками, а сложный преобразователь химической энергии в электрические импульсы. Фройду не хватило этих знаний, чтобы продвинуться в своей нейропсихологии.
Идея электрохимической связи приснилась (и здесь сновидения!) австрийскому (и снова Австрия!) исследователю Отто Леви в 1921 году. Наутро учёный благополучно забыл и сон, и идею. Психика великодушно повторила сновидение на следующую ночь. Тогда уже Леви, не откладывая, побежал в лабораторию в одном спальном халате.