ожидают. Изменить ожидания можно только нарушив их.
Рисунок 24
Это нарушение может быть как к лучшему, так и к худшему. Для собаки первый кусок мяса после "жужжания" - это приятный сюрприз, который сильно влияет на ее ожидания. Однако после многократных спариваний ожидания меняются, и слюнотечение при звуке зуммера становится второй натурой. В этот момент самое неприятное, что может произойти, - это услышать звуковой сигнал и не получить еду. Такое лишение привело бы к значительному снижению вероятности слюноотделения в будущем - такому же значительному, как и увеличение, произошедшее при первой паре. Эта обратная сторона обучения на основе вознаграждения, когда животное учится не связывать сигнал с вознаграждением, называется угасанием. С каждым предъявлением сигнала без ожидаемой награды процесс угасания разрушает ассоциацию, в итоге полностью уничтожая выученную реакцию. Буш и Мостеллер постарались показать, что их модель точно отражает этот процесс.
В то время как Буш и Мостеллер превращали информацию о слюноотделении в уравнения, другой человек на противоположном конце страны работал над применением математики для решения самых сложных проблем в бизнесе и промышленности. Глубокие и важные связи между этими работами не были осознаны еще несколько десятилетий.
* * *
Корпорация RAND - американский аналитический центр, основанный в 1948 году. Некоммерческое подразделение компании Douglas Aircraft Company, главной целью которого было расширение сотрудничества между наукой и военными, расцветшего в результате необходимости во время Второй мировой войны. Название корпорации является уместно общим (RAND буквально означает Research ANd Development)спектра исследовательских проектов, которыми она занимается. За годы своего существования сотрудники RAND внесли значительный вклад в такие области, как освоение космоса, экономика, вычислительная техника и даже внешние отношения.
Ричард Беллман работал в RAND в качестве математика-исследователя с 1952 по 1965 год. Будучи поклонником этого предмета еще в подростковом возрасте, Беллман неоднократно прерывал свой путь к профессии математика из-за Второй мировой войны. Сначала, чтобы поддержать военные действия, он оставил аспирантуру в Университете Джона Хопкинса, чтобы преподавать военную электронику в Университете Висконсина. Позже он перешел в Принстонский университет, где преподавал в рамках программы специализированной подготовки армии и занимался собственными исследованиями. В конце концов он защитил докторскую диссертацию в Принстоне, но не раньше, чем его призвали на работу в Лос-Аламос в качестве физика-теоретика для Манхэттенского проекта. Эти вторжения, похоже, не сильно повлияли на его карьеру. Уже через три года после войны, в возрасте всего 28 лет, он стал профессором Стэнфордского университета.
Уход из академического мира в RAND в 32 года стал, по словам Беллмана, разницей между "традиционным интеллектуалом или современным интеллектуалом, использующим результаты своих исследований для решения проблем современного общества". В RAND его математические навыки применялись для решения реальных проблем. К таким проблемам, как составление расписания приема пациентов, организация производственных линий, разработка долгосрочных инвестиционных стратегий или определение плана закупок для универмагов. Однако Беллману не нужно было ступать в больницу или на заводской цех, чтобы помочь в решении этих проблем. Все эти проблемы - и многие другие - объединены под одним абстрактным математическим зонтиком. И в глазах математика решить любую из них - значит решить их все.
Все эти проблемы объединяет то, что все они представляют собой "последовательные процессы принятия решений". В последовательном процессе принятия решений есть что-то, что нужно максимизировать: прием пациентов, производство товаров, получение денег, отправка заказов. И для этого можно предпринять различные шаги. Задача состоит в том, чтобы определить, какой набор шагов следует предпринять. Как достичь максимума? Как лучше всего подняться на гору?
Не имея особых наработок в этой области, Беллман обратился к проверенной стратегии в математике: он формализовал интуицию.2 Математический вывод, к которому он пришел, теперь известен как уравнение Беллмана, а простая интуиция, которую оно отражает, заключается в том, что лучший план действий - это тот, в котором все шаги являются наилучшими из возможных. Как бы очевидно это ни казалось, но, будучи сформулированным в математике, даже банальные утверждения могут иметь силу.