При оперантном обусловливании элементы вознаграждения и наказания, по-видимому, необходимы, тогда как в процедуру классического обусловливания они могут и не входить. При классическом обусловливании, как показали, например, эксперименты с установлением межкортикальных связей, проведенные в Мичиганском университете, или опыты с выработкой у людей способности произвольно регулировать сужение зрачков и температуру отдельных частей тела, не было никакой проблемы мотивационных раздражителей: установление связи между сенсорным входом и двигательной реакцией было простым и прямым следствием многократного повторения одного и того же сочетания «стимул — реакция». Но при выработке у дождевого червя навыка поворачивать направо, а не налево, возможны две двигательные реакции на тот сенсорный сигнал (в чем бы он ни состоял), который указывает червю на разветвление хода. Для выработки избирательной формы поведения необходим какой-то нейронный механизм, устанавливающий связи между «пусковым» сенсорным сигналом и обеими программами двигательных реакций, причем связь с одной из двух возможных реакций должна закрепляться прочнее, чем с другой. Во всех экспериментах с оперантным обусловливанием оказывалось, что усиливается та реакция, которая наилучшим образом удовлетворяет какую-то физиологическую потребность организма, например потребность в пище, в половой активности или в физическом «комфорте».
В явлениях оперантного обусловливания содержатся интересные указания относительно процессов, связанных с памятью. После того как червь сделал у разветвления ходов лабиринта поворот вправо или влево, он должен некоторое время ползти дальше, прежде чем он будет вознагражден или наказан за свой выбор. Из этого очевидно, что сенсорная и двигательная информация, относящаяся к данному эпизоду, должна некоторое время сохраняться, чтобы связи между соответствующими группами нейронов могли быть относительно усилены или ослаблены после того, как животное получит оценку своих действий в виде возникающего в конце пути приятного или неприятного ощущения. Такого рода ретроспективное усиление или ослабление образовавшихся «пробных» нейронных связей под действием эмоционального сигнала, по-видимому, имеет что-то общее с рассмотренным ранее действием концентрации внимания — извлечением из угасающих следов кратковременной памяти детальной информации, которая иначе была бы потеряна.
При оперантном обусловливании число возможных реакций, из которых животное научается делать выбор, отнюдь не ограничено двумя. Рассмотрим, например, случай, когда животное обучают нажимать рычаг при включении света. Этого можно достичь, воспользовавшись естественным «любопытством» и беспокойством животного, посаженного в клетку. Рычаг располагают таким образом, чтобы животное при своем бесцельном блуждании по клетке время от времени наступало на него. Если это произойдет в тот момент, когда включен свет, поведение животного подкрепляют, награждая его кусочком пищи. С течением времени поведение изменяется; это изменение, характеризуемое «кривой обучения», в конце концов приводит к тому, что животное нажимает рычаг, как только вспыхивает свет. Когда такая реакция вырабатывается у обезьяны, у нас легко возникает мысль, что животное «догадывается, в чем дело», и в дальнейшем сознательно управляет своим поведением. Когда подобного же результата достигает крыса или еще более примитивное животное, гораздо легче представить себе, что мы имеем дело с автоматическим процессом, который носит машинообразный характер и не связан с тем, что мы называем мышлением.
Доводы в пользу автоматической, механической природы оперантного обусловливания можно подкрепить сравнением скорости обучения у высших и низших животных. Дождевой червь усваивает определенное поведение в Т-образном лабиринте за 100—200 проб Примерно такое же число проб требуется кошке, чтобы научиться отвечать на зрительный сигнал ударом по рычагу и тем самым избегать неприятного вдувания струи воздуха в ухо. Описан эксперимент, проведенный с 6-месячным ребенком с целью определить, сколько проб понадобится для того, чтобы «отучить» его от попыток прикоснуться к пламени свечи. (Разумеется, опыты ставились так, что руку ребенка отводили от пламени прежде, чем мог произойти ожог.) Число необходимых проб оказалось таким же, как и при обучении дождевого червя, — около 150!