Ассоциативное обучение: оперантный условный рефлекс
Вторая важная форма ассоциативного обучения наряду с классическим условным рефлексом — оперантный условный рефлекс. Он связан прежде всего с именем американского психолога Берреса Фредерика Скиннера. Если при классическом условном рефлексе новый стимул связывается с уже существующей реакцией, то при оперантном животное обучается тому, что, совершив изначально случайное действие, получает поощрение и таким образом добивается цели. Нагляднее всего эту форму обучения иллюстрируют исследования в так называемых ящиках Скиннера. Это специальные аппараты, где укреплен, например, рычаг, на который можно нажать, или шайба, которую можно клюнуть. Проводились исследования прежде всего на крысах и голубях. Животное, помещенное в ящик, выполнив такое действие, автоматически получает поощрение, например из специально открывающейся кормушки. Когда крысу впервые сажают в такой аппарат, она начинает бегать по нему взад и вперед, обследуя окружающую обстановку, и производит все возможные манипуляции. В какой-то момент она случайно давит на рычаг и в какой-то момент обнаруживает упаковку с кормом. Через некоторое время крыса запоминает, что между нажатием на рычаг и получением корма есть связь. И если первое нажатие на рычаг было случайным, то теперь уже крыса производит это действие целенаправленно, чтобы получить корм.
Поэтому оперантный условный рефлекс называется также обучением путем проб и ошибок либо обучением на успех. В принципе оно приводит к тому, что действие, связанное с поощрением, повторяется все чаще, в то время как другое действие, не получающее подкрепления, постепенно отходит на задний план. Чтобы между поведением и поощрением могла быть сформирована ассоциация, поощрение должно как можно быстрее следовать за действием. Если временна́я дистанция слишком велика, обучения не происходит. Скиннер обнаружил, что успех обучения резко сокращается, если между нажатием на рычаг и пищевым поощрением проходит больше восьми секунд.
Впрочем, существуют примечательные исключения. Так, если дикие крысы находят незнакомую пищу, то они отъедают от нее сначала лишь немножко и ждут, не станет ли им плохо. При этом они даже через несколько часов еще способны провести параллель между поеданием определенного корма и подступающей тошнотой. Если плохо им не становится, то в последующие ночи они поедают все больше этого корма, пока, наконец, не станут есть его в обычных для себя количествах. Однако если они почувствуют, что им становится нехорошо, то с этого момента они будут и в дальнейшем избегать этого корма.
Как показывают наблюдения, ассоциации между определенным действием и его последствиями в некоторых случаях могут быть сформированы и тогда, когда между двумя этими событиями проходит относительно длительное время. Кроме того, этот пример показывает, что за счет оперантного условного рефлекса животные учатся не только тому, какие действия приводят к поощрению, но и тому, каких неприятных ситуаций или опасностей им следует избегать. Как и при классическом условном рефлексе, успех обучения при оперантном через какое-то время требует закрепления. Представим, например, крысу, которая научилась нажимать на рычаг, чтобы получить пищевое поощрение. Она будет повторять то же действие и в том случае, если будет получать корм в ответ лишь на каждое второе, десятое или даже сотое нажатие. Однако если оно вообще перестанет сопровождаться поощрением, то крыса рано или поздно прекратит нажимать на рычаг.
Обучение за счет оперантных условных рефлексов имеет в жизни животных немаловажное значение. Оно играет решающую роль в поисках пищи, обучении социальным правилам, совершенствовании определенных поведенческих алгоритмов и освоении новых местообитаний. Наконец, эта форма обучения всегда задействована там, где определенные поведенческие алгоритмы должны быть опробованы впервые. Воспитание животных в неволе также по большей части базируется на выработке оперантных условных рефлексов.
Думают ли животные?
Во всем том, что относится к обучению животных, наука в течение десятков лет концентрировалась почти исключительно на изучении условных рефлексов. Неудивительно, что эти формы обучения к настоящему времени отлично исследованы и расшифрованы вплоть до их нейронных и молекулярных основ. Но именно поэтому со временем создалось впечатление, что, наряду с привыканием, животным доступны единственные формы обучения — различные типы условных рефлексов. Вопрос о том, не обладают ли животные и более высокими когнитивными способностями, отошел на задний план. Более того, на него зачастую отвечали отрицательно, не проводя соответствующих исследований. Ситуация в корне изменилась после выхода в свет в 1985 году книги американского зоолога Дональда Гриффина «Мышление животных» (Animal Thinking). Он представил в ней точку зрения, что некоторые животные вполне способны думать и даже располагают некоей формой сознания. По его мнению, ученым стоило бы исследовать эти ментальные процессы. Множество ученых откликнулось на его призыв, и в исследовании когнитивных способностей животных начался настоящий бум, который продолжается до сих пор и привел к появлению нового научного направления, изучающего когнитивные способности животных (Animal Cognition). Хотя, справедливости ради, надо сказать, что и задолго до книги Гриффина на эту тему проводилось немало замечательных исследований.
Незадолго до Первой мировой войны руководителем исследовательской станции на Тенерифе, занимавшейся изучением антропоидов и принадлежавшей Прусской академии наук, стал Вольфганг Кёлер. С 1914 до 1917 года он исследовал «разумное поведение» человекообразных обезьян и решил выяснить, не могут ли эти животные подобно людям иметь в какой-либо ситуации свою точку зрения и решать проблемы через своего рода мышление. В самой известной своей работе он исследовал использование орудий у шимпанзе. Одним из первых он применил для документирования полученных результатов фотосъемку. В одном из экспериментов снаружи от вольера, в котором находилась группа шимпанзе, положили банан. Животные заметили фрукт и попытались дотянуться до него через прутья клетки, но банан лежал слишком далеко. В вольере находилось несколько полых палок, которыми шимпанзе время от времени играли. Внезапно Султан, самый умный из шимпанзе Кёлера, взял две разные палки, вставил более тонкую в более толстую и направился к прутьям решетки. Он целенаправленно использовал получившуюся длинную палку в качестве орудия и подтянул к себе банан. Очевидно, он осознал проблему и решил ее благодаря сознательному поведению.
Что он действительно был в состоянии это сделать, показал второй эксперимент. Кёлер подвесил в вольере банан так высоко, что шимпанзе не могли его достать. Животные, тем не менее, первым делом попытались до него допрыгнуть. Из этого ничего не получилось. В вольере лежало несколько ящиков разного размера. И снова именно Султан взял один из ящиков, поставил его прямо под бананом и забрался на него. Поняв, что высоты ящика не хватает, он притащил туда еще один ящик и еще один, затем, поставив один на другой, забрался на всю эту шаткую конструкцию и, подпрыгнув, достал банан. И в этом случае Султан достиг своей цели благодаря разумному действию, направленному на решение проблемы. Оглядываясь назад, мы видим, что работы Вольфганга Кёлера стали началом изучения когнитивных способностей животных. Впервые было продемонстрировано, что животные в принципе в состоянии учиться не только методом проб и ошибок, но и используя сознание.
Однако эти факты долгое время игнорировались, и потребовались десятки лет для того, чтобы к их изучению присоединились другие ученые. В 1960-х годах выводы Кёлера наряду с другими специалистами убедительно подтвердили Бернхард Ренш из Университета Мюнстера и его коллеги. В своих остроумных экспериментах они продемонстрировали, что самка шимпанзе Юлия была способна действовать целенаправленно, по заранее намеченному и продуманному плану. В ходе одного из экспериментов Юлия сначала научилась бросать железный жетон в прорезь автомата, который выдавал ей в качестве поощрения кусочек банана, виноград либо печенье. Затем ее посадили перед лабиринтом, на котором сверху лежала стеклянная пластинка. В лабиринте находился тот самый железный жетон для «пищевого» автомата. Юлия быстро сообразила, что с помощью магнита жетон можно подтянуть через ходы лабиринта к одному из боковых выходов, где его можно будет взять. Проделав все это, она побежала к автомату с едой, бросила туда жетон и получила в награду лакомство. На следующем этапе опыта перед Юлией был лабиринт, составленный из двух симметрично подогнанных друг к другу, многократно закрученных ходов, причем лишь один из них имел боковой выход, а второй заканчивался тупиком. Юлия какое-то время рассматривала лабиринт, затем взяла магнит, выбрала правильный путь и подтянула жетон к боковому выходу.
Шаг за шагом ученые усложняли и совершенствовали лабиринт, добавляя в него все новые ответвления, запутанные ходы, ведущие в тупики, и выходы, из которых, однако, только один годился для того, чтобы достать через него жетон. Для каждого нового захода использовали новый лабиринт с новой системой ходов, так что Юлии каждый раз приходилось строить новый план. Результаты были просто поразительные: перед тем как приступить к делу, Юлия всякий раз рассматривала лабиринт не более минуты. Затем хватала магнит и ловкими движениями пыталась подтянуть жетон к выходу. При этом в 86 из 100 усложненных лабиринтов она выбрала правильный путь.
Тот же самый эксперимент Бернхард Ренш и его коллеги провели с шестью студентами. Стоит заметить, что их результаты были не намного лучше, чем у Юлии. По некоторым показателям шимпанзе даже опередила отдельных студентов.
В последние десятилетия когнитивным способностям животных посвящено множество исследований. Они убедительно подтверждают выводы Кёлера и Ренша и доказывают, что и другие виды животных способны на разумные действия. Так, в одном гениально простом исследовании орангутанам дали плексигласовую трубку длиной 25 см и 5 см в диаметре, на четверть заполненную водой. На поверхности воды плавал арахис — очень ценное с точки зрения животных лакомство. Вытащить орех из трубки пальцами не получалось. Однако все пятеро участвовавших в эксперименте животных спонтанно нашли решение проблемы: они подходили к стоящей неподалеку поилке, набирали в рот глоток жидкости, выплевывали его в трубку и повторяли это до тех пор, пока уровень жидкости не поднимался настолько, чтобы оттуда без проблем можно было вынуть арахис.
Сегодня ни один исследователь поведения уже не сомневается в том, что звери с высокоразвитым мозгом, такие как обезьяны, хищные млекопитающие, слоны или киты способны учиться благодаря разумному планированию. Они умеют спонтанно оценивать ситуацию, мысленно осуществлять необходимые действия и затем целенаправленно их реализовывать. Иначе говоря, эти животные умеют думать!
Использование орудий, обучение на чужом примере, культура
Исследования Вольфганга Кёлера показали не только то, что шимпанзе разумно решают задачи, но и то, что для достижения своих целей животные используют находящиеся поблизости предметы, модифицируя их при необходимости. Вставить одну палку в другую, чтобы добраться до банана, — один из первых научно документированных примеров использования орудий в животном мире. Почти полстолетия спустя Джейн Гудолл очень ярко описала, как животные применяют орудия в природе. Шимпанзе, живущие на воле в национальном парке Гомбе-Стрим в Танзании, целенаправленно используют стебли, черешки листьев и небольшие веточки, чтобы добывать из гнезд термитов. При этом они нарочно приспосабливают их к своей цели, обрывая ртом или руками ненужные листья. В других случаях они изготавливают губки, чтобы добраться до воды в маленьких древесных дуплах. Они рвут листья, немножко жуют их, затем пальцами засовывают губчатую массу из листьев в наполненное водой дупло, чтобы она напиталась влагой. Листьями они также чистят собственное тело, а камнями прицельно кидаются в людей и павианов. Недавние наблюдения описывают также использование палок и камней в качестве молота и наковальни, чтобы колоть пальмовые орехи. Есть указания, что в Западной Африке шимпанзе используют эту технологию уже тысячи лет, передавая ее как культурную традицию из поколения в поколение. В настоящее время использование орудий в естественных местообитаниях описано и у других видов животных. Оказалось, что на это способны не только человекообразные обезьяны, но и, к примеру, капуцины, яванские макаки, каланы и дельфины.
Если какое-то животное в популяции делает новое «изобретение», к примеру, разбивает орех при помощи молота и наковальни, его инновация может распространиться по всей популяции. Однако для этого нужна способность учиться на чужом примере и подражать поведению другого. Впервые изобретение и распространение нового действия наблюдалось у японских макак. В 1953 году полуторагодовалая самка Имо на острове Якусима изобрела новый способ приготовления пищи: она окунула в воду испачканный песком батат и руками стерла с него песок. Через месяц мыть бататы начал партнер Имо по играм, а через четыре недели наблюдатели застали за тем же занятием мать Имо. Через четыре года мойщиков батата насчитывалось уже 15, а через 10 лет мытье батата стало типичным признаком поведения всей группы. Традицию передавали в первую очередь матери своим детям.
В настоящее время в животном мире известно уже множество примеров культурной передачи поведенческих признаков. Таким образом, могут возникать различия между популяциями одного и того же вида, даже если их местообитания разделяет между собой лишь одна река.
Особенно хорошо исследованы такие культурно обусловленные различия в поведении орангутанов. При сравнении шести популяций, занимающих различные участки на Борнео и Суматре, были выявлены 19 признаков поведения, которые, скорее всего, передаются следующим поколениям через культурную традицию. Так, в одной популяции почти все орангутаны — сходно с шимпанзе — применяют орудия, чтобы добывать насекомых, в других пяти популяциях этого не происходит никогда. В некоторых популяциях животные сооружают укрытия от солнца, в других они этого не делают. В отдельных популяциях используют листья в качестве перчаток, чтобы не ранить руки колючими плодами или ветками, другим такие методы не знакомы. В одной популяции животные пользуются листьями как салфетками, вытирая ими с подбородка каучуковое молоко, в других пяти популяциях они этого не делают.
Таким образом, различное поведение у животных одного вида, обитающих на разных территориях, не обязательно обусловлено генетически, но может передаваться за счет социального обучения из поколения в поколение.
Есть ли у животных свое «я»?
Итак, животные способны думать, учиться у сородичей и применять орудия. Они изобретают новое и передают его из поколения в поколение. Все это было бы невозможным без высоких когнитивных способностей. Поэтому нет ничего удивительного в том, что за последние годы биологи поведения все чаще ставят вопрос о наличии у животных сознания. Возможно ли, что шимпанзе, слон, дельфин или собака знают, кто они такие? Знают, что знают другие? Понимают, что другие в той же ситуации имеют другую точку зрения? И могут ли они в своем поведении руководствоваться этими знаниями?
Долгое время считалось, что такие темы невозможно исследовать с помощью биологических методов. Ведь из наблюдений за поведением нельзя сделать вывод, лежат ли в его основе высокие когнитивные способности. Кроме того, грамотный исследователь биологии поведения сначала должен убедиться в том, не существует ли более простых объяснений.
Авторитетный приматолог из Цюриха Ханс Куммер в своих докладах любил иллюстрировать этот пункт следующим примером: павиана, занимающего в иерархии подчиненную позицию, яростно преследует доминантный сородич. Если доминанту удается поймать подчиненного, тот отчаянно отбивается, кусает доминанта и иногда сильно ранит. Во время преследования животные мчатся мимо куста. Внезапно подчиненный павиан резко останавливается и пристально смотрит внутрь куста. В ответ на это доминирующий павиан также останавливается и тоже разглядывает куст. Подчиненный использует этот момент, чтобы ускользнуть. Наблюдая за этой сценой, легко поддаться искушению интерпретировать поведение подчиненного как сознательный обманный маневр — будто бы тот высматривает в кусте опасность, которой на самом деле вовсе не существует, отвлекая таким образом доминанта. Будь это действительно так, это означало бы высший когнитивный успех, научно подтвержденный пока лишь для очень немногих видов животных. Однако вполне реально и более простое объяснение — павианы действительно увидели что-то в кусте, чего не заметил человек-наблюдатель.
В действительности на сегодняшний день не существует ни одного всеобъемлющего эксперимента, по результатам которого можно заключить: «У этого животного есть свое „я“, а у этого его нет». Однако за последние десятилетия разработаны новые методы, позволяющие приблизиться к решению вопроса о сознании у животных. Так, если у животных есть «я», то они должны узнавать себя в зеркале, должны знать, что видят самих себя, а не какого-то другого сородича.
Уже в 1970 году американский психолог Гордон Гэллап поставил эксперимент с шимпанзе, чтобы проверить эту гипотезу. Он на десять дней выставил зеркало перед вольером с животными и наблюдал, как реагируют на него шимпанзе. Сначала они обращались с отражением в зеркале как с чужим сородичем, визжали на него и угрожали. Однако эта реакция быстро ослабела, и вместо этого они стали использовать отражение, чтобы лучше узнать самих себя — чесали участки тела, которые не могли видеть без зеркала, удаляли остатки еды между зубами или строили гримасы, рассматривая себя при этом.
Их поведение заставляло думать, что они себя узнавали. Окончательным доказательством послужил тест, который Гэллап поставил на десятый день исследования. Он выкрасил каждому из четырех шимпанзе часть брови и уха в красный цвет так, чтобы сами животные этого видеть не могли. Затем стал наблюдать за происходящим: пока рядом не было зеркала, шимпанзе практически не прикасались к выкрашенным участкам, а если прикасались, то скорее случайно. Однако как только они увидели себя в зеркале, немедленно стали прицельно хвататься за раскрашенные красным части лица. Не было никакого сомнения — все четверо шимпанзе узнавали себя в зеркале.
По точно такой же схеме Гэллап провел зеркальный тест с тремя другими видами обезьян: макаками-резус, яванскими макаками и бурыми макаками. Примечательно, что эти животные никакого понятия не имели, кого они видят в зеркале. Ни одно животное себя не узнало. Этот результат в последние годы был многократно подтвержден. Похоже, что между человекообразными обезьянами — такими как шимпанзе, орангутан, бонобо или горилла — и остальными обезьянами действительно пролегает бездна: первые узнают себя в зеркале, последние явно — нет. Тем не менее человекообразные обезьяны не единственные животные, которые в состоянии это делать. С помощью зеркального теста удалось доказать, что узнают себя слоны, дельфины и — совсем удивительно! — сороки. Впрочем, большинство видов животных все же на это не способны. Правда, на первом году жизни не узнают себя в зеркале и наши маленькие дети. Эта способность формируется у человека в возрасте полутора-двух лет.
Если животные обладают своим «я», то они должны не только узнавать себя в зеркале, но и быть в состоянии видеть окружающий мир глазами другого. Указаний на то, что некоторые животные на это способны, действительно поступает все больше. В одном исследовании был поставлен эксперимент с самками шимпанзе, в котором двое знакомых между собой животных конкурировали за пищу. Каждый раз одна самка шимпанзе занимала доминирующую позицию, другая — подчиненную. Животные находились в двух вольерах, расположенных напротив и разделенных третьим, пустующим вольером. В пустом вольере устанавливали два непрозрачных барьера, позади которых экспериментатор различными способами раскладывал фрукты. Самка, занимающая подчиненную позицию, всегда видела, как это происходило. А вот самка-доминант иногда видела, за какой барьер клали фрукт, а иногда от нее это загораживали, так что она не видела, куда именно его положили. В третьей ситуации фрукт сначала клали так, что она его видела, а затем передвигали на другое место и не позволяли ей это видеть. Во всех этих ситуациях подчиненная самка могла спокойно наблюдать не только сам процесс раскладывания фруктов, но и то, что именно видела и чего не видела доминантная самка.