Охота на электроовец. Большая книга искусственного интеллекта: читать книгу онлайн полностью и бесплатно

Велико ли значение теста Тьюринга в наши дни? С одной стороны, искусственный интеллект, способный пройти тест Тьюринга или по крайней мере приблизиться к его прохождению, должен демонстрировать решение важных практических задач: понимание естественного языка и умение производить произвольные рассуждения. С другой стороны, некоторые современные исследователи в области искусственного интеллекта считают, что сегодня попытки создания системы для прохождения теста Тьюринга — это лишь отвлечение внимания от более плодотворных направлений исследований[34]. Действительно, тест Тьюринга не является сегодня областью, популярной в рамках академических или коммерческих проектов. Рассуждая о причинах такого положения дел, Рассел и Норвиг приводят забавную аналогию с историей создания самолёта: «В инженерных текстах по авиационной технике, — пишут они, — нигде не говорится о том, что целью этой области является „создание машин, способных летать подобно голубям настолько, чтобы они могли обмануть других голубей“»[35].

Сегодня тест Тьюринга относят к группе так называемых ИИ-полных (AI-complete) задач, то есть таких задач, сложность которых делает их решение эквивалентным созданию AGI[36]. К таким задачам обычно относят задачу понимания естественного языка, машинный перевод, решение тестов Бонгарда[37] и тому подобное. Важно заметить, что ИИ-полнота — неформальный термин, так как строгого доказательства необходимости AGI для решения всех этих задач пока что не существует.

Тьюринг стремился дать чёткий и понятный пример, необходимый в дискуссии о философии искусственного интеллекта. Как заметил Джон Маккарти: «Маловероятно, что [философия ИИ] окажет больший эффект на практические исследования в области ИИ, чем философия науки в целом — на саму науку»[38].

Впрочем, некоторое отношение к современной практике тест Тьюринга всё-таки имеет, в одном из хорошо всем известных вариантов. Наверняка вам не раз приходилось вводить цифры или буквы с картинок, чтобы доказать, что вы не робот. Подобного рода тесты получили название «кáпча»[39]. В 2013 г. каждый день пользователям во всём мире приходилось проходить подобные тесты примерно 320 млн раз[40]. Старт этому масштабному противостоянию снаряда и брони был дан в 1997 г.[41], и с тех пор тесты постоянно приходится усложнять из-за появления всё новых и новых систем ИИ, способных справиться с их прохождением. Позже мы ещё несколько раз вернёмся к тесту Тьюринга — например, когда будем обсуждать прогресс в области обработки машинами естественного языка, а сейчас перейдём к не менее животрепещущей теме — машинному обучению.

1.3 Машинное обучение, его виды и области применения

Одно из распространённых заблуждений об искусственном интеллекте заключается в уверенности, что машины не могут учиться и, решая задачу, способны лишь следовать алгоритму — жёстко заданному программистами пошаговому сценарию.

В действительности то, что машины исполняют определённую программу, никак не мешает им учиться, для этого нужно только, чтобы программа воплощала тот или иной алгоритм обучения. В принципе, единственным необходимым для обучения условием является наличие у машины изменяемой памяти, но этим свойством машины обладают с давних пор.

В качестве самого простого примера обучения можно привести программу, которая при первом запуске спрашивает имя пользователя, которое затем запоминает, чтобы при следующих запусках обращаться к этому человеку по имени. Легко заметить, что поведение программы от запуска к запуску поменяется, то есть программа «научится» правильно обращаться к вам, хотя программисты, создавая программу, не указывали в ней вашего имени. Конечно, обучение может быть разным: как и человек, одним вещам машина может обучиться с лёгкостью, другие же пока что находятся за пределами возможностей современных технологий ИИ, и эта граница постоянно сдвигается по мере того, как очередные задачи сдаются под напором достижений науки и технологии.

Машинное обучение (machine learning) — направление в искусственном интеллекте, обычно использующее статистические техники для придания компьютерам способности «обучаться» (т. е. постепенно улучшать результаты, достигаемые при решении той или иной задачи), основываясь на некоторых данных, без явного программирования. Термин был изобретён Артуром Сэмюэлом в далёком 1959 г.[42] Выражаясь более формально, можно сказать, что машинное обучение занимается созданием систем ИИ, в которых параметры моделей вычисляются в ходе автоматического или автоматизированного процесса обучения. Машинное обучение тесно связано с такими направлениями, как вычислительная статистика и теория оптимизации: эти дисциплины выступают в роли поставщиков конкретных методов и инструментов, применяемых в машинном обучении.

Большинство современных прикладных систем искусственного интеллекта созданы с привлечением методов машинного обучения. Поэтому может показаться, что искусственный интеллект и машинное обучение почти тождественны, но на самом деле это не так. Со многими практическими задачами неплохо справляются старые добрые запрограммированные правила. Далее в книге мы увидим несколько примеров того, как построенные на основании правил системы могут демонстрировать весьма интеллектуальное поведение, производящее большое впечатление на внешнего наблюдателя.

И всё же сложнейшие из задач искусственного интеллекта требуют гораздо более гибких и мощных методов, поэтому машинное обучение сегодня — самое быстроразвивающееся направление в отрасли.

1.3.1 Виды машинного обучения

Обычно машинное обучение разделяют на две большие категории в зависимости от наличия в обучающей системе обратной связи — некоторого сигнала, получаемого системой и содержащего информацию о том, является ли выбранное обучаемой моделью действие правильным (или неправильным). При наличии обратной связи задача машинного обучения называется задачей обучения с учителем [supervised learning].

Часто в качестве обратной связи используется ручная разметка, выполненная людьми. Например, обучая модель отличать изображения кошек от изображений собак, мы можем отобрать несколько десятков тысяч фотографий и вручную сопоставить каждой из них правильную метку — «кошка» или «собака». Такой набор данных, содержащий исходные данные (в нашем случае — фотографии) и метки, называется обучающей выборкой, а каждая пара, состоящая из исходных данных и ответа на них (в нашем случае — метки класса), — прецедентом[43].

Иногда обучающая выборка по тем или иным причинам содержит пробелы. Например, маленький ребёнок не знает вкуса многих объектов, встречающихся в окружающем мире, поэтому с особым интересом запихивает в рот те предметы, которые ему ранее не приходилось пробовать. В таком случае можно говорить о том, что мы имеем дело с активным обучением — ещё одной разновидностью обучения с учителем. При таком подходе модель сама выбирает необходимые для обучения эксперименты и пополняет их результатами обучающую выборку. Конечно, при этом следует заботиться о том, чтобы последствия экспериментов не обошлись нам слишком дорого.

Активное обучение является частным случаем парадигмы, получившей название «обучение с подкреплением» [reinforcement learning]. Термин «подкрепление» (положительное или отрицательное) был позаимствован у психологов, под ним понимается ответный сигнал внешней среды, который позволяет обучающемуся агенту делать выводы о желательности или нежелательности выполненных действий. Обучение с подкреплением не обязано быть активным в том смысле, что агент не обязательно должен руководствоваться определённой «исследовательской» стратегией при выборе действий, агент не обязан быть «любопытным», его действия вполне могут быть обусловлены стремлением увеличить подкрепление в моменте («пихаем в рот то, что предполагаем вкусным, а не то, что ещё не пробовали») или быть и вовсе случайными («едим что попало»). Даже в таком случае обучение иногда может вполне успешно достигать поставленной цели.

На другом полюсе машинного обучения находятся методы обучения без учителя [unsupervised learning]. Казалось бы, будучи лишённым образца для подражания или какого-либо ориентира, ничему научиться нельзя. Однако это не так. Например, изучая недешифрованную письменность, можно выделить наборы повторяющихся знаков и их последовательностей, составить алфавит, оценить частоту возникновения последовательностей знаков, чтобы затем попытаться соотнести её с данными, полученными для других, известных нам языков. Конечно, набор задач, которые можно решить подобными способами, гораздо скромнее, чем в случае обучения с учителем, но в некоторых случаях, как в примере с недешифрованной письменностью, у нас просто нет выбора.

В последние годы с лёгкой руки известного исследователя в области нейронных сетей Яна Лекуна часто используется термин self-supervised learning (самообучение, самоконтролируемое обучение, обучение в режиме «сам себе учитель»). В его основе лежит автоматическая генерация обратной связи на основе структуры данных, используемых при обучении[44]. Например, модель, которая предсказывает следующее слово в тексте по предшествующим, или модель, угадывающая скрытую часть картинки по её видимой части, вроде бы не требует размеченных людьми данных — достаточно лишь набора текстов или изображений, а разметку выполняет алгоритм. В случае задачи с текстом он создаёт из набора текстов множество прецедентов, в которых роль правильного ответа выполняет слово, продолжающее последовательность предшествующих ему слов, которые алгоритм включает в число факторов. В случае с картинкой факторами становятся видимые части изображения, а правильным ответом — скрытая его часть. Таким образом, самообучение можно рассматривать или как разновидность обучения без учителя, или как разновидность обучения с учителем, в которой роль суррогатного учителя выполняет алгоритм авторазметки.

В принципе, методы обучения с учителем и без учителя нередко могут комбинироваться в одной задаче. В таком случае принято говорить о методе обучения с частичным привлечением учителя [semi-supervised learning]. Например, создавая систему для распознавания речи, мы можем привлечь сравнительно небольшой набор размеченных вручную данных (аудиозаписей, снабжённых текстом выполненной людьми расшифровки) и огромный массив неразмеченных, «сырых» аудиозаписей. При помощи второго массива мы обучим модель различать регулярно повторяющиеся звуковые элементы речи — фонемы, — а затем при помощи первого массива научим её превращать последовательность фонем в текст.

1.3.2 Задачи, решаемые с помощью машинного обучения

Среди задач, решаемых при помощи методов машинного обучения, выделяют несколько крупных категорий.

1. Задачи классификации. Цель модели в них — отнесение объекта на основании его известных свойств к некоторым группам (классам). Иногда классы называют образами, в таком случае говорят о задачах распознавания образов[45]. Именно к этому типу относится задача различения кошек и собак на фото. В данном случае «кошка» и «собака» — это два разных класса, а известные свойства, или факторы, модели — это цвет каждой из точек на фотографии. Например, если мы имеем дело с чёрно-белыми фотографиями разрешением 1024 × 1024 точки, то всего у нас будет 1 048 576 входных факторов модели (цвет каждой точки будет представлен числом, характеризующим степень её яркости). При решении задачи классификации модель (в данном случае её называют классификатором), обучившись на некотором наборе объектов, должна будет уметь отнести к тому или иному классу в том числе и новые объекты, которых в обучающей выборке не было. Потому что классификаторы, просто запоминающие всё, что им предъявили, и неспособные сделать вывод в отношении чего-то отсутствующего в обучающей выборке, нам обычно не очень интересны.

2. Задачи [восстановления] регрессии. Данные задачи в целом похожи на задачи классификации, но в них мы имеем дело не с множеством классов, к которым хотим отнести экзаменуемый объект, а с некоторой непрерывной величиной, которую желаем оценить на основании входных факторов. Простой пример — модель, пытающаяся определить возраст человека по фотографии. Любую задачу классификации можно свести к задаче регрессии, если взять в качестве прогнозируемой величины вероятность принадлежности объекта к каждому из классов.

Понятие регрессии ввёл в 1886 г. антрополог Фрэнсис Гальтон, изучавший статистические закономерности наследственности. В рамках разработанного им антропометрического подхода учёный измерял у своих соотечественников множество параметров: размеры головы, рост, возвышение над стулом при сидении, размах рук, объём вдыхаемого воздуха, массу тела, время реакции на зрительные и звуковые раздражители — и даже оценивал степень привлекательности девушек. На Международной выставке здоровья, открывшейся в 1884 г. в Лондоне, в антропометрической лаборатории Гальтона было проведено 150 000 отдельных измерений для 10 000 человек. Данные, собранные учёным, среди прочего содержали сведения о 928 потомках 205 матерей и отцов. Изобразив данные на графике, Гальтон обнаружил вполне ожидаемую положительную ассоциацию между ростом родителей и их детей, однако заметил, что дети наиболее высоких родителей имели тенденцию уступать своим родителям в росте, в то время как для наиболее низких родителей наблюдалась обратная зависимость: их дети обычно превосходили родителей ростом. Полученные данные повторяли результаты серии экспериментов 1876 г., в которых Гальтон изучал диаметр горошин; наиболее крупные горошины давали обычно более мелких, чем они сами, потомков, а наиболее мелкие — более крупных[46]. Гальтон назвал этот феномен «регрессией к среднему» и ввёл понятие «степень регрессии» (сегодня обычно её называют коэффициентом регрессии)[47]. Позже термин, возникший в частной прикладной задаче, закрепился за широким классом методов восстановления зависимостей[48].

[34] Shieber S. M. (1994). Lessons from a Restricted Turing Test / Communications of the ACM, Vol. 37, Iss. 6, pp. 70—78 // https://doi.org/10.1145/175208.175217

[35] Russell S. J., Norvig P. (2016). Artificial Intelligence: A Modern Approach. Pearson // https://books.google.ru/books?id=XS9CjwEACAAJ

[36] Mallery J. C. (1988). Thinking About Foreign Policy: Finding an Appropriate Role for Artificially Intelligent Computers / The 1988 Annual Meeting of the International Studies Association., St. Louis, MO.

[37] *** Наборы визуальных тестов для оценки способности системы находить простые закономерности, предложенные советским учёным Михаилом Бонгардом.

[38] McCarthy J. (1996). “The Philosophy of Artificial Intelligence”, What has AI in Common with Philosophy?

[39] **** CAPTCHA (Completely Automated Public Turing test to tell Computers and Humans Apart) — полностью автоматизированный публичный тест Тьюринга для различения компьютеров и людей.

[40] Луис фон Ан. Массовое онлайн-сотрудничество // Конференция TED, 2011.

[41] См. патент Method and system for discriminating a human action from a computerized action. 2004-03-01 (https://patents.google.com/patent/US20050114705A1/en).

[42] Samuel A. (1959). Some Studies in Machine Learning Using the Game of Checkers / IBM Journal of Research and Development, Vol. 3, Iss. 3, pp. 210—229 // https://doi.org/10.1147/rd.33.0210

[43] Воронцов К. В. Математические методы обучения по прецедентам (теория обучения машин) // http://www.machinelearning.ru/wiki/images/6/6d/Voron-ML-1.pdf

[44] Goled S. (2021). Self-Supervised Learning Vs Semi-Supervised Learning: How They Differ / Analytics India Magazine, May 7, 2021 // https://analyticsindiamag.com/self-supervised-learning-vs-semi-supervised-learning-how-they-differ/

[45] Воронцов К. В. Математические методы обучения по прецедентам (теория обучения машин) // http://www.machinelearning.ru/wiki/images/6/6d/Voron-ML-1.pdf

[46] The measurement of man // http://www.galtoninstitute.org.uk/sir-francis-galton/psychology-statistics-criminology/

[47] Galton F. (1886). Regression Towards Mediocrity in Hereditary Stature. The Journal of the Anthropological Institute of Great Britain and Ireland, Vol. 15, pp. 246—263 // http://www.jstor.org/stable/2841583

[48] Воронцов К. В. Математические методы обучения по прецедентам (теория обучения машин) // http://www.machinelearning.ru/wiki/images/6/6d/Voron-ML-1.pdf