Последнее изобретение человечества: Искусственный интеллект и конец эры Homo sapiens: читать книгу онлайн полностью и бесплатно

Что, собственно, я имею в виду. Вероятность того, что первый УЧИ будет создан непременно в Исследовательском институте машинного интеллекта MIRI и потому в него будет встроен модуль дружественности, достаточно мала. И вряд ли создатели первого УЧИ будут особенно много думать о таких вопросах, как дружественность. Тем не менее существует несколько способов заблокировать недружественный УЧИ. Президент Института машинного интеллекта Майкл Вассар[13] рассказал мне об образовательной программе для элитных университетов и математических конкурсов. MIRI и еще одна дружественная организация, Центр прикладного разума (CEAR), организовали «тренировочные лагеря разума», в которых надеются обучить будущих потенциальных строителей ИИ и руководителей, определяющих техническую политику, рациональному мышлению. Когда новая элита подрастет, эта наука пригодится им в работе и поможет избежать самых неприятных ловушек ИИ.

Этот план может показаться наивным, но на самом деле MIRI и CEAR нащупали важный фактор ИИ-риска. Тема сингулярности привлекает общественное внимание, и вопросы сингулярности будут попадать в поле зрения все большего числа все более умных людей. Окно возможностей для просвещения народа и информирования о связанных с ИИ рисках потихоньку открывается. Но любой план создания совещательного или руководящего органа по вопросам ИИ уже опоздал с реализацией; некоторых катастроф избежать уже невозможно. Как упоминалось в главе 1, по крайней мере 56 стран занимается в настоящее время разработкой боевых роботов. Утверждают, что в разгар войны в Ираке три дрона SWORDS фирмы Foster-Miller, вооруженных пулеметами, были выведены из боевой зоны после того, как направили оружие против своих. В 2007 г. в Южной Африке роботизированная зенитная пушка убила 9 и ранила 15 солдат в результате инцидента, продолжавшегося одну восьмую долю секунды.

Конечно, это еще не Терминатор, но дальше — больше. Как только появится продвинутый ИИ, особенно если платить за него будет DARPA или аналогичное агентство другой страны, ничто на свете не помешает оснастить им боевых роботов. Более того, роботы могут послужить платформами для реализации машинного обучения, в результате которого и появится ИИ. Когда же появится дружественный ИИ (если это когда-нибудь произойдет), сами подумайте, станут ли частные компании — производители роботов устанавливать его в машины, разработанные для убийства людей? Акционерам это наверняка не понравится.

С дружественным ИИ есть и еще один вопрос: как, собственно, его дружелюбие переживет интеллектуальный взрыв? То есть останется ли дружественный ИИ таковым после того, как его интеллект вырастет в тысячу раз? Юдковски в статьях и выступлениях описывает то, что может при этом произойти, примерно так:

Лично меня этот тезис не убедил. Если мы не можем знать, как поведет себя разум более сильный, чем разум человека, как мы можем быть уверены, что он сохранит свою функцию полезности или основные представления о морали? Разве не может случиться так, что он, поумнев в тысячу раз, рассмотрит и отвергнет запрограммированное дружелюбие?

Но что, если при тысячекратном по сравнению с человеческим росте интеллекта произойдет какой-то системный сбой, который мы сегодня не можем даже предугадать? К примеру, у нас с плоскими червями много общей ДНК. Но вряд ли мы прониклись бы их целями и моралью, если бы даже узнали, что много миллионов лет назад именно плоские черви создали нас, наделив собственными ценностями. Согласитесь, очень скоро мы оправились бы от первоначального удивления и продолжили бы делать ровно то, что считали нужным.

«Очень понятно, почему возникают такие подозрения, — заметил Юдковски. — Но создание дружественного ИИ не похоже на обучение или инструктирование человека. У людей уже есть собственные цели, собственные эмоции и собственные средства реализации. У них есть собственная структура для размышлений о моральных вопросах. Внутри нас существует нечто, что внимательно рассматривает каждое поступающее указание и решает, выполнять его или нет. В случае с ИИ вы формируете разум целиком с нуля. Если убрать из ИИ все программные коды, останется девственно чистый компьютер, который не будет ничего делать, потому что делать ему будет нечего.

И все же я сказал: «Если завтра я поумнел бы в тысячу раз по сравнению с собой сегодняшним, то мне кажется, я оглянулся бы на свои сегодняшние заботы с мыслью о том, что "все это пустое". Не верится, что для моего нового тысячесильного разума то, что я ценил вчера, сохранило бы хоть какую-то значимость».

«У вас есть специфическая эмоция "все это пустое", и вы уверены, что у сверхразума она тоже будет, — заметил Юдковски. — Это антропоморфизм. ИИ устроен и работает не так, как вы, и у него нет эмоции типа "все это пустое"».

Но, сказал он, есть одно исключение. Речь идет о человеческом разуме, загруженном в компьютер. Это еще один путь к созданию УЧИ, который иногда путают с обратным проектированием мозга. Обратное проектирование предполагает сначала разобраться до тонкостей в человеческом мозге, а затем представить то, что мозг делает, в виде схем и программ. В конце этого процесса вы получите компьютер, обладающий искусственным интеллектом человеческого уровня. Проект Blue Brain фирмы IBM нацелен на достижение этого результата к началу 2020-х гг.

С другой стороны, загрузка готового разума в компьютер, которую называют также полной эмуляцией мозга, — это моделирование человеческого разума, такого как ваш, на компьютере. В конце этого процесса вы остаетесь при своем мозге (если, конечно, процесс сканирования и переноса мозга не разрушает его, как считают некоторые эксперты), а внутри машины появляется ваша мыслящая и чувствующая копия.

Мне еще предстояло узнать в ходе своих исследований, что многие специалисты оспаривают концепцию дружественного ИИ, исходя из других соображений. На следующий день после встречи с Юдковски я разговаривал по телефону с доктором Джеймсом Хьюзом, заведующим кафедрой философии Тринити-колледжа и исполнительным директором Института этики и новых технологий IEET. Хьюз пытался доказать слабость идеи о том, что функция полезности ИИ не может меняться.

Веб-сайт лаборатории идей Хьюза, IEET, показывает, что их критика относится в равной степени ко всем; их тревожат не только опасности ИИ, но и опасности нанотехнологий, биотехнологий и других рискованных новинок. Хьюз считает, что сверхразум опасен, но шансы на его скорое появление невелики. Однако он настолько опасен, что связанный с его появлением риск должен рассматриваться в одном ряду с неминуемыми катастрофами, такими как повышение уровня Мирового океана и прилет гигантского астероида (то и другое относится к первой категории по шкале рисков Уоррена Льюиса, о которой шла речь в главе 2). Хьюз согласен и с другим моим утверждением: первые шаги развития ИИ на пути к сверхразуму (Хьюз называет его «богом в ящике») тоже опасны.

Мысль о боге, который выскакивает из ящика, напомнила мне еще об одном незаконченном деле — об эксперименте «ИИ в ящике». Напомню вкратце. Елиезер Юдковски играл в этом эксперименте роль ИСИ, заключенного в компьютере без всякой физической связи с внешним миром (ни проводов, ни роутеров, ни беспроводной связи). Цель Юдковски: выбраться из «ящика». Цель Привратника: удержать его в заточении. Игра велась в чате, переговоры игроков шли в текстовой форме. Каждый сеанс продолжался не более двух часов. Вариант полного молчания, которое утомило бы Привратника до смерти и вынудило к сдаче, не был запрещен, но никогда не использовался.

В 2002–2005 гг. Юдковски сыграл против пяти Привратников. Трижды он (вернее, его герой-ИСИ) «сбежал» и дважды остался узником ящика. Как ему удалось уйти? Я вычитал в Сети, что одним из правил эксперимента была секретность переписки между ИСИ и Привратником, так что ответа на этот вопрос я не знал. Но почему такая секретность?

Поставьте себя на место Юдковски. Если у вас в роли «ИИ в ящике» есть какие-то хитроумные способы бегства, зачем же открывать их всем подряд и таким образом предупреждать следующего Привратника? А если вам захочется повторить уже использованный метод? А во-вторых, если вы пытаетесь изобразить силу убеждения существа в тысячу раз более умного, чем самый умный человек, то вам, возможно, захочется слегка выйти за рамки социально приемлемого диалога. А может быть, и не слегка. И кто захочет делиться этим со всем миром?

Эксперимент «ИИ в ящике» важен потому, что одним из вероятных последствий деятельности сверхразума без вмешательства человека является уничтожение человечества — и противоборство с ним человечество, судя по всему, выиграть не сможет. Тот факт, что Юдковски в роли ИИ выиграл три раза из пяти, еще сильнее встревожил и заинтриговал меня. Может быть, он гений, но он, в отличие от ИСИ, наверняка не в тысячу раз умнее самого умного человека. И вообще, дурному или безразличному ИСИ достаточно всего один раз выбраться из пресловутого ящика.

Кроме того, эксперимент «ИИ в ящике» заинтриговал меня еще и тем, что, по существу, это вариант старого доброго теста Тьюринга. Этот тест, разработанный в 1950 г. математиком, компьютерщиком и участником взлома немецких шифров во время Второй мировой войны Аланом Тьюрингом, предназначен для определения разумности машины. В этом тесте судья задает компьютеру и человеку письменные вопросы, и если по ответам он не в состоянии определить, кто из его собеседников — человек, а кто — компьютер, то компьютер выигрывает.

Но есть одна хитрость. Тьюринг понимал, что мышление, как и разум, — скользкая тема. И тому и другому сложно дать определение, хотя мы без проблем узнаем то и другое при встрече. Чтобы пройти тест Тьюринга, ИИ не обязательно должен думать как человек, потому что откуда кому бы то ни было знать, как именно он думает? Однако ему необходимо убедительно притвориться, что он думает как человек, и выдавать на все вопросы человекоподобные ответы. Сам Тьюринг называл свой тест «имитационной игрой». Он отвергал возражения критиков относительно того, что машина, возможно, вовсе не будет думать по-человечески. Он писал:

Иными словами, он возражает против утверждения, которое следует из эксперимента с «китайской комнатой» Джона Сёрля: если машина не думает по-человечески, она не разумна. Большинство экспертов, с которыми мне довелось общаться, согласны с Тьюрингом. Если ИИ поступает разумно, кому какое дело, как выглядят его программы?

Однако существует по крайней мере две серьезные причины интересоваться этим вопросом. Прозрачность «мыслительного» процесса ИИ хотя бы до того момента, когда он уйдет далеко вперед и будет уже недоступен нашему пониманию, необходима для нашего выживания. Если мы хотим попытаться внушить ИИ дружелюбие или любые другие моральные качества или установить некие предохранители, необходимо до тонкостей понимать, как он работает, прежде чем он сможет модифицировать себя. После начала этого процесса наши вводные потеряют смысл. Кроме того, если когнитивная архитектура ИИ будет повторять архитектуру человеческого мозга или компьютерной копии человеческого мозга, она, возможно, будет менее чуждой, чем разработанная «с нуля» архитектура ИИ. Но специалисты по компьютерам ожесточенно спорят, будет ли такая связь с человечеством полезна, решит она проблемы или только создаст новые.

Ни одному компьютеру до сих пор не удалось пройти тест Тьюринга, хотя каждый год проводится конкурс на премию Лебнера, которую учредил филантроп Хью Лебнер для создателей компьютера, который пройдет этот тест. Но пока главный приз в $100 000 остается невостребованным, ежегодно $7000 выплачивается создателю «наиболее человекоподобного компьютера». Несколько последних лет этот приз достается чатботам — роботам, созданным для поддержания разговора (без особого успеха). Марвин Мински, один из пионеров в области искусственного интеллекта, предложил $100 тому, кто уговорит Лебнера отозвать свою премию. По мнению Мински, это «избавило бы нас от ужаса этой отвратительной и бесполезной ежегодной шумихи».

Как же Юдковски удалось уговорить свою «охрану»? Надо сказать, у него был богатый выбор кнутов и пряников. Он мог обещать богатство, излечение от болезни, изобретения, способные полностью покончить с голодом и нуждой. Решительное превосходство над врагами. Со стороны кнута можно оперировать надежным инструментом социального инжиниринга — страхом. Что, если в этот самый момент ваши враги готовятся применить против вас собственный ИСИ? В реальной жизненной ситуации это вполне может сработать — но как насчет ситуации искусственной, такой как в эксперименте «ИИ в ящике»?

Когда я задал Юдковски вопрос о его методах, он рассмеялся, потому что все ожидают каких-то дьявольски хитрых решений — каких-то логических фокусов, тактических ходов по типу «дилеммы заключенного», может быть, чего-то тревожного. На самом деле происходило все совершенно не так.

«Я шел трудным путем», — сказал Юдковски.

В трех успешных попытках, сказал он мне, он просто пресмыкался, упрашивал и разглагольствовал. Привратники в конце концов выпускали его и оплачивали проигрыш. А те два раза, когда ему не удалось вырваться, он тоже умолял. Ощущения у него после этого были не самые приятные, и он поклялся никогда больше не повторять этот эксперимент.

Покидая жилище Юдковски, я понял, что он не сказал мне всей правды. Какие просьбы могут подействовать на человека, который решительно настроен не поддаваться на уговоры? Неужели он мог сказать: «Спаси меня, Елиезер Юдковски, от публичного унижения! Спаси меня от боли поражения!» Или, может, Юдковски как человек, посвятивший свою жизнь разоблачению опасностей ИИ, мог договориться со своим противником о мета-сделке. О сделке, связанной с самим экспериментом «ИИ в ящике». Он мог, к примеру, сказать: «Помоги мне показать миру, что человек ненадежен и нельзя доверять ему контроль за ИИ!»

Конечно, такой вариант хорошо сработал бы на пропаганду и привлек бы немало сторонников. Но никаких уроков об обращении с ИИ в реальном мире из этой ситуации извлечь было бы невозможно.

Вернемся к дружественному ИИ. Если создание такого ИИ представляется маловероятным, означает ли это, что интеллектуальный взрыв неизбежен? Неужели ИИ обязательно окажется на свободе? Если вы, как и я, всегда считали, что компьютеры сами по себе инертны и не создают проблем, вас это удивит. Зачем, спрашивается, ИИ будет делать что бы то ни было, тем более умолять, угрожать или убегать?

Чтобы прояснить этот вопрос, я разыскал разработчика ИИ Стивена Омохундро, президента компании Self-Aware Systems.

[13] В январе 2012 г. Майкл Вассар покинул пост президента MIRI, чтобы участвовать в основании Meta Med — новой компании, предлагающей персонилизированную, основанную на научных данных диагностику и лечение. Его сменил Люк Мюлбхаузер. — Прим. авт.