Последнее изобретение человечества: Искусственный интеллект и конец эры Homo sapiens: читать книгу онлайн полностью и бесплатно

Системе LIDA[29], вероятно, не приходится беспокоиться о том, откуда взять комплектующие для следующей модернизации. По когнитивной архитектуре LIDA немного напоминает OpenCog, а финансирует ее военно-морское ведомство США. LIDA основана на архитектуре (именуемой IDA), которую флот использует для поиска работы для моряков, чья служба подходит к концу. При этом «она» демонстрирует зачатки человеческих когнитивных способностей — по крайней мере, так сказано в пресс-релизе соответствующего департамента:

Наконец, как мы уже говорили в главе 3, многие УЧИ-про- екты целенаправленно маскируются. Так называемые стелс- компании часто не скрывают своих целей (к примеру, Adaptive AI Фосса), но молчат о способах и методиках. Они не хотят раскрывать свои технологии конкурентам и последователям и становиться мишенью промышленного шпионажа. Другие стелс- компании не говорят о своей деятельности, но не стесняются выпрашивать средства. Siri — компания, создавшая хорошо принятую пользователями с НЛП-подготовкой программу-секретаря для Apple iPhone, — была зарегистрирована буквально как «Stealth Company». Приведем цитату с сайта компании перед выходом ее на рынок:

А теперь поговорим о финансировании и DARPA, а также о странной истории, которая приведет нас обратно к Siri.

В 1960–1990 гг. DARPA финансировало больше исследований ИИ, чем другие государственные организации и частные корпорации. Без финансирования со стороны DARPA компьютерной революции, может, просто не случилось бы, а ИИ если и начал бы развиваться, то намного медленнее и позже. В «золотой век» ИИ в 1960-е гг. агентство инвестировало в фундаментальные исследования ИИ в Университете Карнеги-Мел- лона, в Массачусетском технологическом институте, Стэнфордском университете и Стэнфордском исследовательском институте. И сегодня в этих учреждениях активно продолжаются работы по разработке ИИ; что характерно, все они, кроме Стэнфорда, открыто признают свои планы по созданию УЧИ или чего-то подобного.

Многие знают, что DARPA (тогда оно называлось ARPA) финансировало исследования, в результате которых был изобретен Интернет (первоначально называвшийся ARPANET), а также тех, кто разрабатывал вездесущий ныне GUI, или Графический пользовательский интерфейс, одну из версий которого вы, вероятно, видите всякий раз при использовании компьютера или смартфона. Помимо этого, агентство в значительной степени финансировало разработку «железа» и программного обеспечения для параллельной обработки данных, распределенных вычислений, компьютерного зрения и обработки естественного языка. Его вклад в фундамент компьютерных наук не менее важен для ИИ, чем сегодняшнее финансирование, нацеленное на конкретный результат.

Как DARPA расходует свои деньги? В недавнем годовом бюджете $61,3 млн выделено по категории «машинное обучение» и $49,3 млн — по категории «когнитивные вычисления». Однако проекты ИИ финансируются также по категории «информационные и коммуникационные технологии» ($400,5 млн) и «секретные программы» ($107,2 млн).

Судя по описанию в бюджете DARPA программ по когнитивным вычислениям, их цели в высшей степени амбициозны.

Если вам кажется, что это похоже на описание УЧИ, то вы правы. Само агентство DARPA не занимается разработками, оно поручает это другим, так что деньги из бюджета агентства достаются (по большей части) университетам в форме исследовательских грантов. Так что помимо проектов УЧИ, о которых мы уже говорили и участники которых стараются параллельно создавать выгодные побочные продукты и с их помощью финансировать разработку УЧИ, имеется небольшая, но куда лучше финансируемая группа проектов, связанных с вышеупомянутыми учреждениями и опирающихся на поддержку DARPA. В качестве примера можно назвать проект SyNAPSE в МТИ, о котором мы говорили в главе 4. Эта попытка создания компьютера, аналогичного по форме и функциям мозгу млекопитающего, полностью финансируется DARPA. Для начала этот мозг станет мозгом роботов, призванных состязаться в разумности с мышами и кошками, но в конечном итоге достанется гуманоидным роботам. За восемь лет проект SyNAPSE уже обошелся DARPA в $102,6 млн. Аналогично, проект NELL Университета Карнеги-Меллона финансируется в основном DARPA с небольшим участием Google и Yahoo.

А теперь вернемся к Siri. В свое время DARPA финансировало проект CALO (Cognitive Assistant that Learns and Organizes) по созданию «когнитивного помощника, способного учиться и организовывать» — этакого компьютеризированного Радара О'Рейли[30] для офицеров. Название CALO связано с латинским словом «calonis», означающим «слуга солдата». CALO родился в SRI International (ранее — Стэнфордский исследовательский институт) — компании, созданной для развития коммерческих проектов на базе университетских исследований. Задача CALO? Читаем на сайте SRI:

Предполагалось, что в пределах собственной когнитивной архитектуры CALO соединит в себе такие инструменты ИИ, как обработка естественного языка, машинное обучение, представление знаний, человеко-компьютерное взаимодействие и гибкое планирование. DARPA финансировало CALO в 2003–2008 гг.; в проекте участвовали 300 исследователей из 25 учреждений, включая Boeing Phantom Works, Карнеги-Меллон, Гарвард и Йель. За четыре года из-под пера ученых вышло более 500 публикаций во многих областях знания, связанных с ИИ. И все это стоило американским налогоплательщикам $150 млн.

В целом CALO работал не так хорошо, как от него ожидали, но все же часть результатов представлялась перспективной — «механизм действия» (по контрасту с «поисковым механизмом»), который занимался такими вещами, как набор писем и текста под диктовку, различные вычисления и преобразования, консультации с расписанием полетов и установка напоминаний. SRI International — компания, координировавшая все предприятие, выделила из себя Siri (называемую для краткости стелс-компанией), чтобы собрать $25 млн дополнительных инвестиций и завершить разработку «механизма действия». В 2008 г. компания Apple Computer приобрела Siri примерно за $200 млн.

Сегодня программа Siri глубоко интегрирована в IOS — операционную систему iPhone. Это лишь небольшая часть того, чем обещала стать CALO, но это гораздо более умная штука, чем большинство приложений для смартфонов. А как же военные, которые должны были получить CALO? Им это тоже будет полезно — армия возьмет в сражение iPhone с предустановленной системой Siri и секретными боевыми приложениями.

Таким образом, одна из серьезных причин того, что финансирование не станет узким местом создания УЧИ и не замедлит интеллектуальный взрыв, состоит в том, что в нашем мире налогоплательщики, такие как вы и я, сами оплачивают разработку УЧИ компонент за компонентом, через DARPA (Siri), ВМС (LIDA) и другие открытые и не слишком открытые ветки правительства США. Затем мы оплачиваем все то же самое еще раз, теперь уже как важный новый компонент наших смартфонов и компьютеров. Мало того, SRI International выпустила в свет еще один продукт, созданный на базе проекта CALO, — Trapit. Это контент-администратор — персонифицированный инструмент поиска, который находит в Сети интересующую вас информацию и показывает ее в упорядоченном виде.

Еще одна причина того, почему экономика не замедлит интеллектуальный взрыв, вот в чем: когда УЧИ появится или ученые хотя бы подойдут вплотную к его созданию, всем захочется в этом поучаствовать. Всем без исключения. Гертцель указывает, что появление интеллектуальных систем человеческого уровня произвело бы ошеломляющее действие на мировую экономику. Производители УЧИ получили бы неограниченный инвест-капитал на завершение и коммерциализацию новой технологии. Диапазон товаров и услуг с участием интеллектуальных агентов человеческого калибра потрясает воображение. Возьмите хотя бы работу, выполняемую «белыми воротничками» всех сортов, — кто не захотел бы обзавестись командой машин, умных как люди, которые работали бы круглосуточно и делали то же самое, что делают нормальные работники из плоти и крови, но без отдыха и ошибок? Или возьмите программирование: как сказал в главе 5 Стив Омохундро, мы, люди, плохие программисты, а компьютерный разум идеально подходит для того, чтобы программировать лучше нас (и очень скоро воспользоваться программистским ноу-хау для усовершенствования собственных внутренних процессов).

Согласно Гертцелю:

Далее стоит роботизировать УЧИ — поместить его в механическое тело — и перед нами откроются новые миры. Возьмите хотя бы опасные работы — добычу полезных ископаемых, морские и космические исследования, военное и пожарное дело, силовые ведомства. Добавьте обслуживание — заботу о пожилых и детях, обязанности слуг, служанок и личных секретарей. Роботы-садовники, шоферы, телохранители и личные тренеры. Наука, медицина, техника — какая область человеческой деятельности не испытала бы невероятный подъем с появлением команд никогда не устающих и по существу одноразовых разумных агентов человеческого уровня, работающих к тому же круглосуточно?

Далее, как мы уже говорили, международная конкуренция подтолкнет многие страны к покупке новой технологии или убедит вспомнить о собственных исследовательских проектах УЧИ. Гертцель говорит:

Другими словами, как только мы начнем делить планету с иным разумом, превосходящим человеческий, многое изменится; затем все изменится еще раз, когда произойдет предсказанный Гудом интеллектуальный взрыв и появится УЧИ.

Но прежде чем рассматривать эти перемены и другие важные препятствия для разработки УЧИ и интеллектуального взрыва, давайте завершим разговор о финансировании как критическом барьере. Говоря попросту, никакой это не барьер. Разработка УЧИ не испытывает нужды в деньгах по трем причинам. Во-первых, нет недостатка в проектах слабого ИИ, которые могут позже стать компонентами систем ИИ человеческого уровня, известных как когнитивные архитектуры. Во-вторых, даже горстка «неприкрытых» проектов УЧИ развивается полным ходом и достигает значительного прогресса с различным источниками финансирования, не говоря уже о вероятных стелс-проектах. В-третьих, по мере приближения технологий ИИ к человеческому уровню поток финансирования будет только увеличиваться, и рано или поздно он перенесет ИИ через финишную черту. Денежные вливания будут настолько серьезными, что хвост, по существу, начнет вилять собакой. Если не принимать во внимание другие узкие места, то создание сильного искусственного интеллекта станет двигателем мировой экономики, которая к тому же будет подпитываться общими ожиданиями бесчисленных перемен, которые он привнесет в нашу жизнь.

Чуть дальше мы рассмотрим еще одно критическое препятствие — сложность программного обеспечения. Мы выясним, так ли уж велика сложность программных архитектур, соответствующих человеческому интеллекту, чтобы их создание оказалось нам не под силу, и действительно ли впереди нас ждет вечная ИИ-зима

Глава 12

Последнее затруднение

Наше исследование интеллектуального взрыва выявило несколько серьезных вопросов. Искусственный интеллект человеческого уровня, когда он будет получен, окажется сложной системой, а сложные системы иногда отказывают вне зависимости от того, используют ли они программное обеспечение или нет. Системы ИИ и когнитивные архитектуры, о которых мы начали говорить, настолько сложные, по утверждению автора книги «Нормальные аварии» (Normal Accidents) Чарльза Перроу, что мы не можем предусмотреть все варианты комплексных отказов, которые могут в них возникнуть. Мы не отступим от истины, если скажем, что УЧИ, скорее всего, будет реализован как когнитивная архитектура и что по размерам и сложности он может превзойти облачный кластер из 30 ООО процессоров, выстроенный не так давно компанией Cycle Computing. А эта компания сама хвасталась, что «кошка- чудовище» была слишком сложная, чтобы за ее работой мог следить (чтобы его мог по-настоящему понять) человек.

Добавьте к этому тот тревожный факт, что части вероятных систем УЧИ, такие как генетические алгоритмы и нейронные сети, принципиально непознаваемы — мы не можем точно сказать, почему они принимают те или иные решения. И при всем том среди людей, работающих над созданием ИИ и УЧИ, лишь небольшая часть хотя бы сознает, что на этом пути нам могут грозить опасности. Большинство не рассматривает катастрофические сценарии и не планирует своего поведения на этот случай. Инженеры-атомщики Чернобыля и Тримайл-Айленда глубоко изучали всевозможные аварийные сценарии, но даже они не сумели эффективно вмешаться. Какие шансы справиться с УЧИ будут у неподготовленных ученых?

Наконец, подумайте о DARPA. Без этого агентства информатика как наука и все, что она нам дала, были бы сегодня на значительно более примитивном уровне. ИИ, если бы все же разрабатывался, сильно отставал бы от нынешнего состояния. Но DARPA — оборонное ведомство. Сознает ли оно, насколько сложным и непознаваемым может оказаться УЧИ? Готово ли к тому, что у УЧИ будут собственные потребности и мотивации, помимо тех задач, для решения которых он будет создан? Или получатели грантов DARPA вооружат продвинутый ИИ раньше, чем будет создана этика его использования?

Ответы на эти вопросы, когда они будут получены, могут нам не понравиться, особенно если не забывать о том, что на кону стоит будущее человечества.

Рассмотрим еще одно возможное препятствие для интеллектуального взрыва — сложность программного обеспечения. Утверждается следующее: мы никогда не получим УЧИ, или искусственный разум человеческого уровня, потому что задача его создания окажется слишком сложной для нас. Если это правда, то никакой УЧИ не сможет усовершенствовать себя в достаточной степени, чтобы запустить интеллектуальный взрыв. Искусственный разум не сможет создать чуть более умную версию самого себя, эта версия не построит еще более умный ИИ и т. д. Те же ограничения распространяются и на человеко-машинную связь — не исключено, что она сможет укрепить и усилить человеческий интеллект, но никогда по-настоящему не превзойдет его.

Посмотрим, как давно человек исследует проблему сложного программирования. В 1956 г. Джон Маккарти, которого называют отцом ИИ (именно он пустил в обращение термин «искусственный интеллект»), объявил, что всю проблему УЧИ можно решить за полгода. В 1970 г. пионер ИИ Марвин Мински сказал: «За период от трех до восьми лет мы получим машину, сравнимую по общему интеллекту со средним человеческим существом». Учитывая состояние науки на тот момент и пользуясь преимуществами послезнания, скажем, что оба они страдали от гордыни в классическом смысле. Греки под гордыней понимали высокомерие, причем часто по отношению к богам. Грех гордыни приписывали людям, которые пытались выйти за рамки человеческих возможностей. Вспомните Икара, попытавшегося подняться к Солнцу, Сизифа, сумевшего перехитрить Зевса (по крайней мере, на какое-то время), и Прометея, давшего людям огонь. Пигмалион, согласно мифологии, был скульптором и влюбился в одну из своих статуй, в Галатею (в переводе с греческого ее имя означает «спящая любовь»). Но Пигмалион не понес наказания. Вместо этого Афродита, богиня любви, оживила Галатею. Гефест, греческий бог-кузнец, помимо всего прочего, любил делать железные машины, которые помогали в работе с металлами. Он создал Пандору с ее ящиком, и Талоса — бронзового гиганта, защищавшего Крит от пиратов.

Парацельс, великий средневековый алхимик, известный тем, что связал медицину с химией, будто бы придумал формулу создания человекоподобных существ и гибридов человека и животных, называемых гомункулусами. Наполните мешок человеческими костями, волосами и спермой, затем заройте его вместе с лошадиным навозом. Подождите сорок дней. Народится человекоподобный младенец и будет жить, если кормить его кровью. Он навсегда останется крохотным, но будет выполнять ваши приказы, пока не взбунтуется и не убежит. А если вы хотите получить помесь человека с другим животным, скажем, с лошадью, замените в рецепте человеческие волосы конскими. Я, надо сказать, мог бы придумать десяток применений крохотному человечку (чистить теплопроводные каналы в стенах и т. п.), но вот к какому делу можно приставить крохотного кентавра, ума не приложу.

Задолго до появления Лаборатории робототехники в МТИ и «Франкенштейна» Мэри Шелли существовала еврейская легенда о големе. Подобно Адаму, голем — существо мужского пола, сотворенное из глины. В отличие от Адама, голем оживлен не дыханием Господа, а распевными словами и числами, которые произносит равви-каббалист, верящий в упорядоченность Вселенной и божественность чисел. Имя Бога, написанное на клочке бумаги и вложенное в рот, поддерживает в этом безгласном, но вечно растущем существе «жизнь». В еврейском фольклоре раввины-волшебники использовали голе- мов в качестве лакеев и домашних слуг. Самый знаменитый голем по имени Йосель, или Иосиф, был создан в XVI в. главным раввином Праги Иехудой Лёвом. В эпоху, когда евреев то и дело обвиняли в использовании крови христианских младенцев при приготовлении мацы, Йосель без устали разоблачал «кровавых» клеветников, ловил воров в еврейском квартале Праги и вообще помогал рабби Лёву бороться с преступностью. В конце концов, согласно легенде, Йосель взбесился и начал крушить все вокруг. Чтобы спасти соплеменников, раввин вступил с големом в схватку и вынул оживляющий клочок бумаги из его рта. Йосель рассыпался на куски. По другой версии, рабби Лёв был раздавлен падающим гигантом насмерть — уместное наказание за гордыню, толкнувшую его на акт творения. Еще по одной версии, жена рабби Лёва приказала Йоселю принести воды, а он начал носить и носил до тех пор, пока дом его создателя не был полностью затоплен. В информатике незнание того, остановится программа вовремя или нет, называют «проблемой остановки». Хорошие программы работают до тех пор, пока не встретят команду остановиться, и в общем случае невозможно сказать наверняка, остановится ли когда-либо данная конкретная программа. В случае с големом жене рабби Лёва следовало уточнить, сколько воды нужно принести, — скажем, сто литров, — и тогда Йосель, вероятно, остановился бы, выполнив задание. Если верить легенде, она этого не сделала.

Проблема остановки — серьезный вопрос для программистов; бывает, что до запуска готовой программы не удается обнаружить скрытый в тексте бесконечный цикл. Кроме того, есть еще один интересный факт: невозможно написать приложение, которое определяло бы, актуальна ли для той или иной программы проблема остановки. На первый взгляд представляется, что такой диагностический отладчик вполне возможен, но еще Алан Тьюринг обнаружил, что это не так (причем до того, как появились компьютеры и программирование). Он сказал, что проблема остановки нерешаема, потому что, если отладчик наткнется на проблему остановки в тестируемой программе, он сам войдет в бесконечный цикл и не сможет определить присутствие этой проблемы. Вам, программисту, придется ждать от него ответа ровно столько же, сколько вы прождали бы остановки первоначальной программы. То есть очень долго, а может быть, даже целую вечность. Один из отцов искусственного интеллекта Марвин Мински указал, что «любой конечный автомат, будучи предоставлен сам себе, со временем перейдет в периодический повторяющийся режим. Продолжительность этого цикла не может превосходить число возможных внутренних состояний машины». Иными словами, при прогоне проблемной программы компьютеру с памятью средней емкости потребуется очень много времени, чтобы перейти в полностью циклический режим, который могла бы заметить диагностическая программа. Насколько много? В некоторых случаях больше, чем просуществует Вселенная. Так что для практических целей проблема остановки означает невозможность точно сказать, остановится данная конкретная программа или нет.

[29] LIDA (Learning Intelligent Distributed Agent) — обучение распределенных интеллектуальных агентов. — Прим. ред.

[30] Радар О'Рейли — герой американского сериала M*A*S*H (в российском прокате — «Чертова служба в госпитале МЭШ»), идеальный секретарь, способный предвидеть события и многое делать за начальника. — Прим пер.