Последнее изобретение человечества: Искусственный интеллект и конец эры Homo sapiens: читать книгу онлайн полностью и бесплатно

В марте 2012 г. в передаче «60 Minutes» на CBS бывшего главу подразделения киберзащиты министерства внутренней безопасности Шона Макгурка спросили, стал бы он создавать Stuxnet или нет. Приведем последовавший диалог между Макгурком и корреспондентом Стивом Крофтом:

М.: [Создатели Stuxnet] открыли пресловутый ящик. Они продемонстрировали возможность. Они показали свою способность и желание сделать это. И это такая вещь, которую невозможно спрятать обратно.

К.: Если бы кто-то в правительстве пришел к вам и сказал: «Послушайте, мы думаем вот что сделать. Что вы об этом думаете?» — что бы вы им ответили?

М.: Я серьезно предостерег бы их от этого, потому что все последствия выпуска в мир текста подобной программы невозможно предусмотреть.

К.: В смысле, что другие люди позже могли бы использовать ее против вас?

М.: Да.

Этот эпизод заканчивается разговором с немецким специалистом по управляющим системам Ральфом Лангнером. Лангнер «вскрыл» Stuxnet, разобрав его «по косточкам» в лаборатории и протестировав скрытую в нем программу. Он рассказал в эфире, что Stuxnet резко понизил стоимость террористической атаки на энергосистему США — приблизительно до миллиона долларов. Где-то в другом месте Лангнер предупредил о массовых жертвах, к которым могут привести незащищенные управляющие системы по всей Америке, на «важных предприятиях, связанных с энергетикой, водой и химическим производством ядовитых газов».

«Что действительно тревожит, так это идеи, которые Stuxnet подарил хакерам, — сказал Лангнер. — Прежде атаку такого типа могли осуществить, скажем, лишь пять человек. Теперь их скорее пятьсот, и каждый может это сделать. Необходимая квалификация и уровень, нужный для подобных вещей, существенно снизились, просто потому что многое можно скопировать из Stuxnet».

Если верить The New York Times, Stuxnet вырвался на свободу потому, что после первых успехов в уничтожении иранских центрифуг его создатели расслабились.

Дело не только в том, что ошибка программистов привела к инциденту с серьезными последствиями для национальной безопасности. Это практически пробный прогон сценария Busy

Child, и люди, которые работают в высших кругах правительства, обладающие самым высоким допуском и величайшей технической компетенцией, позорно его провалили. Мы не знаем, к каким последствиям приведет попадание этой мощной технологии в руки наших врагов. Насколько серьезны будут эти последствия? Для начала это может быть атака на элементы энергосистемы США. Кроме того, атаки на атомные электростанции, места хранения ядерных отходов, химические заводы, поезда и авиалинии. Короче говоря, все достаточно плохо. Очень важно, как отреагирует на события Белый дом и какие планы он будет строить. Я опасаюсь, что, хотя Белый дом должен был бы укреплять системы, которые Stuxnet сделал более уязвимыми, ничего конструктивного в настоящий момент не происходит.

Кстати говоря, репортер Times намекает, что вирус разумен. Ведь он обвиняет Stuxnet в когнитивной ошибке: вирус «не смог понять», что находится уже не в Натанзе. Чуть позже в том же материале вице-президент Джо Байден обвиняет израильтян в ошибке в программе. Конечно, обвинить есть в чем. Но столь безрассудное и неуместное использование интеллектуальной технологии, с одной стороны, ошеломляет, а с другой — вполне предсказуемо. Stuxnet — просто первая в серии «аварий», с которыми мы не сможем справиться без тщательнейшей подготовки.

Если технари и специалисты-оборонщики, работающие в Белом доме и Агентстве национальной безопасности, не в состоянии контролировать узкоинтеллектуальную вредоносную программу, каковы шансы на то, что их коллеги смогут справиться с будущим УЧИ или ИСИ?

Никаких шансов.

Киберспециалисты проводят военные игры с кибератаками, составляют сценарии катастроф и пытаются таким образом учиться и искать решения. Они пользуются такими словами, как «кибервойна» и «ударная киберволна». Никогда, однако, участники военных игр не предполагали, что мы сами будем наносить себе ущерб, что неизбежно в двух случаях. Во-первых, как мы уже говорили, США участвовали в создании семейства Stuxnet, которое вполне может стать аналогом АК-47 в нескончаемой кибервойне: дешевое, надежное, массово производимое оружие. Во-вторых, я уверен, что ущерб от применения оружия уровня ИИ будет идти не только из-за рубежа, но и из собственного «дома».

Сравните долларовую стоимость террористических атак и финансовых скандалов. Нападение «Аль-Каиды» 11 сентября 2001 г. обошлось США приблизительно в $3,3 трлн, если учесть последовавшие войны в Афганистане и Ираке. Но даже если не считать эти войны, то непосредственный ущерб от физических разрушений, экономических последствий и раздутых расходов на безопасность составил почти $767 млрд. Скандал с субстандартным ипотечным кредитованием[35], вызвавший худший глобальный спад со времен Великой депрессии, стоил около $10 трлн в мировом масштабе и порядка $4 трлн в США. Скандал с компанией Enron стоил примерно $71 млрд, а мошенничество Верни Мэдоффа — почти столько же, $64,8 млрд.

Эти цифры показывают, что по денежной стоимости финансовое мошенничество может поспорить с самым страшным терактом в истории, а субстандартное ипотечное кредитование намного его обгоняет. Когда исследователи передадут продвинутый ИИ в руки бизнесменов (что непременно произойдет), эти люди внезапно окажутся обладателями самой мощной технологии из всех когда-либо созданных. Некоторые используют ее для нового мошенничества. Я считаю, что следующая кибера- така будет представлять собой «дружественный огонь», то есть будет исходить изнутри страны; при этом она будет разрушать инфраструктуру и убивать американцев.

Звучит неубедительно?

Enron — замешанную в скандале техасскую корпорацию — возглавляли Кеннет Лэй (ныне покойный), Джеффри Скил- линг и Эндрю Фастоу (оба нынче в тюрьме); занималась компания продажей электроэнергии. В 2000 и 2001 гг. трейдеры Enron подняли в Калифорнии цены на электроэнергию при помощи стратегий, известных как «Толстый мальчик» и «Звезда смерти». В одной схеме трейдеры повышали цены, втайне приказывая энергопроизводящим компаниям отключать станции. Второй план подвергал опасности жизни людей.

Enron обладал правами на жизненно важную линию электропередач, соединяющую Северную Калифорнию с Южной. В 2000 г., перегрузив линию потребителями во время летней жары, компания создала «фантомную», или ложную, сетевую перегрузку и «бутылочное горлышко» в доставке энергии к потребителю. Цены взлетели до небес, а электричество оказалось в серьезном дефиците. Калифорнийские чиновники подавали энергию в одни районы, одновременно погружая во мрак другие, — известная практика «веерных отключений». Эти отключения вроде бы не вызвали гибели людей, но испугали очень многих: целые семьи оказывались запертыми в лифте, а улицы освещались только фарами проезжающих авто. Apple, Cisco и другие корпорации вынуждены были временно закрыться с потерей миллионов долларов.

Но сам Enron заработал на этом миллионы. Было зафиксировано, как во время отключения электричества один трейдер сказал: «Просто отключи их. Вот идиоты! Им бы лучше вернуть чертовых лошадей и коляски, и чертовы лампы, чертовы керосиновые лампы».

Сегодня этот трейдер — энергетический брокер в Атланте. Но дело в том, что, если бы руководители Enron имели доступ к умному вредоносному ПО, которое могло бы помочь им оставить Калифорнию без электричества, как вы думаете, они постеснялись бы им воспользоваться? Я думаю, нет, даже если это означало бы ущерб для энергосистемы и гибель людей

Глава 16

УЧИ 2.0

Чем больше времени я провожу с разработчиками ИИ и результатами их трудов, тем все более убеждаюсь, что УЧИ появится совсем скоро. И я уверен, что, когда это произойдет, его создатели обнаружат, что получилось не то, на что они рассчитывали, когда брались за это дело несколько десятилетий назад. Дело в том, что искусственный интеллект, возможно, получится человеческого уровня, но он не будет похож на человеческий интеллект по всем тем причинам, которые я перечислил. Будет много шума о том, что мы создаем на планете новый вид. Это будет круто. Но не будет уже разговоров о том, что УЧИ — следующий эволюционный шаг для homo sapiens, и обо всем, что с этим связано. По существу, мы просто не сможем понять, что представляет собой наше создание.

В своей области новый вид будет столь же силен, как Watson в своей. Если даже он будет сосуществовать с нами в качестве нашего орудия, он обязательно запустит свои щупальца во все уголки нашей жизни так, как и не снилось Google и Facebook. Социальные сети могут оказаться для него инкубатором, или средством распространения, или тем и другим сразу. Если поначалу ИИ будет нашим инструментом, то ответы у него будут готовы прежде, чем мы успеем сформулировать вопрос. В целом он будет лишен чувств. У него не будет за плечами нашего происхождения и природы млекопитающих, нашего долгого детства, необходимого для формирования мозга, или нашего инструктивного воспитания, даже если выращивать его, как человека, от младенчества до взрослости. Вероятно, он будет питать к вам не больше чувств, чем тостер у вас на кухне.

Это будет УЧИ версии 1.0. Если по какой-то случайности мы избежим интеллектуального взрыва и просуществуем достаточно долго, чтобы повлиять на создание УЧИ 2.0, возможно, его удастся наделить чувствами. К тому моменту ученые, может быть, выяснят, как сделать вычислительную модель чувств (возможно, с помощью 1.0), но чувства будут вторичной целью после первичной — делания денег. Ученые, возможно, научатся развивать эти синтетические чувства в направлении симпатии к нашему существованию. Но, скорее всего, 1.0 будет последней версией, которую мы увидим, потому что этого события мы не переживем и до создания 2.0 дело не дойдет. Подобно естественному отбору, мы выбираем работающие решения, а не лучшие.

Stuxnet тому — наглядный пример. Как и автономные дроны-убийцы. С финансированием DARPA ученые в Исследовательском институте Технологического университета Джорджии разработали программное обеспечение, позволяющее автоматическим транспортным средствам распознавать врагов при помощи программ зрительного распознавания и других средств, а затем наносить по ним смертельный удар при помощи вооруженного дрона. И все это вообще без участия человека. В статье, которую я читал об этом, была и фраза, призванная продемонстрировать благие намерения: «Авторизация машины на принятие смертельных боевых решений — дело политических и военных руководителей, решающих юридические и этические вопросы».

Это напоминает мне старый афоризм: «Был ли хоть один случай, когда оружие было изобретено, но не использовалось?» Быстрый поиск в Google выдал пугающий список вооруженных роботов, предназначенных для автономного убийства и нанесения ранений (один из них, изготовленный фирмой iRobot, орудует тазером), ожидающих только разрешения. Я уверен, что эти машины будут использованы задолго до того, как мы с вами об этом узнаем. Политики, расходующие общественные деньги, не сочтут необходимым заручиться нашим информированным согласием — точно так же, как не сделали этого перед тем, как запустить Stuxnet.

В ходе работы над этой книгой я просил ученых разговаривать человеческим языком, так чтобы было понятно даже непосвященным. Самые продвинутые из них так и делали, и я уверен, что это должно быть общим требованием в разговорах о рисках ИИ. На самом общем уровне эта тема не должна относиться к исключительной прерогативе технократов и мастеров риторики, хотя, читая в Сети материалы, посвященные ИИ, можно подумать, что именно так и обстоит дело. Дискуссия об ИИ не требует особого, «инсайдерского», словаря. Она требует только уверенности в том, что опасности и ловушки ИИ касаются всех нас.

Кроме того, я встречался с небольшим числом людей, среди которых были и ученые, которые так прочно убеждены в невозможности создания опасного ИИ, что вообще не хотели обсуждать эту идею. Но те, кто уходит от обсуждения этого вопроса, — из-за апатии ли, по лени или благодаря информированному убеждению, — не одиноки. Общество практически не в состоянии разобраться в этом вопросе и следить за угрозой, что ничуть не мешает медленному и неотвратимому развитию машинного интеллекта. Однако непонимание угрозы не отменяет того факта, что у нас будет всего один шанс наладить позитивное сосуществование с теми, чей интеллект превышает наш.

[35] Субстандартный ипотечный кредит — кредит с особыми условиями, выдаваемый ненадежному заемщику в США. Кризис наступил, когда значительная часть заемщиков не смогла погасить кредит. — Прим. ред.