Последнее изобретение человечества: Искусственный интеллект и конец эры Homo sapiens: читать книгу онлайн полностью и бесплатно

«В настоящий момент больше сотни иностранных разведывательных организаций пытаются проникнуть в цифровые сети, обеспечивающие проведение военных операций США, — сказал Линн. — На месте государств я бы не стал ручаться головой за то, что мы не сможем определить, кто это делает. Это было бы неразумно, а люди обычно умнеют, когда речь заходит об их собственном существовании».

Эта не слишком сильно замаскированная угроза напоминает о еще одной мере, которую протолкнул Линн, — считать Интернет новым театром военных действий, наряду с сушей, морем и воздухом. Это означает, что если киберкампания нанесет достаточный ущерб американскому народу, инфраструктуре или экономике, то министерство обороны США применит в ответ традиционное вооружение и тактику. В журнале Foreign Affairs Линн писал: «Соединенные Штаты оставляют за собой право по законам вооруженного конфликта отвечать на серьезные кибератаки уместными, пропорциональными и оправданными военными средствами».

Во время разговора с Линном меня поразило сходство между вредоносными программами и искусственным интеллектом. На примере киберпреступности легко увидеть, что компьютеры — асимметричный умножитель угрозы. Линн за время разговора не раз повторял: «Биты и байты могут нести угрозу не меньшую, чем пули и бомбы». Точно так же, в связи с опасностью ИИ, трудно представить себе, что небольшая группа людей с компьютерами может создать нечто, не уступающее и даже превосходящее по мощи оружие. Большинство из нас интуитивно сомневается в том, что творение кибермира может войти в наш мир и нанести нам реальный и серьезный вред. Все утрясется, говорим мы себе, а специалисты согласно отвечают зловещим молчанием или слабо кивают на оборонщиков. С появлением УЧИ равенство опасности, исходящей от байт и от бомб, станет реальностью, и нам придется с этим считаться. Что касается вредоносного ПО, то эту эквивалентность приходится принимать уже сейчас. Можно сказать, что разработчики вредоносного ПО заслуживают нашей благодарности за генеральную репетицию катастрофы, которую они навлекают на мир. Конечно, это не входит в их намерения, но фактически они помогают подготовиться к появлению продвинутого ИИ.

В целом состояние киберпространства сейчас не вызывает приятных чувств. В нем кишмя кишат вредоносные программы, атакующие со скоростью света и яростью пираний. Или это человеческая природа, усиленная техникой? Из-за откровенных уязвимостей старые версии операционной системы Windows подвергаются атакам стаи вирусов еще на стадии установки. Это как бросать кусочки мяса на землю в тропическом дождевом лесу, только происходит все в тысячу раз быстрее. И эта панорама кибернастоящего — лишь отражение будущего ИИ.

Киберутопическое завтра Курцвейла населено гибридами человека и машины, бесконечно мудрыми и не испорченными богатством. Вы надеетесь, что ваше цифровое «Я» будет, перефразируя Ричарда Бротигана, «машиной милосердной любви», но справедливее было бы сказать, что оно будет наживкой на крючке.

Но вернемся к взаимосвязи ИИ и вредоносного ПО. Какую отрезвляющую аварию могла бы выдать умная вредоносная программа?

Особенно интересная мишень — национальная энергосистема. В настоящее время продолжается громкая дискуссия о том, насколько она хрупка, насколько уязвима для хакеров — и вообще, кому может прийти в голову ломать ее? С одной стороны, энергосистема США не едина, а состоит из множества частных региональных систем производства, хранения и транспортировки энергии. Около 3000 организаций, включая примерно 500 частных компаний, владеют и управляют 10 млн км линий электропередач и массой сопутствующего оборудования. Не все электростанции и линии электропередач связаны между собой, и не все они связаны с Интернетом. Это хорошо — децентрализация делает энергосистемы более устойчивыми. С другой стороны, многие из них все же связаны с Интернетом и допускают удаленное управление. Постепенное внедрение «умной сети» означает, что скоро с Интернетом будут связаны все региональные сети и все энергосистемы наших домов.

Если говорить коротко, то умная сеть — полностью автоматизированная электросистема, которая по идее должна повысить эффективность использования электроэнергии. Она объединяет старые источники энергии — электростанции на угле и других видах ископаемого топлива — и более новые солнечные и ветровые станции. Контролем и распределением энергии по конечным потребителям занимаются региональные центры. Более 50 млн домашних электросистем уже успели «поумнеть». Проблема в том, что новая умная энергосистема окажется более уязвимой для катастрофических отключений, чем не такая уж тупая прежняя система. Об этом говорится в недавнем исследовании МТИ, озаглавленном «Будущее электрической сети»:

У энергосистемы есть одна особенность, которая делает ее королевой национальной инфраструктуры: без нее не работает ни одна из частей этой инфраструктуры. Ее отношения с остальной инфраструктурой полностью подходят под определение «сверхкритической связи» — термина, которым Чарльз Перроу описывает систему, части которой непосредственно и сильно влияют друг на друга. За исключением относительно небольшого числа домов, самостоятельно вырабатывающих электричество от солнца и ветра, сложно назвать, что не получает энергию от общей энергосистемы. Как мы уже отмечали, финансовая система США — это не просто электронная, но компьютеризированная и автоматизированная система. Автозаправочные станции, нефтеперерабатывающие заводы, даже солнечные и ветровые электростанции используют электричество, так что в случае отключения о транспорте можно забыть вообще. Отключение электричества угрожает продовольственной безопасности, поскольку грузовики, доставляющие продукты в супермаркеты, нуждаются в топливе. И в магазинах, и дома продукты, которые должны храниться в холодильнике, выдержат без него всего пару дней.

Очистка воды и доставка ее в большинство домов и на большинство предприятий требуют электричества. Без энергии невозможно утилизировать отходы канализации. В случае отключения электричества связь с пострадавшими районами тоже продержится недолго — столько, сколько аварийная связь проработает на аккумуляторах и автономных генераторах, требующих, естественно, топлива. Если не говорить о несчастных, которым не повезет застрять в лифтах, максимальной опасности подвергнутся пациенты в палатах интенсивной терапии и новорожденные. Анализ гипотетических катастроф, вырубающих значительные участки национальной энергосистемы, выявил несколько тревожных фактов. Если энергии не будет больше двух недель, большинство грудных детей в возрасте до года умрет от голода из-за отсутствия молочных смесей. Если энергии не будет год, примерно девять из десяти человек всех возрастов умрут от самых разных причин, в основном от голода и болезней.

В противоположность тому, что вы, может быть, думаете, американские военные не имеют независимых источников топлива и энергии, так что в случае крупномасштабного длительного отключения они не придут на помощь населению. Военные получают 99 % энергии из гражданских источников, а 90 % связи у них осуществляется по частным сетям, как и у всех остальных. Вам, вероятно, приходилось видеть военных в аэропортах — дело в том, что они тоже пользуются общей транспортной инфраструктурой. Как заметил Линн в одном из выступлений 2011 г., это еще одна причина, по которой нападение на энергетическую инфраструктуру будет означать начало реальной войны; такое нападение ставит под угрозу способность военных защитить страну.

Насколько известно моим собеседникам, лишь однажды за короткую жизнь Интернета хакерам удалось обрушить энергосистему. В Бразилии в 2005–2007 гг. в результате серии кибератак исчез свет в домах более чем 3 млн человек в десятках городов, а крупнейшие в мире заводы по переработке железной руды оказались отрезанными от общей энергосистемы. Неизвестно, кто это сделал, но когда процесс начался, власти были не в силах его остановить.

Специалисты-энергетики на собственном опыте убедились, что электросистемы тесно переплетены между собой в самом буквальном смысле; отказ в какой-то небольшой части вызывает лавину отказов и может вылиться в коллапс всей системы. Отключение 2003 г. на северо-востоке США всего за семь минут распространилось на всю канадскую провинцию Онтарио и на восемь американских штатов и оставило без света на двое суток 50 млн человек. Это отключение обошлось региону в $4–6 млрд. И оно не было намеренным — оказалось достаточно упавшего на провода дерева.

Быстрое восстановление системы было столь же незапланированным, как и авария. Многие промышленные генераторы и трансформаторы американской энергосистемы построены на других континентах, и в случае повреждения из-за аварии критически важных элементов системы замена может занять не дни, а месяцы. К счастью, во время северо-восточного отключения не пострадал ни один крупный генератор или трансформатор.

В 2007 г. министерство внутренней безопасности решило исследовать возможность киберразрушения критического оборудования. С этой целью в Национальной лаборатории в Айдахо — ядерном исследовательском центре — был подключен к Интернету турбогенератор. Затем исследователи взломали его сайт и изменили настройки. Министерство хотело посмотреть, можно ли таким образом заставить турбину стоимостью в миллион долларов, аналогичную множеству других турбин в национальной энергосистеме, дать сбой. Судя по рассказу очевидца, им это удалось:

Уязвимость, которую хотели исследовать в этом эксперименте, свойственна для североамериканской энергосистемы — это привычка подключать контрольную аппаратуру принципиально важного оборудования к Интернету, чтобы им можно было управлять дистанционно. Эту аппаратуру «защищают» паролями, инструментами сетевой защиты, шифрованием и другими средствами, через которые злодеи обычно проходят, как горячий нож сквозь масло. Устройство, управлявшее несчастным генератором, которым пожертвовали исследователи, используется в США повсеместно и известно как система управления, контроля и сбора данных (SCADA).

SCADA задействована для управления не только устройствами в энергосистеме, но и всевозможной современной аппаратурой, включая светофоры, атомные электростанции, нефте- и газопроводы, водоочистные станции и заводские конвейеры. Аббревиатуру SCADA знают все, даже домохозяйки, благодаря явлению под названием Stuxnet. Надо отметить, что Stuxnet вместе со своими родичами Duqu и Flame убедил даже самых закоренелых скептиков в том, что энергосистема действительно может подвергнуться атаке.

Stuxnet по сравнению с обычными вредоносными программами — это то же самое, что атомная бомба по отношению к пулям. Это компьютерный вирус, о котором специалисты говорят шепотом, называя его «цифровой боеголовкой» и «первым реальным кибероружием». Этот вирус не умнее других вирусов, но у него совершенно иные цели. Если другие вредоносные программы крадут номера кредиток и чертежи истребителей, то Stuxnet создан для уничтожения машин. Точнее, он был разработан для разрушения промышленного оборудования, связанного с логическим контроллером Siemens S7-300 — компонентом системы SCADA. Точкой входа для него служит уязвимый для вирусов персональный компьютер и операционная система Windows, управляющая контроллером. Этот вирус искал S7-300, работающие на газовой центрифуге горно-обогатительного комплекса по обогащению ядерного топлива в Натанзе (Иран), а также еще в трех местах этой страны.

В Иране один или несколько агентов пронесли на охраняемые предприятия флешки, зараженные тремя версиями вируса Stuxnet. Этот вирус способен путешествовать по Интернету (хотя при размере в полмегабайта он намного больше других вредоносных программ), но в данном случае обошлось без Всемирной сети. Как правило, на таких предприятиях один компьютер подключен к одному контроллеру, а от Интернета эти компьютеры отделяет «воздушный зазор». Но одна-единствен- ная флешка может заразить множество ПК или даже всю местную локальную сеть (LAN).

На заводе в Натанзе на компьютерах работали программы, позволяющие пользователям визуализировать данные о работе комбината, следить за их изменением и отдавать команды. Как только вирус получил доступ к одному компьютеру, началась первая фаза вторжения. Программа использовала четыре уязвимости «нулевого дня» в операционной системе Windows, чтобы перехватить управление этим компьютером и заняться поиском других.

Уязвимость «нулевого дня» — это такая прореха в системном ПО компьютера, которую до сих пор никто не обнаружил; прореха, делающая возможным неавторизованный доступ к компьютеру. Любой хакер мечтает об уязвимости «нулевого дня», и стоимость данных о нем на открытом рынке доходит до $500 ООО. Использование четырех таких уязвимостей одновременно было фантастическим расточительством, но оно многократно увеличивало шансы вируса на успех. Ведь в промежуток времени между изготовлением Stuxnet и моментом атаки одна или даже больше из этих прорех могли быть обнаружены и устранены.

Во второй фазе вторжения были задействованы две цифровые подписи, украденные у вполне легальных компаний. Эти подписи «сказали» компьютерам, что Stuxnet авторизован компанией Microsoft на проверку и изменение системного программного обеспечения. После этого Stuxnet распаковал и установил программу, которую нес внутри, — собственно вредоносную программу, нацеленную на контроллеры S7-300, управляющие газовыми центрифугами.

ПК, управлявшие комбинатом, и их операторы не почувствовали ничего необычного, когда Stuxnet перепрограммировал контроллеры SCADA так, чтобы те периодически ускоряли и замедляли центрифуги. Stuxnet спрятал свои команды от мониторинга, так что визуально для операторов работа комбината выглядела нормальной. Когда центрифуги начали гореть одна за другой, иранцы стали искать причину в самих механизмах. Вторжение длилось десять месяцев, причем, когда появлялась новая версия Stuxnet, она находила старую версию и обновляла ее. Всего в Натанзе вирус погубил от 1000 до 2000 центрифуг и, как утверждается, задержал иранскую программу создания ядерного оружия на два года.

Единодушие экспертов и самодовольные замечания сотрудников разведки США и Израиля оставляли мало сомнений в том, что именно эти две страны создали Stuxnet и что целью вируса была иранская ядерная программа.

Затем весной 2012 г. источник в Белом доме организовал утечку в The New York Times и сообщил, что Stuxnet и родственные ему вредоносные программы Duqu и Flame действительно были частью совместной американо-израильской кампании против Ирана под кодовым названием «Олимпийские игры». Ее участникам были Агентство национальной безопасности (АНБ) США и некая секретная организация в Израиле. Целью кампании действительно было затормозить иранскую программу разработки ядерного оружия и при этом избежать нападения Израиля на ядерные объекты Ирана традиционными средствами или предвосхитить его.

До того момента, когда было надежно установлено, что Stuxnet и его родичи созданы по инициативе администраций Буша и Обамы, могло показаться, что эти вирусы — громкий успех военной разведки. На самом деле это не так. «Олимпийские игры» стали провалом катастрофических масштабов, примерно таких же, как если бы в 1940-е гг. атомная бомба была сброшена вместе с ее чертежами.

Вредоносные программы никуда сами по себе не пропадают. Когда вирус случайно вышел за пределы комбината в На- танзе, по стране разошлись тысячи его копий. Затем заражению подверглись ПК по всему миру, но ни одна система SCADA больше не была атакована, потому что вирус не нашел больше ни одной мишени — логического контроллера Siemens S7-300. Но теперь любой способный программист мог бы взять Stuxnet, нейтрализовать в нем часть, ответственную за самоуничтожение, и настроить на использование против практически любого промышленного процесса.

Я не сомневаюсь в том, что такая операция в данный момент реализуется в лабораториях как друзей, так и врагов США и вредоносные программы уровня Stuxnet скоро будут продаваться в Интернете.

Выяснилось также, что Duqu и Flame — вирусы-разведчики. Они не несут деструктивной программы, а собирают информацию и отсылают ее домой — в штаб-квартиру АНБ в Форт-Миде (штат Мэриленд). Оба этих вируса, вполне возможно, были выпущены в Сеть раньше Stuxnet и использовались в рамках «Олимпийских игр», помогая определить расположение нужных производств в Иране и по всему Среднему Востоку. Duqu может регистрировать нажатия пользователем клавиш и тем самым обеспечивать человеку, находящемуся на другом континенте, возможность удаленно управлять зараженным компьютером. Flame может записывать и отправлять домой данные с камеры компьютера, с микрофона и почтовых аккаунтов. Как и Stuxnet, Duqu и Flame тоже могут быть «пойманы» и обращены против своих создателей.

Была ли операция «Олимпийские игры» необходима? В лучшем случае она на некоторое время притормозила иранские ядерные амбиции. Но здесь проявился тот самый близорукий взгляд, который портит многие технологические решения. Те, кто планировал «Олимпийские игры», не думал дальше чем на пару лет вперед, и никому даже в голову не пришла мысль о «нормальной аварии», которой неизбежно должна была кончиться эта затея, — о том, что вирус вырвется на свободу. Зачем так рисковать ради скромных результатов?