Но они, скорее всего, будут играть значительную роль в системах УЧИ. Сегодня многие исследователи уверены, что распознавание образов — то, на что был нацелен Перцептрон Розенблатта, — представляет собой главный инструмент интеллекта. Джефф Хокинс, изобретатель карманного компьютера Palm Pilot и коммуникатора Handspring Treo, первым реализовал на ИНС распознавание рукописного текста. Его компания Numenta создает УЧИ на основе технологии распознавания образов. Бывший главный технолог Numenta Дайлип Джордж теперь возглавляет фирму Vicarious Systems, корпоративные амбиции которой отражает девиз: «Мы создаем программное обеспечение, которое думает и учится, как человек».
Нейробиолог, когнитивист и инженер-биомедик Стивен Гроссберг предложил модель на основе ИНС, которая, по мнению некоторых специалистов, может привести к созданию УЧИ и, возможно, «ультраразума», потенциал которого Гуд видел в нейронных сетях. Если говорить в самом общем плане, сначала Гроссберг определяет роли в когнитивном процессе различных областей коры головного мозга. Именно здесь обрабатывается информация и рождается мысль. Затем он создает ИНС-модели всех задействованных областей. Он уже добился успеха в обработке движения и речи, распознавании формы и выполнении других сложных задач. Теперь он занимается разработкой логической связи своих модулей.
Возможно, машинное обучение было для Гуда новой концепцией, но при оценке Перцептрона для IBM он обязательно должен был столкнуться с алгоритмами машинного обучения. При этом манящая перспектива обучения машины подобно человеку вызвала у Гуда мысли о возможных последствиях, которые никому другому тогда еще не приходили в голову. Если машина способна сделать себя умнее, то эта новая, улучшенная машина способна будет сделать себя еще умнее, и т. д.
В бурные 1960-е, когда рождалась концепция интеллектуального взрыва, Гуд, возможно, думал о тех проблемах, с решением которых разумная машина могла бы помочь. Тогда уже не нужно было топить вражеские подлодки, но был на Земле враждебный Советский Союз, были Карибский кризис, убийство президента Кеннеди и опосредованная война между США и Китаем в Юго-Восточной Азии. Человечество катилось к гибели; казалось, настало время нового Колосса. В «Размышлениях» Гуд писал:
Так что, затратив еще некоторое количество долларов, можно получить ИСИ — искусственный суперинтеллект, говорит Гуд. Но затем берегись возможных последствий на уровне цивилизации — ведь планету придется делить с другим разумом, более мощным, чем человеческий.
В 1962 г., перед написанием «Размышлений о первой ультраразумной машине», Гуд редактировал книгу под названием «Ученый размышляет». Он написал для нее главу «Социальные последствия искусственного интеллекта» — своего рода разминку перед формированием идей о суперинтеллекте, над которыми он в то время размышлял. Он писал — а Стив Омохундро повторил за ним почти пятьдесят лет спустя, — что среди проблем, которыми придется заниматься разумным машинам, обязательно будут и проблемы, вызванные их собственным появлением на Земле, нарушающим сложившийся порядок.
Однако, как мне предстояло узнать, позже Гуд пережил удивительную метаморфозу и совершенно изменил свои взгляды. Я всегда причислял его к оптимистам, таким как Рэй Курцвейл, поскольку он видел в молодости, как машины «спасали» мир, и в своем очерке ставил выживание человека в зависимость от создания сверхразумной машины. Но подруга Гуда Лесли Пендлтон намекнула на изменение позиции. Ей потребовалось время, чтобы припомнить обстоятельства и контекст, но в последний день моего пребывания в Блэксбурге она рассказала мне все, что помнила.
В 1998 г., когда ему было восемьдесят два, Гуд был удостоен медали «Пионер компьютерной техники» сообщества IEEE (Института инженеров электротехники и электроники). В речи, произнесенной по этому поводу, его попросили рассказать свою биографию. Он составил биографию, но не стал ее зачитывать, и на церемонии она не прозвучала. Вероятно, только Пендлтон знала о ее существовании. Она сделала копию этой биографии и отдала мне перед отъездом из Блэксбурга вместе с кое-какими другими бумагами, которые я у нее просил.
Прежде чем вновь выехать на автостраду I-81 и направиться обратно на север, я прочитал автобиографию Гуда в машине на стоянке центра облачных вычислений Rackspace. Подобно Amazon и Google, Rackspace предлагает серьезные компьютерные мощности за небольшие деньги, сдавая в аренду время десятков тысяч своих процессоров и место под экзабайты информации. Конечно, Вирджинскому политехническому институту удобно иметь у себя под боком такую организацию, как Rackspace, и мне хотелось посетить их вычислительный центр, но он был закрыт. А позже мне пришло в голову: как странно, что в десятках метров от того места, где я читал автобиографические заметки Гуда, десятки тысяч процессоров с воздушным охлаждением работали над решением мировых проблем.
В своей биографии, игриво написанной от третьего лица, Гуд вспомнил все вехи своей жизни, включая и никому, вероятно, прежде не известные воспоминания о работе в Блетчли-парке с Тьюрингом. Но вот что он написал в 1998 г. о первом суперинтеллекте и о том, как изменились его взгляды:
Я читал это и смотрел невидящими глазами на здание Rackspace. В конце жизни Гуд пересмотрел не только свое мнение о вероятности существования Бога. Я как будто нашел послание в бутылке, примечание, изменившее смысл текста на прямо противоположный. Теперь у нас с Гудом появилось кое-что общее. Мы оба считали, что интеллектуальный взрыв добром не кончится.
Глава 8
Точка невозврата
Не правда ли, приведенная цитата[17] очень напоминает отрывок из автобиографии Гуда? Как и Гуд, дважды лауреат премии Хьюго писатель-фантаст и профессор математики Вернор Виндж говорит о том, что человеку свойственно искать неприятности на свою голову. Виндж сказал мне, что не читал собственноручно написанной Гудом биографии и не знал о том, что в конце жизни тот изменил свое отношение к интеллектуальному взрыву. Знали об этом, вероятно, только сам Гуд и Лесли Пендлтон.
Вернор Виндж был первым человеком, кто формально употребил слово «сингулярность» при описании технологического будущего; сделал он это в 1993 г. в обращении к NASA, озаглавленном «Приближающаяся технологическая сингулярность». Математик Станислав Улам сообщил, что они с энциклопедистом Джоном фон Ньюманом использовали термин «сингулярность» в разговоре о технологических переменах еще за тридцать пять лет до этого, в 1958 г. Но Виндж сделал это публично и демонстративно — и мяч сингулярности покатился прямо в руки Рэя Курцвейла и того, что сегодня стало движением сингулярности.
Но почему же Виндж, обладая таким имиджем, не ездит по стране с лекциями и конференциями как главный эксперт по сингулярности?
Ну, у слова «сингулярность» несколько значений, и Виндж использует его в более узком смысле, чем многие другие. Определяя сингулярность, он провел аналогию с точкой на орбите черной дыры, дальше которой свет с ее поверхности пройти не может. Невозможно увидеть, что происходит за этой точкой, известной как горизонт событий. Точно так же, если нам придется делить планету с сущностями разумнее нас, пути назад не будет — мы не в состоянии предсказать, что произойдет в подобном случае. Чтобы судить об этом, нужно обладать, по крайней мере, равным интеллектом.
Таким образом, если вы не можете знать, как будет развиваться будущее, то как вы можете писать об этом? Виндж не сочиняет околонаучных фантазий — он пишет то, что называют твердой научной фантастикой, используя в своих произведениях данные реальной науки. Сингулярность лишает его надежной опоры.
Виндж рассказывал, что когда в 1960-е он начинал писать научную фантастику, мир, основанный на будущих достижениях науки, о которых он писал, отстоял от него на сорок или пятьдесят лет. Однако к 1990-м гг. будущее уже стремительно приближалось, и скорость технических перемен, казалось, все росла. Виндж уже не мог предугадать, что принесет человечеству будущее, поскольку считал, что очень скоро в мире появится разум, превосходящий человеческий. Именно этот, а не наш разум будет определять скорость технического прогресса. Виндж, как и другие фантасты, не мог писать об этом.
Исследователь ИИ Бен Гертцель сказал мне:
Но как же в этом случае приручение огня, появление земледелия, печатный станок и электричество? Разве человечество не пережило до сих пор множество технологических сингулярностей? В разрушительных технических новинках нет ничего нового, но никто не придумывал для каждой из них красивого имени и не пугал ими окружающих. Моя бабушка родилась еще до широкого распространения автомобилей, но дожила до первых шагов Нила Армстронга по Луне. Она считала, что все это называется XX век. Что же делает переход, о котором говорит Виндж, таким особым?
«Секретный компонент — разум, — сказал мне Виндж. В его стремительном тенорке то и дело звучал смех. — Разум делает его другим, а определяющая рабочая черта этого перехода в том и заключается, что человек не может ничего знать заранее. Мы теперь находимся в такой ситуации, что очень-очень скоро, всего через несколько десятилетий, начнутся трансформации, которые будут иметь, как в древности, большое биологическое значение».
В эту концепцию укладываются две важные идеи. Во-первых, технологическая сингулярность изменит сам разум — единственную суперсилу человека, которая, собственно, и создает технологии. Вот почему эта революция будет отличаться от любой другой. Во-вторых, биологическая трансформация, на которую намекает Виндж, произошла двести тысяч лет назад, когда человечество захватило лидерство на мировой арене. Homo sapiens начал доминировать на планете, поскольку был умнее любого другого биологического вида. Точно так же разум, в тысячу или миллион раз превосходящий человеческий в интеллектуальном отношении, навсегда изменит правила игры. Что же тогда произойдет с нами?
Этот вопрос вызвал у Винджа взрыв смеха.
Но по поводу непрозрачного будущего Виндж сделал, по крайней мере, один вывод — сингулярность несет угрозу и может привести к гибели человечества. Писатель, процитировав в речи 1993 г. целиком абзац из статьи Гуда 1967 г. об интеллектуальном взрыве, указал, что знаменитый статистик не так далеко зашел в своих выводах:
Вот еще одна уместная аналогия — кролики для людей то же, что люди для сверхразумных машин. А как мы относимся к кроликам? Как к вредителям или как к потенциальному обеду, в лучшем случае — как к домашним любимцам. ИСИ-агенты поначалу будут нашими инструментами — как нашими инструментами являются сегодня их предки Google, Siri и Watson. Кроме того, считает Виндж, существуют и другие факторы помимо индивидуального машинного интеллекта, способные вызвать сингулярность. Среди них — разум, берущий начало от Интернета (от Интернета вместе с пользователями — этакая цифровая Гея), от человеко-машинных интерфейсов или биологических наук (через повышение интеллекта будущих поколений при помощи манипуляций с генами).
В трех из перечисленных путей человек вовлечен в развитие технологий; возможно, он способен провести постепенное и управляемое повышение интеллекта и таким образом избежать взрыва. Так что можно, говорит Виндж, подумать о том, как победить величайшие проблемы человечества — голод, болезни, даже саму смерть. Это оптимистичное представление о будущем Курцвейла, которое пропагандируют «сингуляритарии». Сингуляритарии — это те, кто ожидает от резкого ускорения будущего в основном хороших вещей. Винджу их «сингулярность» представляется слишком благодушной.
Виндж сравнивает все это со стратегией времен холодной войны, известной как MAD (mutual assured destruction — взаимно гарантированное уничтожение). Термин этот был пущен в оборот любителем аббревиатур Джоном фон Ньюманом (он также был создателем одного из первых компьютеров с говорящим именем MANIAC), а сама стратегия помогала сохранить мир благодаря угрозе взаимного уничтожения сторон. Подобно MAD, искусственный интеллект может похвастать тем, что множество исследователей тайно трудятся над развитием технологий, потенциально грозящих катастрофой. Но это — взаимно гарантированное уничтожение без всяких тормозов, обусловленных здравым смыслом. Никто не может знать, кто на самом деле идет впереди в этой гонке, и каждый считает, что впереди кто-то другой. Но, как мы видели, победитель не сможет забрать все. Победитель в гонке за создание ИИ получит лишь сомнительную привилегию первым столкнуться с суперинтеллектом «лицом к лицу» или попробовать выжить в ситуации, очень напоминающей сценарий Busy Child.
«Мы имеем сегодня тысячи хороших людей, которые работают по всему миру, пытаясь совместными усилиями приблизить катастрофу, — сказал Виндж. — А двигаться вперед по ландшафту угроз очень сложно. Мы тратим недостаточно сил на раздумья о том, что будет, если нас постигнет неудача».
Другие сценарии, которые тоже тревожат Винджа, также заслуживают внимания. Цифровая Гея, или брак между людьми и компьютерами, уже формируется в Интернете. Что это будет означать для нашего будущего — глубокий и важный вопрос, заслуживающий, чтобы о нем написали гораздо больше книг, чем пишется сейчас. УИ, или искусственное усиление интеллекта, имеет равный с обычным ИИ катастрофический потенциал, немного смягченный (по крайней мере поначалу) участием человека. Но это преимущество быстро исчезнет. Позже мы поговорим об УИ подробнее. А сначала я хочу обратить ваше внимание на замечание Винджа о том, что разум может вырасти из Интернета.
Техномыслители, в том числе Джордж Дайсон и Кевин Келли, выдвинули предположение о том, что информация — это форма жизни. Компьютерная программа, несущая информацию, воспроизводит себя и растет по биологическим законам. Но разум… нет, разум — это совсем не то. Разум присущ лишь сложным организмам и не возникает случайно.
[17] Мог ли Гуд прочесть очерк Винджа, написанный под влиянием его собственного более раннего очерка, и изменить свое мнение? Мне кажется, это маловероятно. За свою жизнь Гуд опубликовал множество научных работ общим объемом порядка 3 млн слов и всегда самым тщательным образом ссылался на источники. И хотя во многих случаях он ссылается на собственные работы, я уверен, что он обязательно упомянул бы Винджа, если бы его очерк сыграл такую роль. Гуд любил подобные литературные рекурсии. — Прим. авт.