Виндж дал сингулярности название, чтобы обозначить страшное будущее для человечества. Его определение сингулярности метафорично — орбита вокруг черной дыры, где гравитационные силы настолько сильны, что даже свет не в состоянии вырваться вовне. Мы не можем узнать, что там внутри, и такое название дано не случайно.
Затем внезапно все изменилось.
К концепции сингулярности, предложенной Винджем, Рэй Курцвейл добавил мощный катализатор, сдвигающий всю тему в область стремительного развития технологий и фокусирующий внимание на надвигающейся катастрофической опасности: экспоненциальном росте мощности и скорости компьютеров. Именно из-за этого роста вы можете окидывать скептическим взглядом любого, кто скажет, что машинный интеллект человеческого уровня не будет получен еще лет сто, а может, и вообще никогда не будет достигнут.
В расчете на один доллар мощность компьютеров за последние тридцать лет выросла в миллиард раз. Еще лет через двадцать за $1000 можно будет купить в миллион раз более мощный компьютер, чем сегодня, а через двадцать пять лет — в миллиард. Примерно к 2020 г. появятся первые компьютерные модели человеческого мозга, а к 2029 г. исследователи смогут запустить модель мозга, которая не будет ни на йоту уступать человеческому ни в интеллектуальном, ни в эмоциональном плане. К 2045 г. человеческий и машинный интеллект вырастут в миллиард раз и разработают технологии, которые позволят победить наши человеческие слабости, такие как утомление, болезни и смерть. В случае если нам удастся это пережить, технический прогресс за XXI в. продвинется не на столетие, а на 200 000 лет.
Приведенный анализ и экстраполяция принадлежат Курцвейлу и могут служить ключом к третьему, победившему на данный момент определению сингулярности. Сердцем этого определения является Закон прогрессирующей отдачи — теория технического прогресса, которую Курцвейл не придумал, но извлек на всеобщее обозрение, примерно так же, как Гуд предугадал интеллектуальный взрыв, а Виндж предупредил о надвигающейся сингулярности. Закон прогрессирующей отдачи говорит о том, что экстраполяции и успехи, о которых мы говорим в этой книге, накатываются на нас, как грузовой состав, который на каждом километре удваивает скорость. Очень трудно представить себе, насколько быстро этот состав окажется здесь, но достаточно сказать, что если к концу первого километра его скорость будет составлять 20 км/ч, то всего через пятнадцать километров он будет мчаться со скоростью более 65 000 км/ч. Важно отметить, что экстраполяция Курцвейла относится не только к «железу» (скажем, к начинке нового айфона), но и к развитию теорий (к примеру, к созданию единой теории искусственного интеллекта).
Но здесь мое мнение расходится с мнением Курцвейла. Я считаю, что вместо дороги в рай, куда мы движемся, по утверждению Курцвейла, Закон прогрессирующей отдачи описывает кратчайшее возможное расстояние между нашей жизнью — такой, какая она сегодня, — и концом эры человечества.
Глава 9
Закон прогрессирующей отдачи
В книгах «Эпоха духовных машин: Когда машины превосходят человеческий интеллект» (The Age of Spiritual Machines: When Computers Exceed Human Intelligence) и «Сингулярность рядом» (The Singularity Is Near) Рэй Курцвейл воспользовался словом «сингулярность», кардинально изменив его значение и обозначая им яркий, полный надежд период человеческой истории, который инструменты экстраполяции позволили разглядеть с замечательной точностью. Где-то в ближайшие 40 лет, пишет он, техническое развитие пойдет с такой скоростью, что человеческое существование фундаментально изменится, а ткань истории порвется. Машины и биологические объекты станут неразличимы. Виртуальные миры будут более живыми и захватывающими, чем реальность. Нанотехнологии позволят производить что угодно на заказ, будут побеждены голод и бедность и найдены лекарства от всех человеческих болезней. Вы сможете предотвратить и даже обратить вспять старение собственного тела. Это будет самая значительная эпоха, жить в ней станет прекрасно не только потому, что мы будем свидетелями поистине поразительных скоростей технологического превращения, но и потому, что техника обещает подарить нам способы жить вечно. Это заря уникальной, или «сингулярной», эпохи.
Что же такое в конечном итоге сингулярность? Это период в будущем, в ходе которого технологические перемены станут настолько стремительными, а их влияние настолько глубоким, что человеческая жизнь необратимо изменится. Эта эпоха, не будучи ни утопичной, ни антиутопичной, изменит концепции, придающие сегодня нашей жизни смысл, от бизнес-моделей до цикла человеческой жизни, включая саму смерть…
Взгляните на истории о Гарри Поттере с этой точки зрения. Возможно, все эти рассказы — лишь игра воображения, но они вполне могут представлять картину нашего мира, каким он станет всего через несколько десятилетий. Значительная часть поттеровской магии будет реализована при помощи технологий, о которых я расскажу в этой книге. Игра в квиддич[19] и превращение людей и предметов во что-то иное будут вполне возможны не только при полном погружении в виртуальные реальности, но и в реальной реальности при использовании специальных наноустройств.
Так что сингулярность «не будет ни утопичной, ни антиутопичной», зато мы сможем играть в квиддич! Очевидно, сингулярность Курцвейла решительно отличается от сингулярности Вернора Винджа и интеллектуального взрыва Гуда. Можно ли примирить их между собой? Неужели это будет одновременно и лучшее, и худшее время для жизни? Я прочел почти каждое слово, опубликованное Курцвейлом, и прослушал все доступные аудио- и видеозаписи и подкасты. В 1999 г. я взял у него длинное интервью для документального фильма, посвященного, в частности, искусственному интеллекту. Я знаю все, что он написал и сказал об опасностях ИИ, и это очень немного.
Однако, как ни удивительно, именно Курцвейлу мы отчасти обязаны существованием самого аргументированного очерка по данному вопросу — статьи Билла Джоя «Почему мы не нужны будущему?». В ней Джой — программист, специалист по архитектуре компьютеров и один из основателей компании Sun Microsystems — призывает к замедлению или даже остановке исследований по трем направлениям, которые, как он считает, смертельно опасно развивать нынешними темпами: это искусственный интеллект, нанотехнологии и биотехнологии. Джой написал об этом после пугающего разговора в баре с Курцвейлом и прочтения его книги «Эпоха духовных машин» (The Age of Spiritual Machines). В ненаучной литературе и популярных лекциях об опасностях ИИ, мне кажется, только три закона Азимова цитируются чаще, хотя и не всегда к месту, чем это эссе Джоя, оказавшее заметное влияние. Вот короткий отрывок — суть его позиции по ИИ:
Разговор с Курцвейлом в баре может дать начало международному обсуждению, но, говоря откровенно, несколько предостерегающих слов теряются у него в море интереснейших предсказаний. Он настаивает, что его описание будущего — не утопия, но я с ним не согласен.
Мало кому удается писать о технологиях более убедительно и с большим знанием дела, чем это делает Курцвейл, — он всегда заботится о том, чтобы его слова были ясны и понятны, и тщательно аргументирует свои мысли. Однако мне кажется, что он совершил ошибку, присвоив слово «сингулярность» и придав ему новое радужное значение. Настолько радужное, что мне, как и Винджу, становится страшно от этого определения, полного убедительных образов и идей, маскирующих опасность. Я уверен, что проделанный им ребрендинг преуменьшает опасность ИИ и раздувает наивные перспективы его использования. Начав с обсуждения технологий, Курцвейл создал культурное движение с сильным привкусом религии. Мне кажется, что смешивать технический прогресс и религию — большая ошибка.
Курцвейл — не просто крестный отец вопросов сингулярности, вежливый и упорный спорщик и неутомимый, хотя и несколько механистичный, пропагандист. Вокруг него собралось достаточно молодых людей, живущих на грани сингулярности. Как правило, сингуляритариям немного за тридцать, в основном они мужчины и они бездетны. По большей части это белые интеллектуалы, услышавшие зов сингулярности. Многие из них в ответ на этот зов бросили то, чем занимались, и отказались от карьеры, которую могли бы одобрить их родители, в пользу почти монашеской жизни, посвященной вопросам сингулярности, — и горды этим. Среди них много самоучек, отчасти благодаря тому, что ни одна университетская программа не предлагает специализации одновременно в компьютерных науках, этике, биоинжиниринге, нейробиологии, психологии и философии, — короче говоря, в науках, имеющих отношение к сингулярности. Курцвейл — один из основателей Университета сингулярности, который не аккредитован и не присваивает степеней. Однако обещает «широкое кросс-дисциплинарное представление о крупнейших идеях и вопросах трансформационных технологий». К тому же многие сингуляритарии слишком умны и самостоятельны, чтобы вписаться в традиционную систему образования. Да и мозги у них устроены так, что мало какой колледж или университет захотел бы иметь их в своем кампусе.
Некоторые сингуляритарии избрали главным догматом своей веры рациональность. Они считают, что повышение интеллекта и логических способностей людей, в первую очередь тех, кто завтра будет принимать решения, понижает вероятность того, что все мы совершим самоубийство посредством ИИ. Наш мозг, утверждают они, полон странных предрассудков и эвристических механизмов, которые очень пригодились нам в ходе эволюции, но которые при столкновении с комплексными рисками и выборами современного мира навлекают на нас одни лишь беды. При этом главный объект их внимания — не негативная катастрофическая, а благотворная позитивная сингулярность. В ней мы сможем воспользоваться технологиями продления жизни, которые позволят нам жить и жить без конца, вероятно, уже в механической, а не в биологической форме. Иными словами, очисти себя от неверных мыслей — и найдешь спасение от мира плоти, и откроешь жизнь вечную.
Неудивительно, что движение сингулярности часто называют «Блаженство чокнутых» (Rapture of the Geeks) — как движение оно имеет все отличительные особенности апокалиптической религии, включая ритуалы очищения, отказ от бренного человеческого тела, предвкушение вечной жизни и неоспоримого (в некоторой степени) харизматического лидера. Я всей душой согласен с идеей сингуляритариев о том, что ИИ — самое важное, о чем нужно размышлять в настоящий момент. Но когда дело доходит до разговоров о бессмертии, я пасую. Мечты о вечной жизни сильно искажают окружающее. Слишком многие сингуляритарии верят, что интенсивное взаимопроникновение технологий не приведет к катастрофам, которых мы могли бы ожидать от каждой из них в отдельности, или к комплексным катастрофам, которые мы тоже могли бы предвидеть, но даст вместо этого совершенно противоположный результат. Оно спасет человечество от того, чего мы больше всего боимся. От смерти.
Но как можно компетентно оценить технологии? Нужно ли, и если нужно, то как регулировать их развитие, если вы уверены, что те же самые технологии позволят вам жить вечно? Даже самые рационально мыслящие люди в мире не в состоянии трезво оценивать собственную религию. И, как говорит ученый Уильям Грасси, если обсуждается преображение немногих избранных и жизнь вечная, то не о религии ли идет речь?
В отличие от вариантов развития событий по Гуду и Винджу, сингулярность Курцвейла формируется с помощью трех технологий, приближающихся к точке конвергенции, — генной инженерии, нанотехнологий и робототехники — достаточно широкий термин, который он использует для обозначения искусственного интеллекта. Кроме того, в отличие от Гуда и Винджа, Курцвейл предложил объединенную теорию технологической эволюции; которая, как всякая уважающая себя научная теория, пытается объяснить наблюдаемые явления и делает предсказания относительно явлений будущих. Эта теория получила название Закона прогрессирующей отдачи.
Во-первых, Курцвейл предполагает, что эволюционные процессы развиваются по гладкой экспоненциальной кривой и что техническое развитие — один из таких эволюционных процессов. Как и биологическая эволюция, техника развивает у себя некую способность, а затем использует ее для развития и выхода на следующую ступень. У человека, к примеру, большой мозг и большой палец, которые позволили освоить изготовление орудий и крепкий хват, необходимый для их эффективного использования. Например, печатный пресс повлиял на технологию книжного переплета, повышение грамотности, развитие университетов и на множество других вещей. Паровой двигатель стимулировал промышленную революцию и множество изобретений.
Благодаря привычке опираться на предыдущие достижения сначала технология развивается медленно, но затем крутизна кривой ее роста увеличивается, и в конце концов она выстреливает почти вертикально. Согласно графикам и диаграммам, которые так любит Курцвейл, мы в настоящее время входим в наиболее критический период технологического развития — ту самую круто восходящую часть экспоненциальной кривой, ее «колено». Отсюда можно двигаться только вверх, и двигаться быстро.
Курцвейл разработал свой Закон прогрессирующей отдачи для описания эволюции любого процесса, в котором присутствуют информационные закономерности. Он применяет этот закон к биологии, где преимущества получают более сложные и упорядоченные молекулы. Но еще убедительнее этот закон используется для предсказания скорости изменения информационных технологий, включая компьютеры, цифровые камеры, Интернет, облачные вычисления, оборудование для медицинской диагностики и лечения и многое другое — любую технику, связанную с хранением и извлечением информации.
Курцвейл отмечает, что Закон прогрессирующей отдачи — это, по существу, экономическая теория. Прогрессирующий отклик подпитывается инновациями, конкуренцией, размерами рынка — характеристиками производителей и самого рынка. На компьютерном рынке эффект описывается законом Мура — еще одной экономической теорией, замаскированной под техническую и сформулированной впервые в 1965 г. одним из основателей Intel Гордоном Муром.
Закон Мура гласит, что число транзисторов, которые можно разместить на интегральной схеме для построения микропроцессора, удваивается каждые полтора года. Транзистор — это переключатель с двумя устойчивыми положениями, способный также усиливать электрический заряд. Увеличение количества транзисторов означает большую скорость обработки информации и более быстрые компьютеры. Закон Мура означает, что компьютеры будут становиться все меньше, мощнее и дешевле с достаточно высокой и стабильной скоростью. Это происходит не потому, что закон Мура — настоящий закон природы, как закон всемирного тяготения или второй закон термодинамики. Это происходит потому, что потребитель и рынок стимулируют конкуренцию разработчиков компьютерных чипов и заставляют производить все более компактные, быстрые и дешевые компьютеры, смартфоны, камеры, принтеры, солнечные батареи и, очень скоро, 3D-принтеры. И все это развивается на базе технологий прошлого. В 1971 г. на одном кристалле помещалось 2300 транзисторов. После сорока лет, или двадцати удвоений, их уже было 2600000 000. А с этими транзисторами, более двух миллионов которых может разместиться на точке в конце этого предложения, пришла и скорость.
Приведем наглядный пример. Джек Донгарра, исследователь Национальной лаборатории Оук-Ридж (штат Теннесси) и член команды, отслеживающей скорость суперкомпьютеров, определил, что планшет-бестселлер iPad 2 фирмы Apple работает столь же быстро, как суперкомпьютер примерно 1985 г. Cray 2. Более того, iPad, работающий со скоростью более 1,5 гигафлопа (один гигафлоп соответствует одному миллиарду математических операций в секунду), еще в 1994 г. вошел бы в список 500 самых быстрых суперкомпьютеров мира.
В 1994 г. кто мог бы представить, что меньше чем через поколение суперкомпьютер размером меньше книжки станет уже настолько дешевым, что его будут давать школьникам? Мало того, кто бы поверил, что он способен будет без всяких проводов подключить пользователя к хранилищу знаний человечества? Только Курцвейл оказался настолько смелым: он не делал предсказаний о суперкомпьютерах, но сумел предвидеть взрывной рост интернет-технологий.
В информационных технологиях каждый прорыв дает толчок новому развитию и приближает следующий прорыв — кривая, о которой мы говорили, карабкается вверх все круче. Поэтому, если разговор заходит об iPad 2, то вопрос не в том, чего мы можем ожидать в следующие 15 лет; говорить нужно о том, что произойдет в течение небольшого отрезка времени. Примерно к 2020 г., по оценке Курцвейла, у нас появятся портативные компьютеры, соответствующие человеческому мозгу по вычислительной мощности, но не по интеллекту.
Посмотрим, как можно применить закон Мура к интеллектуальному взрыву. Если считать, что УЧИ достижим, то, согласно закону Мура, для получения ИСИ, или сверхчеловеческого интеллекта, не потребуется, возможно, даже рекурсивного самосовершенствования, о котором обычно говорят в контексте интеллектуального взрыва. Дело в том, что меньше чем через два года после появления УЧИ машины с интеллектом человеческого уровня должны будут удвоить скорость работы. Затем, в следующие два года, нужно ожидать очередного удвоения. Все это время средний человеческий интеллект будет оставаться неизменным, так что очень скоро ИИ человеческого уровня оставит нас далеко позади.
Что произойдет, если интеллект начнет принимать участие в собственной модификации? Елиезер Юдковски ясно объясняет, как быстро после появления УЧИ технический прогресс может выскользнуть из наших рук.
Если сегодня скорость компьютеров удваивается каждые два года, как будут развиваться события, когда ИИ, использующий эти вычислительные мощности, начнет принимать участие в исследованиях?
[19] Квиддич — волшебная спортивная игра из романов Джоан К. Роулинг о Гарри Поттере. — Прим. ред.