Но Винер оказался не в состоянии предугадать важные технологические разработки. Подобно почти всем «технологистам» 1950-х годов, он не предвидел компьютерной революции. По его мнению, компьютеры в конечном счете должны были подешеветь с сотен тысяч долларов (в ценах 1950-х годов) до десятков тысяч долларов; ни он сам, ни его соратники и соперники не ожидали того колоссального прорыва, который случился в компьютерных технологиях благодаря применению транзисторов и интегральных схем. Кроме того, будучи одержим задачами управления, Винер не смог вообразить технологический мир, где инновации и самоорганизация передаются по цепочке снизу вверх, а не навязываются сверху.
Сосредоточившись на пороках тоталитаризма (политического, научного и религиозного), Винер воспринимал происходящее глубоко пессимистически. Его книга предрекала катастрофу, которая непременно произойдет, если мы не исправимся, причем как можно быстрее. Современный мир людей и машин более полувека спустя после публикации книги Винера гораздо сложнее и богаче и содержит намного больше политических, социальных и научных систем, чем он мог себе представить. Впрочем, предупреждения относительно того, что может случиться, если мы ошибемся, – например, если некий глобальный тоталитарный режим установит полный контроль над интернетом, – ничуть не утратили актуальности по сравнению с 1950 годом.
Наиболее известные математические работы Винера были посвящены проблемам анализа сигналов и воздействия шума. В годы Второй мировой войны он разработал методику управления стрельбой зенитной артиллерии на основании моделей, позволяющих предугадывать траекторию движения летательных аппаратов через экстраполяцию характеристик полета. В «Кибернетике» и «Человеческом применении человеческих существ» Винер отмечает, что такой предыдущий опыт подразумевал в том числе прихоти и привычки людей-пилотов, поэтому механизированное устройство способно предсказывать поведение людей. Подобно Алану Тьюрингу, чей знаменитый тест допускал, что вычислительные машины могут давать ответы на вопросы, неотличимые от человеческих ответов, Винер всем сердцем верил в возможность описания человеческого поведения математическими уравнениями. В 1940-х годах он стал сопоставлять теоретические знания о контурах управления и обратной связи с нервно-мышечной обратной связью в живых системах – и лично пригласил в Массачусетский технологический институт Уоррена Маккаллока и Уолтера Питтса[21], которые приступили к новаторским исследованиям в области искусственных нейронных сетей.
Главная идея Винера заключалась в том, что мир следует понимать с точки зрения информации. Сложные системы, будь то живые организмы, мозг или человеческое общество, состоят из взаимосвязанных контуров обратной связи, где обмен сигналами между подсистемами порождает комплексное, но стабильное поведение. Когда целостность контура обратной связи нарушается, система утрачивает стабильность. Винер нарисовал убедительную картину функционирования сложной биологической системы – картину, в целом общепринятую сегодня.
Восприятие информации как центрального звена управления поведением сложных систем было замечательным открытием своего времени. Ныне, когда автомобили и холодильники битком набиты микропроцессорами, а бо́льшая часть человеческого общества в своей деятельности опирается на компьютеры и сотовые телефоны, подключенные к интернету, подчеркивать важнейшую роль информации, вычислений и связи кажется банальностью. Но в эпоху Винера первые цифровые компьютеры только-только появлялись, а об интернете никто даже не задумывался.
Замечательное прозрение Винера – что не только сложные инженерные системы, но какие угодно сложные системы опираются в работе на циклы сигналов и вычислений – обеспечило несомненный прорыв в области разработки комплексных систем, создаваемых человеком. Например, те методы, которые Винер и его соратники разрабатывали для управления ракетами, впоследствии получили применение при конструировании лунного корабля «Сатурн-V»[22], одного из главных технических достижений XX столетия. А кибернетические выкладки Винера относительно человеческого мозга и компьютеризированного восприятия можно по праву посчитать «прародителями» современных систем глубинного обучения на основе нейронных сетей, а также искусственного интеллекта как такового. Однако текущее развитие ситуации в этих областях не совпадает с нарисованной им картиной, и не исключено, что в дальнейшем это скажется на человеческом использовании как человеческих существ, так и машин.
Именно применительно к людям кибернетические идеи Винера оказались ошибочными. Оставляя в стороне его достаточно дилетантские размышления о языке[23], законодательстве и человеческом обществе, рассмотрим более скромную, но потенциально полезную инновацию, внедрение которой он считал неизбежным в 1950 году. Винер отмечал, что протезы станут намного эффективнее, если их владельцы обретут способность напрямую общаться с этими устройствами посредством нервных сигналов, получать информацию о давлении и местоположении от протезированных конечностей и направлять их последующие движения. Как выяснилось, на самом деле все куда сложнее, чем предполагал Винер: семьдесят лет спустя протезы с «нервической» обратной связью не продвинулись дальше грубых, по сути, прототипов. Сама концепция Винера превосходна, но дело в том, что крайне непросто сопрячь нейронные сигналы с механико-электрическими устройствами.
Что еще важнее, Винер (как и практически всё поколение 1950-х) сильно недооценивал потенциал цифровых вычислений. Как уже отмечалось, в области математики Винер занимался анализом сигналов и шума, его аналитические методы применимы к постоянно меняющимся – аналоговым – сигналам. Да, он участвовал в разработке методов цифровых вычислений в годы войны, но не предвидел (и вряд ли мог предвидеть) экспоненциальный рост вычислительных мощностей в результате внедрения и устойчивой миниатюризации полупроводниковых схем. Не будем винить Винера: транзистор тогда еще не изобрели, электронные лампы в знакомых ему цифровых компьютерах не отличались надежностью, а сама технология их использования не масштабировалась для более крупных устройств. В дополнении к изданию «Кибернетики» 1948 года он предполагал появление шахматных компьютеров и предсказывал, что они смогут мыслить на два-три (всего) хода вперед. Наверняка он несказанно удивился бы, доведись ему узнать, что за полстолетия компьютер сумеет одолеть чемпиона мира по шахматам среди людей.
Когда Винер писал свои книги, рождался показательный пример переоценки технологических возможностей. В 1950-х годах предпринимались первые попытки разработать искусственный интеллект; речь о таких исследователях, как Герберт Саймон, Джон Маккарти и Марвин Минский, которые начали программировать компьютеры на выполнение простых задач и конструировать примитивных роботов. Успех первоначальных усилий побудил Саймона заявить, что «машины в ближайшие двадцать лет смогут выполнять любую работу, которую способен выполнить человек». Подобные прогнозы с треском провалились. Последовательно наращивая свою мощность, компьютеры все лучше и лучше играли в шахматы, поскольку могли систематически генерировать и оценивать широкий выбор потенциальных будущих ходов. Но большинство предсказаний в сфере ИИ, будь то горничные-роботы или что-то еще, оказались пустыми фантазиями. Когда суперкомпьютер DeepBlue победил Гарри Каспарова в шахматном матче 1997 года, наиболее «продвинутым» роботом-уборщиком считалась «Румба», которая беспорядочно металась по помещению с пылесосом и пищала, застревая под диваном.
Технологические прогнозы весьма проблематичны, учитывая, что технологии развиваются через усовершенствования, сталкиваются с препятствиями и форсируются инновациями. Многие препятствия и отдельные инновации выглядят ожидаемыми, но к большинству тех и других это не относится. В моей собственной области экспериментов по созданию квантовых компьютеров я обычно наблюдаю, как отдельные технологические этапы, казалось бы вполне реализуемые, оказываются невозможными, тогда как другие задачи, нерешаемые, как мне думается, легко осуществляются на практике. В общем, не узнаешь, пока не попробуешь.
В 1950-х годах Джон фон Нейман, отчасти вдохновляясь беседами с Винером, ввел понятие «технологической сингулярности». Технологии имеют тенденцию улучшаться в геометрической прогрессии, скажем удваивать мощность или чувствительность приборов за некоторый интервал времени. (Например, с 1950 года компьютеры удваивали мощность примерно каждые два года – это наблюдение известно как закон Мура.) Фон Нейман экстраполировал наблюдаемый экспоненциальный технический прогресс и допустил, что «технический прогресс станет непостижимо быстрым и сложным», опережая человеческие возможности в уже не слишком отдаленном будущем. Действительно, если отталкиваться исключительно от наращивания вычислительных мощностей, выраженных в битах и битовых переходах, и прогнозировать будущее на основании текущих темпов, мы вправе утверждать, что компьютеры сравняются по возможностям с человеческим мозгом в ближайшие два-три-четыре десятилетия (в зависимости от того, как оценивать сложность процессов обработки информации в человеческом мозге).
Провал первоначальных, чрезмерно оптимистичных прогнозов относительно создания полноценного ИИ на несколько десятилетий заглушил разговоры о технологической сингулярности, но после публикации работы Рэя Курцвейла «Сингулярность рядом» (2005) идея технического развития, ведущего к появлению суперинтеллекта, снова обрела силу. Кое-кто, включая самого Курцвейла, стал рассматривать эту сингулярность как возможность прорыва: мол, люди смогут объединить свои сознания со сверхразумом и тем самым обрести вечную жизнь. Стивен Хокинг и Илон Маск высказали опасения, что этот суперинтеллект окажется злонамеренным, и расценивали его как величайшую из нынешних угроз существованию человеческой цивилизации. Третьи, в том числе некоторые из авторов настоящей книги, полагают, что подобные опасения преувеличенны.
Труды Винера и то обстоятельство, что он не сумел предугадать последствия развития кибернетики, неразрывно связаны с представлением о приближении технологической сингулярности. Его деятельность в сфере нейробиологии и первоначальная поддержка, которую он оказывал Маккаллоку и Питтсу, позволили разработать современные, поразительно эффективные методы глубинного обучения. За последнее десятилетие, особенно в последние пять лет, такие методы глубинного обучения наконец-то привели к возникновению, если воспользоваться одним из терминов Винера, гештальта: машина, например, способна распознавать в круге круг, даже если он наклонен и выглядит как эллипс. Винеровские концепции управления вкупе с изучением нейромышечной обратной связи имели большое значение для развития робототехники и послужили основой для разработки нейронных интерфейсов «человек/машина». Однако однобокость его технологических прогнозов побуждает воспринимать идею технологической сингулярности с немалой осторожностью. Общие затруднения технологического прогнозирования как такового и проблемы, свойственные разработке суперинтеллекта, удерживают меня от избыточного энтузиазма в отношении как вычислительной мощности, так и эффективности обработки информации.
Никакое экспоненциальное развитие не длится бесконечно. Атомный взрыв распространяется по экспоненте, но только пока не кончится его «топливо». Точно так же экспоненциальный прогресс по закону Мура начинает сталкиваться с пределами, налагаемыми физикой. Тактовая частота компьютеров достигла максимума в несколько гигагерц полтора десятилетия назад, далее чипы начали плавиться от нагрева. Миниатюризация транзисторов столкнулась с квантово-механическими проблемами вследствие туннелирования[24] и утечек тока. Рано или поздно различные экспоненциальные улучшения памяти и обработки информации по закону Мура достигнут предела. Впрочем, возможно, что нескольких десятилетий окажется достаточно для того, чтобы вычислительные мощности машин сравнялись с мощностью человеческого мозга – по крайней мере, по грубым показателям количества битов и битовых переходов в секунду.
Человеческий мозг чрезвычайно сложен и представляет собой плод миллионов лет естественного отбора. В эпоху Винера понимание архитектуры мозга было элементарным и упрощенным. С тех пор все более чувствительные инструменты и методы визуализации показали, что мозг гораздо разнообразнее по структуре и сложнее по функциям, чем мог вообразить Винер. Недавно я спросил Томазо Поджо[25], одного из пионеров современной нейробиологии, способны ли, по его мнению, компьютеры с их быстрорастущей вычислительной мощностью вскоре имитировать функционирование человеческого мозга. «Ни в коем случае», – ответил он.
Последние достижения в области глубинного обучения и нейроморфных вычислений очень точно воспроизводят некоторые особенности человеческого интеллекта, деятельность коры головного мозга, где обрабатываются и распознаются образы. Эти достижения позволили компьютеру победить чемпионов мира по шахматам и по игре в го, что нельзя не признать выдающимся результатом, но мы по-прежнему далеки от того, чтобы компьютеризированный робот мог полноценно убираться в помещении. (Вообще-то, роботы, обладающие хотя бы подобием широкого диапазона гибких человеческих движений, еще далеки от совершенства; рекомендую почитать материалы по запросу «ошибки роботов». Роботы успешно справляются с прецизионной сваркой на сборочных линиях, но до сих пор не в состоянии завязать шнурки.)
Сама по себе мощность обработки информации не означает разнообразия способов такой обработки. Пусть мощность компьютеров росла экспоненциально, программы, с помощью которых работают компьютеры, часто вообще не развивались. Как правило, компании-разработчики программного обеспечения реагируют на рост вычислительной мощности добавлением «полезных» функций, которые нередко затрудняют использование этого программного обеспечения. Так, офисная программа Microsoft Word достигла некоего идеала в 1995 году и с тех пор медленно гибнет под «весом» дополнительной функциональности. Как только развитие по закону Мура начнет замедляться, разработчики программного обеспечения столкнутся с непростым выбором между эффективностью, скоростью и функциональностью.
Главный страх сторонников идеи сингулярности заключается в том, что по мере все большего вовлечения компьютеров в разработку собственного программного обеспечения они быстро начнут развивать себя ради достижения сверхчеловеческих вычислительных возможностей. Но практика машинного обучения показывает на движение в противоположном направлении. Чем мощнее и способнее к обучению становятся машины, тем усерднее они обучаются, как и люди, усваивая множество полезных уроков и зачастую под наблюдением учителей (людей и машин). Обучение для компьютеров оказывается столь же сложным и медленным процессом, каким оно является для подростков. Следовательно, системы, основанные на глубинном обучении, становятся все более, а не менее человекоподобными. Навыки, которые они привносят в обучение, не «лучше человеческих», но комплементарны человеческому обучению: компьютерные системы способны распознавать модели, недоступные людям, – и наоборот. Лучшие шахматисты мира – это не компьютеры и люди по отдельности, а люди, работающие вместе с компьютерами. Киберпространство действительно населено «злонамеренными» программами, но они в основном имеют форму вредоносных программ (malware) – вирусов, известных своей злобной бессмысленностью, а отнюдь не суперинтеллектом.
Винер отмечал, что экспоненциальный технический прогресс представляет собой относительно современное явление и несет благо не во всех своих проявлениях. Он рассматривал атомное оружие и создание ракет с ядерными боеголовками как стремление рода человеческого к самоубийству. Он сравнивал неудержимую эксплуатацию ресурсов планеты с безумным чаепитием из «Алисы в Стране чудес»: опустошая локальную среду, мы добиваемся прогресса и просто пересаживаемся дальше, принимаясь опустошать следующую. Оптимизм Винера в отношении разработки компьютеров и нейромеханических систем сдерживался пессимизмом по поводу применения этих инструментов авторитарными государствами, такими как Советский Союз, и стремления демократий, таких как Соединенные Штаты Америки, сделаться более авторитарными в противостоянии угрозе авторитаризма.
Что бы Винер подумал о нынешнем человеческом использовании человеческих существ? Его наверняка поразили бы мощность компьютеров и интернет. Он порадовался бы тому, что исходные нейронные сети, к созданию которых он был причастен, эволюционировали в мощные системы глубинного обучения, демонстрирующие те возможности восприятия, о каких когда-то мечтали (хотя, пожалуй, его вряд ли вдохновил бы тот факт, что одним из наиболее ярких примеров такого компьютеризированного гештальта сегодня является возможность распознавать фотографии котиков во Всемирной паутине). Вместо того чтобы расценивать машинный интеллект как угрозу, он, как я подозреваю, воспринял бы его как явление в своем праве, отличное от человеческого сознания, но развивающееся параллельно человеческому.
Нисколько не удивляясь глобальному потеплению, этому безумному чаепитию наших дней, Винер приветствовал бы экспоненциальное развитие технологий альтернативной энергии и наверняка использовал бы свой богатый кибернетический опыт для разработки сложных контуров обратной связи, необходимых для внедрения означенных технологий в будущую интеллектуальную электрическую сеть. Тем не менее, признавая, что решение проблем изменения климата зависит не только и не столько от технологий, сколько от политики, он, несомненно, испытывал бы пессимизм относительно наших шансов своевременно справиться с этой угрозой существованию цивилизации. Винер ненавидел торгашей – прежде всего торгашей от политики, – но сознавал, что нам от них никогда не избавиться.
Легко забыть, насколько страшным местом был мир эпохи Винера. Соединенные Штаты Америки и Советский Союз вели полномасштабную гонку вооружений, создавая водородные бомбы и ядерные боеголовки для межконтинентальных баллистических ракет, управляемых навигационными системами, которые отчасти разрабатывал сам Винер (чего он стыдился). Мне было четыре года, когда Винер умер. В 1964 году в начальной школе мы учились нырять под парты на случай ядерной атаки. Учитывая человеческое применение человеческих существ в ту эпоху, Винер, приведись ему увидеть нашу нынешнюю жизнь, в первую очередь порадовался бы тому, что мы до сих пор живы.
Глава 2
Ограничения «непрозрачных» обучаемых машин
В 1980-е годы Джуда Перл предложил новый подход к разработке искусственного интеллекта – на основании байесовских сетей. Эта вероятностная модель машинного мышления позволяла машинам функционировать – в сложном и неопределенном мире – в качестве «локомотивов доказательств», постоянно пересматривая свои убеждения в свете новых свидетельств.
Всего через несколько лет байесовские сети Перла целиком вытеснили предыдущие подходы к искусственному интеллекту, основанные на правилах. Появление методики глубинного обучения – когда компьютеры фактически самообучаются и становятся умнее, обрабатывая мириады данных, – поставило Джуду перед новым вызовом, ведь эта методика лишена прозрачности.
Признавая несомненные заслуги в области глубинного обучения таких коллег, как Майкл И. Джордан и Джеффри Хинтон[26], Перл не готов мириться с указанной непрозрачностью. Он намеревается изучить теоретические ограничения систем глубинного обучения и утверждает, что существуют базовые препятствия, которые не позволят этим системам уподобиться человеческому интеллекту, что бы мы ни делали. Используя вычислительные преимущества байесовских сетей, Джуда осознал, что комбинация простых графических моделей и данных также может применяться для репрезентации и выведения причинно-следственных связей. Значение этого открытия намного превосходит исходный контекст исследований в сфере искусственного интеллекта. Последняя книга Перла[27] объясняет широкой публике суть каузального мышления; можно сказать, что это своего рода учебник для начинающих, которые хотят научиться мыслить, будучи людьми.
Принципиально математический подход к причинности (каузальности) представляет собой значительный вклад Перла в сферу идей. Обращение к этому подходу уже принесло пользу практически во всех областях исследований, в первую очередь в сфере цифровой медицины (data-intensive health – букв. информационно емкого здравоохранения) и социальных наук.
Как бывший физик, я всегда интересовался кибернетикой. Пусть она не использовала в полной мере всю мощь машин Тьюринга, кибернетика – чрезвычайно прозрачная область знаний, возможно, потому, что она опирается на классическую теорию управления и теорию информации. Сегодня мы постепенно теряем эту прозрачность в связи с углублением процессов машинного обучения. По сути, налицо подгонка кривой, когда происходит корректировка значений в промежуточных слоях длинной цепочки ввода-вывода.
Мне встречались многие пользователи, сообщавшие, что «все работает хорошо, но мы не знаем, почему так». Стоит применить такой подход к большим наборам данных, и глубинное обучение приобретает собственную динамику, самостоятельно регулируется и оптимизируется – и в большинстве случаев дает правильные результаты. Но когда этого не случается, никто не понимает, где именно допущена ошибка и что именно следует исправлять. Важнее всего то, что невозможно узнать, имеется ошибка в программе или методике – или каким-то образом изменилась среда. Поэтому нам нужна иная прозрачность.
Кое-кто заявляет, что в прозрачности на самом деле нет необходимости. Мы не понимаем нейронную архитектуру человеческого мозга, но она исправно функционирует, а потому мы прощаем себе наше скудное понимание и охотно пользуемся таким удобным подспорьем. Точно так же, утверждают некоторые, нужно просто применять системы глубинного обучения и создавать машинный интеллект, даже если мы не понимаем, как все это работает. Что ж, до определенной степени я могу согласиться с этим доводом. Лично мне непрозрачность не нравится, поэтому я не стану тратить свое время на глубинное обучение, но я знаю, что оно занимает некое место в структуре интеллекта. Я знаю, что непрозрачные системы способны творить настоящие чудеса, и наш мозг является тому убедительным доказательством.
[21] Американский нейролингвист и математик, вместе с У. Маккаллоком исследовал возможности «компьютеризации» нейронов.
[22] 1 Американская сверхтяжелая ракета-носитель, использовалась для вывода в космос кораблей проекта «Аполлон» и космической станции «Скайлэб».
[23] Вероятно, имеется в виду стремление Н. Винера обнаружить «язык» у животных и насекомых и приписывание человеку «врожденной» способности к шифрованию/дешифрованию сигналов.
[24] В данном случае речь идет о т. н. туннельном эффекте в квантовой механике, когда частицы преодолевают энергетический барьер, величина которого превышает энергию этих частиц.
[25] Американский когнитивист и кибернетик, директор центра биологического и компьютерного обучения МТИ.
[26] М. Джордан – статистик и специалист по машинному обучению, профессор Калифорнийского университета в Беркли; Дж. Хинтон – британо-канадский когнитивист, ведущий научный сотрудник проекта Google Brain, где ведутся исследования ИИ на основе методов глубинного обучения.
[27] Judea Perl. Causal Inference in Statistics: A Primer (with Madelyn Glymour and Nicholas Jewell). NY, Wiley, 2016. – Примеч. автора.