Компьютерные системы отражают их создателей. Поскольку исторически сложилось, что круг людей, их разрабатывавших, не слишком разнообразен, очевидно, существуют определенные принципы, внедренные в сами проектные решения и концепт технических систем, и они требуют решительного переосмысления и ревизии. Обратимся к примеру некорректной работы техники, отчетливо демонстрирующему однобокость такого подхода.
Дэвид Боггс решил, что ясный день июля 2016 г. – отличное время, чтобы полетать. Он только что обзавелся новой игрушкой – дроном, оборудованным новейшей системой потокового видео. Ему не терпелось испытать аппарат, и, когда друзья Дэвида наконец пришли, он вытащил дрон и стал показывать, на что тот способен.
Дрон летал вверх и вниз над двором. Боггс с друзьями восторженно смотрели прямую трансляцию на iPad. Их небольшой городок в штате Кентукки, округ Буллит Кантри рядом с Луисвиллем, выглядел с воздуха совсем иначе. Аккуратные одно- и двухэтажные домики уменьшились до размеров кукольных. Когда дрон набирал высоту, остроконечные крыши на участках превращались в серые прямоугольники. Лес рядом с домом Боггса напоминал скорее зеленую реку, вьющуюся по округе, а поля были просто огромными.
Он направил дрон на запад по 61-му шоссе, затем повернул на север, намереваясь снять на видео дом своего друга. Затем последовал громкий хлопок, дрон начал резко терять высоту и оказался на земле.
Дети Меридет играли во дворе, когда услышали шум дрона. Они похожи на вертолеты, но звучат немного иначе. От вертолета звук громкий и ритмичный, как у большого барабана. Дрон издает высокие почти верещащие звуки, будто маленький ребенок, – «И-и-и-и-и-и-и-и-и!!!!!» изо всех сил. NASA выяснило, что звук дрона раздражает сильнее, чем звук наземного транспорта[42]. Дети, услышав звук, побежали к отцу, Вилли. Семейство пришло в замешательство: был ли это боевой дрон? Угрожал ли он детям? Звук не прекращался, мешая рассуждать трезво. Вилли Меридет взял ружье, зарядил его дробью и выстрелил в летающую цель. Дрон подскочил, совершил вираж и упал вне поля зрения на ближайшей парковке. Звук прекратился.
Боггс с друзьями отправились на место крушения, которое им показывал iPad. Они увидели Вилли во дворе, он выглядел взволнованным. В тот момент все поняли, что произошло. Боггс был в ярости. Он заплатил $2500 за дрон, который сбил сосед. Меридет побелел от ярости: неужели его сосед шпионил за ним и его семьей с воздуха? Разве это не свободная страна и граждане лишены приватности даже в собственном доме? Ситуация накалялась. Вилли направил ружье в сторону Боггса и его товарищей. Боггс позвонил в полицию. Приехавшие вскоре офицеры не представляли, что нужно делать в такой ситуации, ведь в инструкциях не сказано, как урегулировать споры соседей относительно летающего робота. Это не было браконьерством, поскольку дрон не животное, не было преднамеренным уничтожением чужой собственности – Вилли Меридет находился на своей земле в момент выстрела.
В итоге офицеры решили арестовать Вилли потому, что у него одного было в руках оружие. В участке ему выдвинули обвинение в угрозе первой степени за стрельбу в воздух и хулиганство. Жена заплатила за него залог $2500, и вскоре он был дома. Спустя несколько месяцев судья снял обвинения: Меридет имел право застрелить робота, кружившего над его собственностью и вторгавшегося в его личное пространство[43].
Однако у меня иная точка зрения на этот счет. И я хочу спросить разработчиков и маркетологов дронов: что, по-вашему, должно было случиться? Америка весьма хорошо вооружена. Вы создаете летающего робота-шпиона, который вдобавок издает раздражающий звук, и при этом не формулируете никаких правил, не пишете инструкций и не вырабатываете социальные нормы относительно непредвиденных ситуаций?
Технокультуру неизменно сопровождает наивность относительно неизбежных проблем, которые предстают всякий раз, когда люди начинают пользоваться новыми гаджетами. Разработчики Microsoft создали Twitter-бота Тая, который, как предполагалось, должен был «учиться» при взаимодействии с другими пользователями. Сообщество Twitter мгновенно продемонстрировало, почему за ним закреплена репутация платформы, где бал правят хамы и агрессоры, – на Тая тут же обрушилась волна грязи. В итоге бот научился искусно владеть риторикой вражды в дискурсе превосходства белой расы. Обалдевшие разработчики закрыли проект[44].
В другой раз инженеры решили продемонстрировать доброту незнакомых людей при помощи hitchBOT – куклы, оснащенной GPS, которая, как предполагалось, пропутешествует автостопом по всей стране. Идея заключалась в том, чтобы подбирать куклу и буквально переносить ее на следующую точку маршрута, чтобы там ее подобрал другой человек и понес дальше. Считалось, что так кукла пропутешествует по всей стране и заодно поможет показать доброту тех, кто хочет помогать другим при помощи технологий. Но hitchBOT не удалось добраться дальше Филадельфии, где робота расчленили и бросили на темной аллее[45].
Отличительными чертами техношовинизма являются слепой оптимизм и недостаток осторожности относительно применения новых технологий.
История о том, как создатели технологий отчаянно пренебрегают общественной безопасностью и социальным благом, начинается с безгранично любимого мной Марвина Минского. Минский, выпускник Гарварда, Андовера и Принстона, был профессором Массачусетского технологического института (МТИ) и считается отцом искусственного интеллекта. Посмотрите за кулисы любого высокотехнологичного проекта начиная с 1945-го и заканчивая 2016 годом – вы наверняка обнаружите Минского или его разработку.
В лаборатории Минского (в МТИ) родились первые хакеры. Это было потрясающе неформально. Первыми сотрудниками Минского стала группа студентов из клуба Технического моделирования железной дороги, которые тогда создавали собственные релейные компьютеры, чтобы управлять моделями поездов. Члены клуба сходили с ума от возни с механизмами. Тогда, в конце 1950-х гг., в институте была большая ЭВМ (одна из нескольких в мире), и эти студенты периодически пробирались в вычислительный центр, часами разбирали и запускали самостоятельно написанные программы.
Любой другой профессор, скорее всего, наказал бы их за то, что они вламываются в лабораторию и незаконно пользуются университетской собственностью. Минский же нанял их на работу. «Они были странными, – вспоминал он[46]. – У них было что-то вроде ежегодного соревнования: кто быстрее остальных проедет по всем станциям нью-йоркского метро. Это занимало около 36 часов и требовало детальной проработки поездки, планирования, изучения расписания движения поездов. Эти ребята были сумасшедшими». Однако такого рода сумасшествие оказалось полезным с точки зрения информатики. Безграничное внимание к деталям и неутолимое желание что-то создавать пришлись кстати с точки зрения написания программ и проектирования аппаратного оснащения. Лаборатория Минского процветала.
Да, его методы приема на работу были не слишком ортодоксальными. Все потому, что Минский был Минским – тем, у кого дома всегда жил выпускник или кто-то еще, тем, к кому политик или писатель-фантаст забегали поболтать – в чем вы могли бы убедиться, если бы просидели в его гостиной достаточно долго. Ему не приходилось искать сотрудников. «Кто-нибудь писал сообщение или письмо: “Мне интересно то-то”. На что я отвечал, что можно заглянуть и посмотреть, понравится ли работа у меня, – вспоминал он. – Человек приезжал на неделю или две, получал достаточно денег и уезжал, если ему не нравилось. Это действительно было весьма экстравагантно, но команда лаборатории была сообществом самозаряжающимся. У них был свой язык. Они могли сделать за три дня то, на что обычно уходил бы месяц. И, если у нас в команде появлялся кто-то талантливый и харизматичный, мы принимали его с радостью». Клуб моделистов и лаборатория Минского были увековечены в книгах Стюарта Бранда «Медиалаборатория» (The Media Lab) и Стивена Леви «Хакеры: Герои компьютерной революции» (Hackers: The Heroes of the Computer Revolution) – не считая множества других работ[47]. Этика хакера также вдохновила Марка Цукерберга на первый девиз Facebook: «Двигайся быстро и круши». Минский преподавал у Цукерберга в свое время.
Минский и его коллега Джон Маккарти организовали первую конференцию по ИИ. Она проходила в 1956 г. на кафедре математики в Дартмутском колледже. Затем они создали Лабораторию искусственного интеллекта в МТИ, включающую также и Медиалабораторию, которая по сей день остается центром разработки и творческой реализации технологий. С лабораторией сотрудничали все, начиная от Джорджа Лукаса и заканчивая Стивом Джобсом, Аланом Алда, Пенном и Теллером. (Я тоже сотрудничала с Медиалабораторией в рамках программного проекта, посвященного идеям Минского.)
Каждый этап карьеры Минского был отмечен фортуной. Большинству ученых приходится прилагать много усилий, чтобы получить финансирование в мире с постоянно сокращаемыми дотациями. Минский же принадлежал к тем, у кого деньги, казалось бы, «текли из крана». Он вспоминал:
Кучи денег и потрясающе талантливые математики с их прогрессивными теориями о грядущем – так выглядело сообщество исследователей ИИ. В итоге небольшая группа коллег Минского превратилась в лидеров в технологических академических кругах, в индустрии и даже в Голливуде.
Когда фантаст Артур Кларк работал со Стенли Кубриком над «2001 год: Космическая одиссея», он обратился к своему другу Минскому за помощью: подсказать, как можно представить суперинтеллект на космическом корабле, который пытается спасти мир, но затем уничтожает всю команду. И Минский помог. Вместе они разработали HAL 9000, компьютер, по сей день символизирующий все перспективы и ужасы, на которые могут быть способны машины. Большинство людей помнит единственный мигающий красный «глаз» HAL. Почти такой же зловещий глаз (если точнее, индикатор) был на ENIAC, который считается первым программируемым универсальным цифровым компьютером. Джон фон Нейман, который пришел к идее хранения компьютерных данных, что и привело к появлению ENIAC, был одним из наставников Минского.
Вкусы Минского в литературе сводились исключительно к научной фантастике. Он даже написал собственное произведение. А еще он дружил с Айзеком Азимовым и другими выдающимися писателями. И порой в такой дружбе размывались границы фантастики и реальности. Минский упоминал об одном из их безумных проектов в интервью:
Получается: Кларк, писатель-фантаст, придумал лифт, выходящий в открытый космос. Он убедил своего друга ученого Минского (в чьем доме Кларк периодически гостил), что лифт – это отличная идея. В свою очередь, Минский убедил некоторых друзей в Ливерморской национальной лаборатории (работавшей на оборонную промышленность, а сегодня получающей финансирование от Администрации по национальной ядерной безопасности и Департамента энергетики) поразмыслить над идеей гигантского кухонного лифта в открытом космосе. И эти ученые работали над этим космическим «кухонным лифтом» целых шесть месяцев.
В технологическом сообществе все знали Минского и полагались на него. Известно, что Стив Джобс узнал об идее компьютера с мышью и графическим пользовательским интерфейсом от Алана Кея и его команды в Xerox PARC. Когда в 1985 г. Джобс ушел из Apple, его место занял Скалли. Кей тогда обмолвился, что пора искать новые идеи для технологических разработок. И они не собирались обращаться за вдохновением к PARC. «Так мы оказались на восточном побережье в Медиалаборатории МТИ, где сотрудничали с такими экспертами как Марвин Минский и Сеймур Пейперт, – рассказывал Скалли в интервью 2016 г.[48] – Многое из того, что у нас получилось, мы представили в концепт-видео “Навигатор знаний”. Там и было предсказано, что компьютеры станут нашими помощниками, – то, что происходит сейчас с голосовыми помощниками вроде Siri от Apple, Alexa от Amazon и Cortana от Microsoft».
И не случайно то, что у каждого из помощников по умолчанию женские имена и идентичности. «Мне кажется, в действительности это отражает то, что мужчины думают о женщинах, – что они неполноценны как человеческие существа, – прокомментировала в своем интервью для LiveScience в 2015 г. социальный антрополог Кейтлин Ричардсон, автор “Антропологии роботов и ИИ: Упразднение тревоги и машины” (An Anthropology of Robots and AI: Annihilation Anxiety and Machines). – Что-то им можно доверить, но, когда дело касается сложных роботов, их обязательно будут создавать с мужской идентичностью»[49].
Мировоззрение Минского отражается даже в поисковой системе, которой мы пользуемся каждый день. Стэнфордские докторанты Ларри Пейдж и Сергей Брин разработали PageRank, революционный поисковый алгоритм, который и привел их к созданию Google. Ларри Пейдж – сын Карла Виктора Пейджа-старшего, профессора в области ИИ, человека, знакомого с работами Минского и общавшегося с ним на конференциях. Научный руководитель Ларри Терри Уиноград считает Минского своим наставником. Научным руководителем Винограда был Сеймур Пейперт – давний коллега и бизнес-партнер Минского. Некоторые из топ-менеджеров Google, например Рэй Курцвейл, учились в аспирантуре у Минского.
Минский был гладуэлловским объединителем[50]. В 1950-е гг. в многомиллионной стране можно было насчитать немного мест, где занимались информатикой, – и Марвин Минский был в каждом из них, общаясь, занимаясь разработками, создавая, доделывая и передавая проекты.
Творческий беспорядок в стиле Минского – веселый, очаровательный и вдохновляющий. И опасный. У поколения Минского не было тех представлений о безопасности, которые важны для нас сегодня. Скажем, пренебрежение радиационной безопасностью было обыденным. Однажды один из выпускников Минского, Дэнни Хиллс, зашел к нему домой с радиационным датчиком в кармане. (Хиллс – изобретатель суперкомпьютера, управляет фондом Long Now вместе с основателем Каталога всей Земли Стюартом Брандом. Цель фонда – создать механические часы, которые будут идти 10 000 лет в пещере на ранчо Джека Безоса, основателя Amazon[51].) Датчик излучения стал «сходить с ума». Хиллс, уже живший некоторое время в доме, отправился на поиски источника радиации. Самый сильный сигнал поступал из шкафа. Хиллс открыл его, но не увидел непосредственно предмета излучения. Затем он обнаружил секретную панель в глубине шкафа. Любопытство взяло верх, он открыл панель и нашел человеческий скелет.
Хиллс побежал наверх, чтобы сообщить Минскому и его жене Глории Рудиш о своей находке. Они были скорее взволнованы, нежели удивлены. «Он действительно там? – спросила Рудиш. – Мы годами его искали». Этот скелет она использовала в медицинской школе, и никто не предполагал, что он может быть источником радиации.
В итоге Хиллс выудил из шкафа множество находок, например объектив старой шпионской камеры, которую Минский купил в комиссионке. В то время такие объективы обрабатывались каким-то радиоактивным составом, чтобы повысить коэффициент преломления. «Невероятная радиоактивность, – вспоминал Хиллс. – Тогда я вынес все из дома»[52]. Поколение Минского считало, что, когда дело доходило до создания чего-либо нового, стандартные правила не работали. Например, он любил рассказывать о своих друзьях, собравших межконтинентальную баллистическую ракету во дворе дома, некогда принадлежавшего архитектору Бакминстеру Фуллеру.
Превалирование творчества над условностями (или законами) – вот то, что поколение Минского стремилось передать своим студентам. Это проявится позже, в моделях поведения директоров технологических компаний вроде Тревиса Каланика, который в 2017 г. был исключен из руководства Uber за (среди прочего) создание культуры сексуального домогательства. Каланик тоже считал, что законы не важны. Он запустил компанию Uber на глобальном уровне в обход местных законов о пассажирских перевозках; разработал программу под названием Gryball, помогавшую компании избегать внедрения агентов под прикрытием в ряды водителей; именно его, оскорблявшего водителя, засняли на камеру; это он имел бледный вид, когда выяснилось, что его водители насиловали пассажиров[53]. Согласно посту в блоге одной из разработчиц Uber Сьюзан Фаулер, менеджеры Каланика были карикатурно некомпетентными, когда дело касалось жалоб о домогательствах. Коллеги-мужчины обыденно обходили ее по карьерной лестнице и делали ей непристойные предложения. Менеджеры по персоналу в Uber должны были бы распознать хрестоматийный пример дискриминации по половому признаку на рабочем месте, но вместо этого они назвали виновной ее.
Корни такого отрицания социальных норм восходят к первопроходцу цифровых машин, Алану Тьюрингу. Он, как и Минский, работал над своим дипломным проектом в Принстоне. Тьюринг был совершенно безнадежен в делах общения. Его биограф Джек Коупленд – директор Архива Тьюринга по истории вычислительной техники – пишет, что тот предпочитал работать в одиночку. «При чтении его научных трудов создается впечатление, как будто весь остальной мир – деятельное сообщество человеческих умов, занимающихся теми же или смежными задачами, – просто не существует». В отличие от персонажа, изображенного актером Бенедиктом Камбербэтчем в биографическом фильме о Тьюринге «Игра в имитацию», настоящий Тьюринг был довольно неопрятным. Он носил потертую одежду, его ногти всегда были грязными, а волосы торчали в разные стороны. Коупленд пишет[54]:
[42] Christian and Cabell, Initial Investigation into the Psychoacoustic Properties of Small Unmanned Aerial System Noise.
[43] Martinez, “‘Drone Slayer’ Claims Victory in Court.”
[44] Vincent, “Twitter Taught Microsoft’s AI Chatbot to Be a Racist Asshole in Less than a Day.”
[45] Plautz, “Hitchhiking Robot Decapitated in Philadelphia.”
[46] Unless otherwise indicated, quotes from Minsky in this section are taken from Minsky, “Web of Stories Interview.”
[47] Brand, The Media Lab; Levy, Hackers.
[48] Dormehl, “Why John Sculley Doesn’t Wear an Apple Watch (and Regrets Booting Steve Jobs).”
[49] Lewis, “Rise of the Fembots”; LaFrance, “Why Do So Many Digital Assistants Have Feminine Names?”
[50] Автор ссылается на «объединителей», социальных акторов, упомянутых Малкольмом Гладуэллом в книге «Переломный момент». – Прим. пер.
[51] Long Now Foundation – долгосрочная культурная инициатива, противопоставляющая себя «быстрой и дешевой» культуре и стоящая на идеях развития долгосрочной ответственности. – Прим. пер.
[52] Hillis, “Radioactive Skeleton in Marvin Minsky’s Closet.”
[53] Alba, “Chicago Uber Driver Charged with Sexual Abuse of Passenger”; Fowler, “Reflecting on One Very, Very Strange Year at Uber”; Isaac, “How Uber Deceives the Authorities Worldwide.”
[54] Copeland, “Summing Up Alan Turing.”