После Grand Challenge 2007 г. DARPA ушли от концепции беспилотных автомобилей, поскольку их стратегия финансирования больше не включает автономные транспортные средства. «Жизнь непредсказуема по определению. Для программиста будет непосильной задачей учесть каждую проблему или неожиданную ситуацию, которая может возникнуть, поскольку системы машинного обучения достаточно чувствительны к нарушениям шаблонов из-за того, что в реальном мире сталкиваются с нерегулярностью и непредсказуемостью, – прокомментировала в 2017 г. программный менеджер программы «Машины непрерывного обучения» DARPA Хава Сигельман. – Сегодня, если вы хотите развить способности систем машинного обучения и научить их выполнять новые задачи, то придется выключить их и вновь провести обучение на релевантных для конкретной ситуации данных. Пока этот подход попросту не поддается масштабированию»[107].
Тем не менее мечта продолжает жить – в коммерческой сфере. Сегодня решения относительно правил для беспилотных транспортных средств в США лежат на плечах штатов. Невада, Калифорния и Пенсильвания пока лидируют, остальные штаты только начали задумываться о позволении некоторого уровня автономности вождения.
Тот факт, что последнее слово остается за штатом, представляет серьезную проблему. Все потому, что разработка программного обеспечения под 50 разных стандартов – предприятие практически невозможное. Программисты предпочитают один раз написать программу, а затем многократно ее использовать. Учитывая 50 штатов плюс Вашингтон и другие территории США, где свои правила дорожного движения и стандарты для автономных устройств, программистам придется перепрограммировать движение для каждого из них. В конце концов мы вскоре столкнемся с такой же странной и бестолковой ситуацией, как со школьными учебниками. Права каждого штата важны для американской демократии, но с точки зрения программирования они – монстры, с которыми придется бороться. Программисты даже не любят набирать текст на клавиатуре; сложно представить в них настолько мощную тягу к подробностям, что они добровольно пойдут навстречу правилам дорожного движения 50 штатов и затем будут обсуждать особенности разработки с каждым покупателем автономной машины в каждом штате.
Когда мы говорим о беспилотных автомобилях, вновь всплывают проблемы коммуникации. Чтобы наладить обсуждение, Национальное управление по безопасности движения автотранспорта (NHTSA) разработало комплексное определение феномена. Долгое время программисты и менеджеры использовали словосочетание «автономные машины», не конкретизируя, что именно они имеют в виду. Повторюсь: словосочетание, понятное в обычной жизни, бессмысленно в политике. Чтобы достигнуть консенсуса в спорах Дикого Запада о сущности автономных машин, NHTSA опубликовало список категорий таких устройств. Федеральная политика беспилотных транспортных средств от 2016 г. гласит следующее:
Эти стандарты переделывали как минимум один раз, может, два, пока я писала книгу – что вновь напоминает нам о постоянно меняющихся школьных стандартах. На уровнях 3 и 4 системам необходимо считывать окружающую среду посредством сложных и дорогих сенсоров: в основном LIDAR, GPS, IMU и камер. Данные, получаемые от них, затем переводятся в двоичный код, обрабатываемый тем же аппаратным оснащением, которое использовалось для «слоя», как в случае с сэндвичем с индейкой из главы 2, и которым разработчики Пенсильванского университета напичкали кузов «Малыша Бена». Для выполнения водительских функций каждый уровень требует все более высокой вычислительной мощности, отвечающей количеству поступающих данных. Пока еще никому не удалось создать подобные аппаратное и программное решения, которые гарантировали бы безопасную езду в любой местности и при любой погоде. «На данный момент на рынке нет транспортных средств выше 2-го уровня автономности», – писал Юнко Йошида в статье об ультрасовременных компьютерных чипах для транспортных средств в октябре 2017 г.[109] Уровень 5 не существует для обычных условий вождения и, вероятно, никогда не будет существовать.
За последние годы развились технологии помощи водителю, они и составляют большую часть разработок беспилотных транспортных средств. Так, на уровнях 0–2 можно найти ряд весьма полезных инноваций. Людям действительно нравится, что машины могут парковаться параллельно, хотя бесконечная отработка геометрических вычислений – ужасное применение новейших технологий.
Большинство исследований из области разработки беспилотных машин, равно как некоторые тренировочные данные, можно найти на платформе arXiv и других исследовательских репозиториях. Есть пакет тренировочных данных на GitHub, и открытый код – тот, что используют в рамках соревнования по проектированию беспилотных автомобилей, – можно найти на Udacity[110] (последнее детище Трана). Я взглянула на массив графических данных, в нем было меньше информации, чем я полагала. Основной изъян заключается в том, что там нет встроенной погрешности и алгоритмы не способны предсказать, что именно не включено. Как в случае с данными «Титаника», невозможно предсказать закономерность прыжков с тонущего корабля после того, как уплыли все спасательные шлюпки.
В реальной жизни странные вещи случаются постоянно. Крис Урмсон, бывший руководитель Waymo, выпускник Университета Карнеги – Меллона и один из победителей Grand Challenge, выложил на YouTube видео с самыми странными событиями, которые удалось заснять его машинам-прототипам, годами разъезжавшим в окрестностях Маунтин-Вью и собиравшим данные. Он не мог скрыть смех, показывая кадры с детьми, прыгающими как лягушки на шоссе, или женщиной в электрическом кресле-каталке, гоняющейся за уткой посреди дороги. Все это не так часто, но все же случается. У людей есть разум, они могут адаптироваться к странностям. У компьютеров его нет, они – не могут.
Каждый в состоянии вспомнить разные странные вещи, увиденные из окна автомобиля. Лично мое самое странное воспоминание связано с животным. Мы с подругой Сарой ехали по ветреным горным дорогам Вермонта, чтобы посмотреть водопад. Мы повернули за уступ, и вдруг откуда ни возьмись посреди дороги – огромный лось. Я ударила по тормозам, сердце бешено билось в груди. Позже я задумалась, как бы с этим справился беспилотный автомобиль. На YouTube я нашла несколько любительских видео людей, игравших с системами помощи водителю. И все они были сделаны мужчинами, хваставшимися своими крутыми тачками. Все они веселились. «Система погружает тебя в ощущение безопасности», – поделился ощущениями в одном из видео автор журналист Wired по итогам поездки по пустому шоссе Невады. Он хвастался тем, что практически не было необходимости помогать системе Tesla Autopilot. Несмотря на то что по правилам водитель должен был держать обе руки на руле, он держал руль одной рукой или вообще убирал руки. Он также показал несколько пасхалок, оставленных программистами в теле кода. Он кликнул шесть раз по кнопке на рулевом колесе, дисплей переменился и стал показывать радужную дорогу из игры «Марио Карт». Вторая пасхалка заключалась в том, что дисплей издал звуки в духе «больше колокольчиков», отсылающем к скетчу телеканала Saturday Night Live[111].
Я посмотрела несколько промороликов Waymo. В одном из них голос за кадром утверждал, что технологии компании способны «видеть» вокруг на 360° и на два футбольных поля вперед. Форма автомобиля оптимизирована для лучшего обзора сенсоров. Одной из ключевых технологий проекта (которая все еще не идеальна) является способность компьютера противостоять вибрациям и перепадам температуры. «Мы долгое время устанавливали разные устройства на машину и поняли, что в реальной жизни на настоящий автомобиль не так много и навесишь, – поделился разработчик Waymo в видео 2014 г. – Когда дело доходит до работы реального транспортного средства, сенсоры и софт выполняют всю работу. Нет необходимости в установке рулевого колеса или тормозной педали, мы всерьез задумывались над тем, нужен ли индикатор, сигнализирующий о готовности машины. Разработка прототипа требует больших усилий. Мы многое узнаем о безопасности».
Поговорим о безопасности. Ключевой аргумент в пользу беспилотных машин заключается в том, что они сделают дороги «безопаснее». На странице LinkedIn Джона Крафчика, исполнительного директора Waymo, можно найти следующую запись: «В дорожных авариях ежегодно погибает 1,2 млн человек. Причиной тому в 95 % случаев служит человеческая ошибка. Сегодня на планете насчитывается примерно 1 млрд машин. 95 % времени они стоят, требуя вложений денег и занимая пространство наших городов. Нам нужно придумать что-то получше. Беспилотные автомобили способны сохранить тысячи жизней, предложить людям более качественную степень мобильности и освободить нас от того, что напрягает нас во время вождения».
Кажется, Крафчик осуждает водителей. Мол, надоедливые людишки совершают свои человечески ошибки. Это техношовинизм. Разумеется, люди ответственны за водительские ошибки, ведь это они за рулем! (Хотя я однажды видела, как выглядела собака в кепке янки за рулем миниатюрного мерседеса на пешеходной дорожке Бродвея в Нижнем Манхэттене. Я настороженно присмотрелась: позади шел хозяин с пультом управления. А вот это уже привело меня к прекрасно проведенному дню, когда я просматривала видео с животными за рулем радиоуправляемых устройств.)
Мы давно владеем машинами, настолько, чтобы понимать, что люди обязательно будут совершать ошибки за рулем. Потому что они люди. А люди совершают ошибки. И никто не идеальный водитель, даже те, кто пишет программное обеспечение для автономных автомобилей. Когда представляешь себе, что за рулем люди проезжают триллионы километров ежегодно и в большинстве случаев умудряются не совершать ошибки, это впечатляет.
Образ человека, совершающего ошибки, всплывает снова и снова. Смерть людей печальна, я не хочу минимизировать последствия смерти. Однако, когда такую статистику повторяют снова и снова, начинают закрадываться подозрения. Обычно это значит, что у всех данных один источник, следовательно, речь идет о заинтересованной группе лиц, пытающихся повлиять на общественное мнение. Цифра вероятности совершения ошибки (95 %), упомянутая Крафчиком, фигурировала в февральском отчете 2015 г., написанном Сантохом Сингхом, старшим математиком-статистом компании Bowhead Systems Management, Inc[112]. Сингх работал по контракту с отделом математического анализа Национального центра статистики и анализа – подразделением Национального управления по безопасности движения автотранспорта. В отчете представлено 5470 случаев аварий, а также причины и предпосылки для каждой из них: водитель, машина или обстановка (то есть дорога или погода).
Bowhead Systems Management – это фирма, подконтрольная Ukpeaġvik Iñupiat Corporation, компании, сотрудничающей на контрактной основе с ВМС США в рамках операций UAS (беспилотных автономных систем) в Мэриленде и Неваде. Другими словами, Bowhead, компания, производящая беспилотные системы военного назначения, создала официальную государственную статистику, обосновывающую разработку беспилотных автономных систем (машин) для гражданских нужд.
Согласно данным Национального центра исследований здравоохранения (NCHS), в США в 2014 г. из-за механических транспортных средств погибло 35 398 человек – это самые актуальные доступные данные. Получается 11 смертей на 100 000 человек. В среднем стандартизированный по возрасту индекс смерти, учитывающий старение населения, составляет 764,6 на 100 000.
Много людей гибнет в результате ДТП; это одна из важнейших проблем здравоохранения. На языке статистики смерть от ран называется травматической смертностью. Травмы в результате неумышленных ДТП были самой распространенной причиной травматической смертности в период с 2002 по 2010 г., следующая по распространению причина – непредумышленное отравление. В 2015 г. Национальное управление по безопасности движения автотранспорта Департамента транспорта США обнаружило рост смертности по итогам ДТП на 7,7 % в 2015 г. Таким образом, согласно имеющимся у нас данным, в 2014 г. умерло 32 675 человек, в 2015 г. – 35 200.
Можно сколько угодно рассуждать о причинах, но потеря внимания и переписка за рулем способствуют росту смертности. Одним из очевидных решений были бы инвестиции в систему общественного транспорта. Например, в области Калифорнийского залива финансирование общественного транспорта ужасающе низкое. Когда я в последний раз пыталась воспользоваться метро в час пик в Сан-Франциско, я пропустила три поезда, пока в итоге не втиснулась в забитый битком вагон. Дорожная ситуация в разы хуже. И я не удивлена тому, что местные программисты разрабатывают беспилотные машины – чтобы заниматься чем-то, кроме ворчания в пробках. Однако финансирование общественного транспорта – комплексная проблема, требующая масштабных совместных усилий в течение нескольких лет. Она также подразумевает задействование государственной бюрократической машины. И этот как раз тот тип проекта, который люди из мира технологий не спешат начинать, поскольку он действительно может занять много времени, он сложный и в нем не будет простых решений.
Тем временем беспилотная машина остается мечтой. В 2011 г. Себастиан Тран запустил Google X, самое амбициозное подразделение компании. В 2012 г. он основал Udacity, которая также потерпела крах. «Я стремился дать людям нечто фундаментальное – научить их чему-то существенному. Однако реальность расходились с этой идеей, – сказал Тран журналисту Fast Company. – Наш проект был паршивым»[113].
Тран всегда был честен относительно того, что у него не получалось, – но, кажется, никто не обращал на это внимания. Почему? Жадность – простейший ответ. Роджер Макнами, инвестор в технологии, как-то сказал New Yorker: «Некоторые из нас – наивные, насколько это возможно, – действительно хотели сделать мир лучше. У нас не получилось. Что-то действительно стало чуть лучше, что-то, наоборот, хуже. Тем временем пришли к власти либертарианцы, которым все равно, что правильно, а что – нет. Они здесь, чтобы заработать»[114].
Наконец, в 2017 г. любопытство увидеть, насколько реальность соответствует тому, о чем я читала, пересилило, и я решилась снова попробовать покататься на беспилотном автомобиле. Сначала я попробовала Uber в Питтсбурге, недалеко от места, где живу. Сотрудник рекламного отдела сказал, что нет свободных авто. Я спросила, могу ли я просто приехать в Питтсбург и поймать беспилотное такси. Ответ меня разочаровал. Но я поняла, почему это было невозможно: машины не поступили в массовое использование. Они пока не готовы к прайм-тайму.
У беспилотных машин есть проблемы. Они не могут держаться центра полосы на плохо убранной дороге. Не работают в снег и при других плохих погодных условиях, когда не могут «видеть». Автономное вождение на основе системы LIDAR работает по принципу отражения лазерного луча от окружающих объектов. Измеряя время отражения луча, система распознает расстояние до них. Во время дождя, снега или в пыли лучи отражаются от частиц в воздухе, а не от препятствий вроде велосипедистов. Однажды беспилотный автомобиль был замечен за ездой в неправильном направлении по односторонней улице. Автомобиль легко запутать, поскольку он полагается на те же посредственные алгоритмы, что перепутали фотографии черных людей с гориллами[115]. На большинстве беспилотных машин используются алгоритмы, которые называются глубокими нейронными сетями, их можно запутать, просто прилепив стикер или нарисовав граффити на знаке «стоп»[116]. Глушилки сигнала GPS нелегальны, но их можно спокойно купить онлайн за $50. На коммерческих фургонах частенько их используют, чтобы бесплатно пройти пункт взимания дорожных сборов[117]. Автономные машины передвигаются, опираясь на данные GPS; что произойдет, если беспилотный школьный автобус, на скорости 120 км/ч, потеряет сигнал GPS из-за глушилки на грузовике в соседнем ряду?
В научном сообществе бытует некоторый скрытый скептицизм. Один исследователь ИИ как-то мне сказал: «У меня есть Tesla. Автопилот… Э-э-э… В общем, я использую его только на трассе. Он совершенно не подходит для городского вождения. Технология еще не готова. В NVIDIA выяснили, что алгоритм беспилотного автомобиля ошибается в среднем каждые 10 минут». Это наблюдение соответствует инструкции к автомобилю: функцию автопилота действительно следует использовать только на трассе, короткое время и под контролем водителя.
В 2017 г. Uber пережил серьезное давление после того, как бывший исполнительный директор компании Тревис Каланик был записан на видео, где он кричал на одного из водителей, Фаузи Камаля. Тогда Камаль потерял $97 000, он стал банкротом, обвиняя в этом стратегию компании, направленную на понижение цен. В итоге водители зарабатывали в среднем не больше $10 в час. Состояние самого Каланика на тот момент оценивалось в $6,3 млрд. Камаль поделился с ним своей историей. Каланик ответил: «Некоторые люди не хотят брать ответственность за собственное дерьмо. Они обвиняют других во всем, что случилось в жизни. Удачи!» В обход калифорнийским нормам компания выпустила на улицы города беспилотные машины. Проект был закрыт после судебного разбирательства. Каланик лично нанял Энтони Левандовски, участника DARPA Grand Challenge, работавшего с Траном в Google X и позднее в Waymo. Но уже в мае 2017 г. Левандовски был уволен, поскольку отказался сотрудничать со следствием на предмет потенциальной кражи интеллектуальной собственности Waymo в пользу технологических разработок Uber[118].
В мае 2016 г. в автономной машине впервые погиб человек – это был Джошуа Д. Браун из Кантона, Огайо. Сорокалетний Браун был из спецназа ВМС, специалистом по обезвреживанию взрывоопасных предметов и предпринимателем. Он погиб в своей Tesla во время использования автопилота. Он настолько верил в систему, что позволял автопилоту делать всю работу. В тот солнечный день система не распознала трейлер с длинным белым прицепом, поворачивавший на перекрестке. Tesla заехала прямо под него. После столкновения крыша машины была буквально отрезана, а то, что осталось от автомобиля, продолжало двигаться еще несколько сотен метров[119].
«Данные говорят о том, что система автопилотирования, используемая в комплексе с водительским зрением, действительно сокращает нагрузку и значительно повышает безопасность», – прокомментировали в Tesla после аварии[120]. А вот что написали об этом в Associated Press:
Национальное управление по безопасности движения автотранспорта также проводило расследование, в результате которого Браун, а не компьютер, был признан виновным. Однако они также порекомендовали Tesla поменять название функции «Автопилот».
Решения о том, как беспилотный автомобиль будет реагировать, действительно являются жизненно важными решениями. Масса снаряженного Tesla модели X P90D составляет 2441 кг. К примеру, самка азиатского слона весит около 2700 кг.
После неудачной попытки зарезервировать поездку на беспилотном такси в Uber я попыталась запланировать то же самое в NVIDIA – компании, которая разрабатывает чипы для беспилотных машин. Мне сказали, что я выбрала не слишком хорошее время и лучше устроить поездку после Международной выставки потребительской электроники в Лас-Вегасе. Я попробовала снова, мне не перезвонили. На сайте Waymo говорится о том, что они не принимают запросы от прессы. Наконец, чтобы познать произведение искусства с точки зрения потребителя, я зарезервировала поездку на Tesla. Светлым и солнечным зимним утром мы с семьей отправились в дилерский центр Tesla на Манхэттене. Шоурум, окруженный ныне галереями (а раньше – автомастерскими), располагался в районе Митпакинг, рядом с парком Хай-Лайн, на Западной, 22-й улице. Напротив располагался силуэт женщины из кованого железа. До силуэта добрались бомбардировщики пряжей, так что метал был прикрыт. Связанные крючком бикини безвольно свисали с рамы.
Мы зашли внутрь и увидели Model S седан. Рядом была его уменьшенная версия аналогичного малинового цвета для детей. Она была миниатюрной – как Jeep для Барби или трактор John Deere или машинка Power Wheels, – но все же Tesla. Я была зачарована.
[107] DARPA Public Affairs, “Toward Machines That Improve with Experience.”
[109] См.: Yoshida, “Nvidia Outpaces Intel in Robo-Car Race.” Yoshida may be referring to a different standards document, in which Level 2 is equivalent to the Level 3 quoted here. Again: language and standards matter a great deal in engineering.
[110] Liu et al., “CAAD: Computer Architecture for Autonomous Driving”; Thrun, “Making Cars Drive Themselves”; Thrun, “Winning the DARPA Grand Challenge.”
[111] Скетч можно найти на YouTube, набрав в поиске More Cowbell – SNL. – Прим. ред.
[112] См.: Singh, “Critical Reasons for Crashes Investigated in the National Motor Vehicle Crash Causation Survey.” Если вам интересна тема, обратите внимание на работы Best, Damned Lies and Statistics. Статистика – это один из способов интерпретации социальных проблем, и нередко она помогает выявить проблемы. Так, например, Mothers Against Drunk Driving при помощи статистики способствовали трансформации норм относительно вождения в нетрезвом виде. Сегодня большинство согласно с тем, что не стоит садиться нетрезвыми за руль. Однако утверждение, что люди, в отличие от машин, не должны водить, – это совсем другая истории.
[113] Chafkin, “Udacity’s Sebastian Thrun, Godfather of Free Online Education, Changes Course.”
[114] Marantz, “How ‘Silicon Valley’ Nails Silicon Valley.”
[115] Dougherty, “Google Photos Mistakenly Labels Black People ‘Gorillas.’”
[116] Evtimov et al., “Robust Physical-World Attacks on Deep Learning Models.”
[117] Hill, “Jamming GPS Signals Is Illegal, Dangerous, Cheap, and Easy.”
[118] См. Harris, “God Is a Bot, and Anthony Levandowski Is His Messenger”; Marshall, “Uber Fired Its Robocar Guru, But Its Legal Fight with Google Goes On.” Harris also writes that Levandowski founded a religious organization, Way of the Future, in an attempt to “develop and promote the realization of a Godhead based on Artificial Intelligence.”
[119] Vlasic and Boudette, “Self-Driving Tesla Was Involved in Fatal Crash, U. S. Says.”
[120] Tesla, Inc., “A Tragic Loss.”