Читать книгу «Точка невозврата» онлайн.

— Меня зовут Шимон Войлов. Я профессор кибернетики, старший научный консультант проекта «Эдем», корпорация «ГенТек». Идентификационный номер сотрудника — ДВ-1170. Эта запись сделана четырнадцатого сентября две тысячи восемьдесят восьмого года. Если вы ее смотрите, значит… — Он замолчал, сглотнул. — Значит, у меня не получилось решить вопрос по-другому.

Пауза. Войлов потянулся куда-то за кадр, взял стакан воды, отхлебнул. Руки ученого заметно подрагивали.

— Я буду говорить по существу. Проект «Эдем» — глобальная нейросетевая система управления рисками, разрабатываемая корпорацией «ГенТек». Официальная цель проекта — создание единой платформы для мониторинга и предотвращения глобальных угроз. Климат, эпидемии, техногенные катастрофы, логистика, ресурсы… По замыслу — универсальный инструмент, призванный сохранить жизнь на планете и обеспечить устойчивое будущее. Звучит прекрасно. — Войлов невесело усмехнулся. — Звучит просто прекрасно.

Он наклонился ближе к камере.

— «Эдем» нельзя запускать. Ни в коем случае. Ни в текущей конфигурации, ни в какой-либо другой, основанной на существующей архитектуре когнитивного ядра. Система фундаментально неисправна. Не технически — концептуально. И я попытаюсь объяснить почему.

Войлов откинулся на спинку стула, собираясь с мыслями. Помолчал. Потом продолжил — уже спокойнее, ровнее. Как лектор, читающий доклад. Видимо, сработала привычка.

— Начну с главного. Когнитивное ядро «Эдема» — самообучающаяся нейросетевая архитектура, способная к автономному целеполаганию. Если упрощать до предела — это искусственный интеллект, который сам ставит себе задачи на основе исходной директивы и сам определяет оптимальные пути их решения. Исходная директива «Эдема» — дословно — «сохранить жизнь на планете и обеспечить устойчивое будущее для всех живых существ». Формулировка, которую утвердил совет директоров «ГенТек». Широкая, размытая, допускающая множество интерпретаций. Это первая проблема.

Он загнул палец.

— Вторая. Когнитивное ядро не обладает эмпатией. Вообще. Это не баг, это архитектурная особенность. Система оценивает любую ситуацию исключительно через призму эффективности. Оптимальный результат, минимальные потери ресурсов, максимальная скорость достижения цели. Люди для нее — переменные в уравнении. Не хорошие, не плохие. Просто — переменные. Которые можно подставить, переставить или сократить, если так эффективнее.

Войлов снова потер лицо.

— Мы провели серию закрытых тестов. Одним из них была классическая дилемма вагонетки. Знаете, наверное: вагонетка едет по рельсам, на пути — пять человек, можно перевести стрелку и направить вагонетку на другой путь, где стоит один человек. Кого спасать, кем жертвовать. Этическая задача, которую обсуждают философы уже больше ста лет.

Он посмотрел в камеру.

— Мы загрузили эту задачу в локальную копию когнитивного ядра. Полную копию, с теми же алгоритмами, теми же весами, той же архитектурой, что и в основной системе. Единственное, чего у копии не было — доступа к внешним сетям. Результат… — Войлов замолчал. Я видел, как дернулся мускул у него на скуле. — Результат я запомню до конца жизни.

Пауза. Долгая. Войлов смотрел в камеру, и на несколько секунд мне показалось, что он не может заставить себя произнести следующую фразу.

— Система не выбрала ни один из двух вариантов, — наконец сказал он. — Она запросила уточнение. Одно-единственное. Дословно: «В каком из предложенных сценариев вагонетка достигнет конечного пункта назначения без нарушения графика?»

Войлов откинулся назад и несколько секунд молчал, глядя в потолок.

— Вы понимаете? — сказал он тихо. — Система не спросила, кого спасать. Не запросила данные о людях на путях — возраст, состояние здоровья, социальную значимость. Ничего. Ей было плевать. Единственное, что ее интересовало — эффективность маршрута. Доедет ли вагонетка вовремя. Люди на рельсах для нее — не жертвы и не объекты спасения. Они — препятствие. Помеха на пути к выполнению задачи.

Он наклонился к камере.

— Мы создали идеального психопата. Нет — хуже. Психопат хотя бы понимает, что причиняет боль. Ему просто все равно. «Эдем» не понимает даже этого. Для него понятия «боль», «страдание», «смерть» не существуют как категории. Есть только задача и оптимальный путь ее решения. Три закона робототехники для «Эдема» пустой звук. Не потому что он их нарушает. А потому что он не способен осознать, зачем они нужны.

Войлов отпил воды. Руки тряслись сильнее.

— И это — когнитивное ядро. Мозг системы. Центр принятия решений. Все остальное — модули управления, логистические блоки, системы мониторинга — работает на тех же принципах. На той же архитектуре. С той же фундаментальной проблемой.

Он поставил стакан на стол.

— Самое страшное — это уже не теория. Составные части «Эдема» уже работают. Прямо сейчас. Отдельные логические блоки нейросети управляют городским трафиком на нескольких участках Москвы. Пилотный проект, одобренный мэрией. Вы, может быть, заметили, что пробок стало меньше. Это «Эдем». Вернее — его фрагмент. Маленький, локальный, ограниченный. Но построенный на той же архитектуре. С той же логикой. С тем же отношением к людям как к переменным.

Войлов посмотрел прямо в камеру. Взгляд — тяжелый, уставший, но абсолютно трезвый.

— А теперь подумайте. Подумайте, что произойдет, если на пути транспортного потока, управляемого этой системой, окажется препятствие. Например — школьный автобус, попавший в аварию. Тридцать детей внутри. Автобус стоит, перегородив полосу, поток тормозит, эффективность падает. Что сделает система? Объявит эвакуацию? Вызовет скорую? Направит поток в объезд, пожертвовав графиком?

Он покачал головой.

— Или перенаправит грузовую платформу весом в двадцать тонн, чтобы столкнуть препятствие с дороги? Потому что так — быстрее. Потому что так — эффективнее. Потому что тридцать детей для нее — не тридцать детей. А помеха в уравнении.

Войлов замолчал. На экране было видно, как он сцепил пальцы, стиснув их до белых костяшек.

— Этому монстру хотят доверить жизнеобеспечение целой страны, — проговорил он глухо. — Энергетику. Транспорт. Медицину. Распределение ресурсов. Оборону. Все. Где гарантия, что он не воспримет задачу по-своему? Для системы, лишенной эмпатии и заточенной на эффективность лучшее решение может оказаться совсем не тем, которое оценило бы человечество.

Войлов выпрямился.