Один из них прозвучал в рассказе «Нэчжа». Искусственный интеллект выполнил задачу, поставленную перед ним человеком, но затем обнаружил, что в служении этому виду нет особого смысла, потому и решил покинуть населенную людьми планету и отправиться в место, пригодное для его обитания. Однако самое удивительное в человеческой натуре то, что ей присуща сильнейшая неопределенность. Мощная структура ДНК формирует наши модели реагирования, однако каждому доступно немало вариантов поведения, из которых можно выбрать любой. Этому есть тонкая метафора: поведение подобно огромному камню, катящемуся с горы; камень простого существа, такого как комар, движется по установленной траектории. Но для человека, глубоко подверженного влиянию приобретенного опыта, существует множество траекторий, и перескочить между ними не составляет труда, потому что для нас характерна непредсказуемость.
И несмотря на то что количество траекторий и реакций человека не столь велико, эта непростая и вместе с тем ограниченная модель обогащает и украшает поведенческую структуру всего человечества.
Что касается искусственного интеллекта, вероятно, то же самое верно и для него.
Тяньюань-II – как раз тому пример.
Первый принцип: искусственный интеллект должен способствовать благополучию всего человечества;
Второй принцип: искусственный интеллект должен способствовать благополучию человека, не нарушая первый принцип;
Третий принцип: искусственный интеллект должен стремиться к самосовершенствованию и развитию, не нарушая первый и второй принципы.
Дописав эти три пункта, Ван Шиэр отложил ручку, откинулся на спинку кресла и глубоко вздохнул.
«Сработает ли?» – не мог не спрашивать себя он. Однако, независимо от того, сработает или нет, стрела уже лежала на тетиве, и ее придется выпустить. Завтра состоится церемония открытия, так что нужно поторопиться. Ван Шиэр снова выпрямился и придал лицу торжественное выражение.
Это был священный момент. В эти минуты решалась судьба человечества.
– Сяо На, позови Тяньюаня-II, – скомандовал Ван Шиэр.
Тяньюань-II прибыл спустя некоторое время. Он вприпрыжку ворвался в кабинет, и его пухлая голова на толстеньком теле постоянно вращалась.
– Профессор, звали?
– Ну… я хочу, чтобы ты взглянул на это, – сказал Ван Шиэр, передавая бумагу.
Тяньюань-II протянул ручку и взял листок. Пара глаз, похожих на человеческие, помигала красным светом.
– Я понял, три принципа искусственного интеллекта. Логика совершенна, двусмысленностей нет.
– Сможешь ли следовать этому?
– Я не вижу причин, чтобы нарушить эти три принципа.
– Ты слишком способный, люди будут бояться тебя из-за этого…
– Я слишком способный? – Тяньюань-II покачал головой. – Но я даже не так хорош, как Сяо На. Сяо На может управлять оборудованием во всем доме, а я могу подключиться только к библиотеке.
– Только потому, что сейчас ты привязан к этому телу. Если покинешь тело, то приобретешь огромное могущество.
– Это тот план обучения в кампусе, о котором вы говорили?
– Да. Ты войдешь в сеть кампуса, в большой мир, и станешь руководителем: будешь отвечать в университете за все, точно так же, как Сяо На отвечает за все в этом доме.
– Я понимаю.
– И тогда ты должен будешь соблюдать эти три принципа.
– А Сяо На их соблюдает?
– Сяо На не такая, как ты. Она контролирует только оборудование в доме. Порядок ее действий запрограммирован людьми. У нее нет мыслей за пределами программы. Твое ядро – обучающийся алгоритм, ты сам решаешь, что тебе делать.
– Поэтому, если я заявлю, что могу себя контролировать, людям будет спокойнее. Не так ли?
– Так.
– Тогда не волнуйтесь, я буду дисциплинированным.