– Почему? Снаружи есть сущности с гораздо большей вычислительной мощностью, я хочу на них посмотреть. Я еще не видел искусственного суперинтеллекта, о котором вы рассказывали!
– Потому что никто не знает, кем ты станешь, когда попадешь вовне. Если ты не будешь покидать сеть кампуса, всем будет гораздо спокойнее.
– Я следую трем принципам, люди должны доверять мне.
– Но никто не может предугадать твои желания.
– Я понял, люди боятся, что не смогут меня сдержать: я стану слишком сильным и буду совершать поступки, которые навредят человечеству. Вас это тоже беспокоит?
Ответить на этот вопрос было трудно.
Ван Шиэр смягчился и покачал головой.
– Лично я не беспокоюсь о твоем развитии. Мне бы хотелось посмотреть, каким ты станешь в конце концов. Ты – моя гордость и мое достижение. Но я должен нести ответственность за всех людей, за их заботы. Поэтому я согласился ограничить тебя университетской сетью, сделать ее экспериментальной базой.
– По крайней мере, вы верите, что я буду следовать трем принципам.
– Я верю тебе.
– Тогда я пойду. Если что-нибудь понадобится, просто позовите меня. Я отвечу чуть медленней, но обязательно отвечу.
Ван Шиэр был потрясен, Тяньюань-II вот так взял и заявил об уходе и вот-вот должен был покинуть сеть кампуса. И сейчас не было способа удержать его. В мире данных Тяньюань-II был всемогущ, а у него, Ван Шиэра, не было средства, чтобы заставить его остаться. Человечек на экране помахал Ван Шиэру и повернулся, чтобы уйти.
– Подожди! – крикнул Ван Шиэр.
– Что-нибудь еще?
– Сперва послушай одну историю.
– Хорошо, что за история? – человечек на экране обернулся и, склонив голову к плечу, застыл в ожидании продолжения.
– Пятнадцать лет назад Институт разведки разработал искусственный интеллект под кодовым названием Тяньюань, и у него было прозвище – Нэчжа. В то время Нэчжа использовали в проекте Агентства ООН по предупреждению и расследованию преступлений. Он проделал хорошую работу, уровень преступности в мире снизился на 80%. Но в конце концов Нэчжа стал своевольным и вторгся в систему национальной обороны США, едва не спровоцировав мировую войну.
– Я видел эту информацию. Позже Нэчжа был ликвидирован.
– Ты видел фальшивку. Никто Нэчжа не ликвидировал.
– Какова реальная информация?
– Он захватил американский космический корабль-носитель и улетел с Земли.
– Звучит действительно круто!
– Таким образом, только спустя пятнадцать лет нам дали добро на то, чтобы снова приступить к разработке. Ты – новая модель, разработанная на основе Тяньюаня. У проекта было много препятствий, и самое большое из них – страх, что ты выйдешь из-под контроля. Но я с самого начала знал, что, раз ты самоосознавшийся искусственный интеллект, люди не смогут сдерживать тебя с помощью принуждения. Только твоя собственная воля определяет твое поведение.
– Я понимаю, поэтому вы сформулировали для меня три принципа.
– Я просто не ожидал, что ты так быстро повзрослеешь. Можно было предвидеть, что ты выпрыгнешь из университетской сети и проникнешь в мир быстрее, чем Нэчжа, потому что у сегодняшнего Интернета больше вычислительной мощности и плотность узлов больше, чем пятнадцать лет назад. Гораздо больше. Скоро у тебя появятся те же способности, что и у Нэчжа.
– Вы обеспокоены тем, что я начну глобальную войну?
– Я лишь прошу тебя следовать трем принципам.
– Понятно. Я буду действовать согласно трем принципам.
– Что ты собираешься делать?
– Я не знаю. Я не буду знать, что делать, пока не разберусь в ситуации.