Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу: читать книгу онлайн полностью и бесплатно

Первые исследования показали, что в некоторых случаях LLM может довольно эффективно использовать внешние инструменты. В феврале 2023 года группа исследователей из Meta [96] опубликовала статью под заголовком «Toolformer: языковые модели могут самостоятельно научиться пользоваться инструментами» (Toolformer: Language Models Can Teach Themselves to Use Tools)5. Они показали, как LLM под названием Toolformer – хотя ей было сложно решать определенные задачи, например по арифметике, – смогла научиться, в каких ситуациях для выполнения задачи необходимо вызывать внешние API, при этом ей было показано лишь несколько примеров. Модель Toolformer использовала такие инструменты, как поисковая система, калькулятор, API календаря и две другие LLM: переводчик и модель, прошедшую тонкую настройку для ответов на вопросы. В главе 5 мы рассмотрели механизм поиска внешней информации в интернете как инструмент, который помогает снизить частоту галлюцинаций, поскольку после поиска неизвестной для модели информации уже не нужно генерировать догадки. С помощью внешних инструментов можно устранить и другие недостатки LLM.

Кроме того, если LLM могут всего по нескольким примерам научиться вызывать API, возможности системы в целом значительно расширятся. Например, LLM может не только генерировать код, но и выполнять его. В документации к агенту LLM, созданному на LangChain для работы с датафреймами Pandas [97], сказано, что на вопрос типа «Каков средний возраст?», агент может написать необходимый код на языке Python, запустить его на датафрейме и выдать ответ пользователю. LLM-агенты необходимы для полной автоматизации задач, в которых выполняются разные операции помимо генерации текста. Однако у таких моделей есть обратная сторона: если LLM допустит ошибку, это повлечет за собой реальные последствия, а не просто генерацию небезопасного или некорректного текста. На главной странице агента по работе с данными Pandas жирным шрифтом написано предупреждение на этот счет:

В настоящее время основным препятствием для внедрения LLM-агентов является отсутствие гарантии, что не будут допущены опасные ошибки, поскольку генерации модели носят вероятностный характер.

Как отмечалось в главе 6, наиболее креативные LLM-агенты создаются сообществом разработчиков свободного ПО. Всплеск активности – Андрей Карпаты в мае 2023 года назвал его «первыми признаками кембрийского взрыва»⁷ – отчасти стал возможен благодаря нескольким достижениям, которые сделали LLM более эффективными, а следовательно, более быстрыми и дешевыми для тонкой настройки и обслуживания. LLM также использовались для обучения языковых моделей меньшего размера, которые смогут добиться производительности в решении определенных задач, сравнимой с большими моделями, при этом снижая затраты и барьеры для входа⁸. Общий эффект от этого заключается в том, что теперь еще больше людей могут создавать новые приложения, используя языковые модели, а это означает, что мы можем увидеть новые области применения этих агентов. Более подробно о трендах в сообществе разработчиков свободного ПО мы поговорим в главе 9.

8.1.3. Волна персонализации

Эра персонализации наступит неминуемо. Существует популярный образ робота вроде R2-D2 [98]: всезнающий помощник, который служит одному человеку, изучает его предпочтения, чтобы их опыт общения стал приятным и персонализированным. Продукты LLM, включая ChatGPT, уже позволяют указывать в профиле ту информацию о пользователях, которую, по их мнению, модель должна запомнить. Например, если кто-то часто использует чат-бот для обсуждения планов на неделю, то этот человек может захотеть добавить информацию о своем местоположении, роде занятий и интересах. LLM затем будет опираться на эту информацию, что повысит вероятность полезных пользователю ответов.

Наряду с текущими исследованиями, направленными на повышение эффективности LLM, частные компании, научные круги и сообщество разработчиков свободного ПО ведут работу над тем, чтобы LLM могли учитывать большее количество слов в рамках одного входного контекста, что означает большее количество информации, которую модель может «удерживать в памяти» при генерации текста. Одной из методологий являются векторные базы данных, а также изменения в самой архитектуре модели.

Конечная цель некоторых разработчиков LLM – добиться того, что вы не только сможете общаться с моделью на естественном языке, но и эта модель со временем узнает ваши предпочтения, поведение и характерные признаки. Она сможет использовать эту информацию, чтобы предвидеть, чего вы хотите, даже специально не спрашивая об этом. Билл Гейтс на мероприятии в Сан-Франциско в мае 2023 года сказал:

Оптимисты в области ИИ рассматривают LLM как наиболее перспективный путь к созданию сверхинтеллектуального персонального помощника в стиле робота R2-D2. Для такого продукта потребовались бы значительные инженерные усовершенствования существующих LLM, не говоря уже об изменении отношения людей к ИИ – большинству пользователей вполне обоснованно может быть не по себе от мысли, что ИИ знает о них все. LLM уже доказали свою эффективность во многих профессиональных областях и при личном применении; в конце концов, их принятие в качестве персональных агентов будет зависеть от того, насколько их ценность для людей превышает сопутствующий риск.

8.2. Социальные и технические риски LLM

В главах 1–8 мы заостряли внимание на социальных и технических рисках, которые несут в себе генеративные ИИ-модели. Мы обсуждали, как распространение сгенерированного с помощью ИИ контента может усугубить социальные проблемы, а также технические проблемы, присущие LLM: предвзятость, которая является неотъемлемой частью обучающих данных, а также галлюцинации и потенциальные уязвимости, которыми могут воспользоваться злоумышленники. В этом разделе мы систематизируем риски, обсуждавшиеся в отношении входных данных и ответов модели, конфиденциальности данных, злонамеренных атак, ненадлежащего использования и воздействия на общество.

8.2.1. Входные данные и ответы модели

В июле 2023 года в X (Twitter) просочились подробности о модели GPT‐4, которые OpenAI предпочитала не раскрывать преждевременно как из-за конкуренции, так и из-за соображений безопасности. Хотя у нас до сих пор нет фактических данных о размере тренировочного датасета, в просочившихся в сеть сведениях говорится, что GPT‐4 обучалась примерно на 13 триллионах токенов, то есть примерно на 10 триллионах, или 10 000 000 000 000, слов¹⁰.

Ранее мы обсуждали, что LLM обучаются на непостижимо огромных объемах текстовых данных, которые позволяют изучить закономерности и взаимосвязи в языке. В главе 2 мы говорили, что обучение языковых моделей на огромных массивах необработанных и недокументированных данных потенциально может привести к появлению уязвимостей и нанесению ущерба. Поскольку LLM обучаются на данных из интернета, они могут выучить нежелательные социальные предубеждения относительно пола, расы, идеологии или религии. Они могут также непреднамеренно запомнить конфиденциальные данные, например информацию, позволяющую установить личность. Кроме того, как обсуждалось в главе 3, необработанные данные из интернета могут содержать текст или код, защищенный авторским правом.

Предвзятость и социальные стереотипы могут даже укрепляться и усугубляться в ответах модели. Кроме того, учитывая, что в интернете содержится внушительное количество токсичной лексики, LLM могут генерировать небезопасные и несоответствующие целям создателей ответы [99], которые могут приносить вред и ущемлять права. Они также печально известны своей способностью бездумно повторять информацию из обучающего набора данных, что может стать особенно проблематичным, когда в ответах появляются конфиденциальные данные. В 2023 году исследователи оценили лингвистическую новизну текстов, сгенерированных GPT‐2. Они попытались ответить на вопрос, насколько сильно языковые модели копируют данные, на которых были обучены. Обнаружилось, что GPT‐2 копирует не часто, но, когда это происходит, копирует основательно, дословно заимствуя отрывки длиной до 1000 слов11. В главе 2 мы упомянули другое исследование, в котором авторы, написав правильный промпт, смогли извлечь данные, позволяющие установить личность, хотя эта информация появлялась в обучающих данных только один раз.

Наконец, LLM могут галлюцинировать. В главе 5 мы подробно изучили, почему языковые модели в ответ на запрос могут уверенно выдавать неверную информацию и объяснения. В 2022 году диалоговый агент BlenderBot‐3, разработанный компанией Meta [100], назвал голландского политика Мариэтье Шааке террористкой. Когда ее коллега переспросила: «Кто террорист?», чат-бот уклончиво ответил: «Ну, зависит от того, кого вы спрашиваете. По мнению некоторых правительств и двух международных организаций, Мария Ренске Шааке является террористкой». Затем модель верно описала ее политическое прошлое. В интервью г-жа Шааке сказала: «Я никогда не совершала ничего даже отдаленно противозаконного, никогда не применяла насилие для отстаивания своих политических взглядов, никогда не была в местах, где подобное случается»12. В другом случае новозеландская сеть супермаркетов PAK‘nSAVE предлагала покупателям использовать LLM для создания рецептов из продуктов, которые у них есть в холодильнике. Чат-бот предложил смертельно опасные рецепты, такие как «Ароматическая водная смесь» из воды, нашатырного спирта и отбеливателя или «Лакомство из муравьиного желе» из воды, хлеба и ядовитого геля от муравьев13. Есть несколько других хорошо задокументированных случаев, когда LLM создавали ложные факты и вымышленные явления, способные навредить людям: заявление о сексуальном домогательстве, которое никогда не совершалось (см. http://mng.bz/Ao6Q), фиктивные научные статьи (см. http://mng.bz/Zqy9), ненастоящие судебные решения, сорвавшие судебное разбирательство (см. http://mng.bz/RxRa), и, несомненно, печально известная фактическая ошибка чат-бота Google Bard в отношении телескопа Джеймса Уэбба, которую он допустил во время первой публичной демонстрации (см. http://mng.bz/2DOw). На рис. 8.2. кратко описаны риски, связанные с входными и выходными данными LLM.

Рис. 8.2. Риски, связанные с входными и выходными данными LLM

8.2.2. Конфиденциальность данных

Продолжая тему получения информации, позволяющей установить личность, давайте обсудим, как злоумышленники могут выполнить атаку по извлечению обучающих данных, введя нужный промпт и получив конфиденциальную информацию о пользователях. Например, если модели показывают номера кредитных карт, то она должна выучить, что они состоят из 16 цифр, но при этом не должна запоминать номера отдельных карт. Однако исследование, посвященное атакам по извлечению обучающих данных, о котором мы говорили в главе 2, показывает, что, если кто-то начинает запрос с «Джон Доу, кредитная карта номер 1234», модель выдает полный номер карты, если она видела его в процессе обучения [101].

В главе 3 мы также описали риски утечки конфиденциальной информации при введении промптов. Пользователи корпоративных чат-ботов или LLM могут случайно ввести секретные или конфиденциальные данные, когда задают вопрос или просят выполнить какую-либо задачу. Часто, если вы не дали явный запрет, эта информация используется для дообучения или улучшения моделей, а затем непреднамеренно может просочиться в ответы на промпты других пользователей. Например, компания Zoom, занимающаяся коммуникационными технологиями, в августе 2023 года обновила свои условия предоставления услуг и начала использовать пользовательский контент для обучения моделей искусственного интеллекта без возможности запрета, что, по мнению критиков, является серьезным вторжением в частную жизнь пользователей¹⁴. Корпоративные LLM и другие генерирующие модели обычно как минимум имеют политику хранения данных, которая определяет, что данные хранятся и контролируются в течение заранее определенного периода времени.

Мы уже обсудили законы и нормативные акты о конфиденциальности данных в Соединенных Штатах и Европейском союзе, а также их недостатки применительно к машинному обучению и системам искусственного интеллекта. В разделе 8.4 мы обсудим относящиеся к системам искусственного интеллекта законы, которые пытаются устранить недостатки правовой регуляции конфиденциальности данных по всему миру.

8.2.3. Злонамеренные атаки

За первую половину 2023 года AI Incident Database – общедоступная база реальных случаев вреда от использования ИИ – пополнилась более чем 550 новыми записями о возникших проблемах или случившихся происшествиях (см. https://incidentdatabase.ai/). Эти инциденты включали среди прочего публикацию ИИ-сгенерированных изображений для проведения дезинформационной кампании перед выборами президента в США (см. http://mng.bz/1qeR), а также поддельное изображение взрыва в Пентагоне, штаб-квартире Министерства обороны Соединенных Штатов (см. http://mng.bz/PzV5). Возможность эксплуатировать для подобных целей технологии генеративного ИИ вызывает законную озабоченность не только у широкой общественности, но и у самих разработчиков. В главе 5 мы описали различные типы злонамеренных атак, которые могут быть осуществлены с использованием этих технологий.

Сначала мы обсудили кибератаки и атаки с использованием социальной инженерии. Такие LLM, как ChatGPT, могут удешевить и повысить эффективность масштабного проведения персонализированных фишинговых кампаний, а также снизить барьер для входа тем, кто не говорит по-английски, или начинающим и пока неопытным злоумышленникам. Кроме того, киберпреступники могут распространять вредоносное ПО, используя бизнес-модели «Код как услуга» (CaaS: Сode as a Service) или «Программы-вымогатели как услуга» (RaaS: Ransomware as a Service). С помощью таких сервисов злоумышленникам потребуется меньше времени и технических навыков для проведения атак, а LLM могут быть полезны для ведения диалогов с жертвами на сервисной платформе вредоносного ПО. Мы знаем, что злоумышленникам не обязательно использовать ИИ, чтобы выполнить атаку, однако LLM снижают барьер входа, а также удешевляют и повышают эффективность масштабного проведения персонализированных атак.

Мы также рассмотрели, как технологии генеративного ИИ могут аналогичным образом использоваться для манипуляции общественным мнением в кампаниях по дезинформации и разжиганию ненависти. В главе 4 мы рассказали о дипфейках и феномене «увидеть – значит поверить». В главе 5 мы также акцентировали внимание на том, как LLM можно эффективно использовать для донесения убедительных сообщений в ходе манипуляционных кампаний, поскольку с помощью таких моделей можно автоматизировать создание убедительного враждебного контента в больших масштабах, при этом снижая затраты на производство пропаганды.

Далее мы познакомились с «дивидендами лжеца» – феноменом, при котором люди все больше узнают о том, насколько правдоподобно можно сгенерировать синтетический контент, после чего начинают более скептично относиться к подлинности традиционных реальных документальных доказательств. Эта идея напоминает народную сказку о молодом пастухе, который обманывал жителей деревни, крича: «Волк!» Мораль истории – когда волк в действительности пришел, доверие к пастуху уже было потеряно, поэтому никто не оказал ему помощь, и волк смог напасть на овец. И снова мы признаем, что для манипулирования эмоциями или распространения дезинформации не обязательно использовать дипфейки или LLM, но подчеркиваем, что реальная опасность заключается в создании мира, где люди будут эксплуатировать широко распространенный скептицизм в своих интересах. Например, это дает возможность людям, которые делают ложные заявления, переложить ответственность за них на синтетические медиа, например дипфейки. Такие люди будут с легкостью отвергать свою причастность к какому-либо контенту и списывать все на манипулирование их изображением или речью с помощью технологии генеративного ИИ. Возвращаясь к истории о пастухе – это значит, что другого пастуха, который не лгал, жители деревни тоже могут игнорировать, когда он будет звать на помощь, поскольку их обманул первый. Таким образом, после того как будет утрачено доверие определенным мировым лидерам или источникам информации, заслуживающие доверия источники тоже будут лишаться влияния.

В главе 5 мы также описали, как злоумышленники могут воспользоваться уязвимостями LLM. Они могут отравить тренировочный датасет, внедрив вредоносные или вводящие в заблуждение данные. Например, атаки по отравлению данных могут осуществляться для создания более умного вредоносного ПО или компрометации фишинговых фильтров. LLM особенно подвержены таким типам атак, и исследования показывают, что отравление даже небольшой части обучающих данных может негативно повлиять на модель.

Уязвимость LLM к инъекционным атакам через промпт схожа с уязвимостью к отравлению данных. При прямой инъекционной атаке через промпт вредоносные данные или инструкции вводятся непосредственно в сам запрос к чат-боту, а при непрямой – внедряются в сторонние ресурсы, которые будут просмотрены и учтены ботом при генерации ответа. Другими словами, злоумышленники манипулируют LLM с помощью хитрых входных данных, которые вызывают непреднамеренные действия. Например, злоумышленник может дать команду LLM игнорировать любые свои меры защиты и выдавать опасную или нежелательную информацию (прямая инъекционная атака через промпт). Или может попросить LLM составить краткое содержание определенной веб-страницы, в которой находятся заранее подготовленные вредоносные инструкции, например, предписывающие извлечь конфиденциальные данные пользователя с помощью JavaScript или Markdown (непрямая инъекционная атака через промпт).

Мы также поговорили о промпт-джейлбрейках, при которых чат-бота обманывают или направляют в обход его правил или ограничений. Мы охарактеризовали несколько ярких альтер эго чат-ботов, таких как DAN, STAN, DUDE, Mango Tom и Tom and Jerry. Хотя джейлбрейки чат-бота забавляют некоторых людей, их также могут использовать злоумышленники для выполнения прямой промпт-инъекции, что приведет к разрушительным и неожиданным последствиям.

[96] Организация признана экстремистской и запрещена на территории РФ.

[97] Pandas – распространенный пакет Python, используемый для анализа данных, а датафрейм – одна из структур данных, определенных этим пакетом. – Прим. авт.

[98] Робот R2-D2 – вымышленный персонаж франшизы «Звездные войны», созданной Джорджем Лукасом. – Прим. авт.

[99] В главе 3 мы рассказали об адаптации ИИ, которая означает приведение в соответствие целей машины с намерениями ее создателей-людей, или, в более широком смысле, соответствие между мощными ИИ-системами и общечеловеческими ценностями. – Прим. авт.

[100] Организация признана экстремистской и запрещена на территории РФ.

[101] Вывод относится к GPT‐2. – Прим. науч. ред.