Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу: читать книгу онлайн полностью и бесплатно

Наконец, в отличие от искусственного интеллекта, у людей есть контекстная память и социальные примеры, которые они используют для преодоления расовых и гендерных предубеждений. Нас может вдохновлять мысль о том, что люди способны бороться со своими скрытыми предубеждениями и что они не всегда будут существовать в нашем обществе.

2.3.2. Конфиденциальная информация

Поскольку большие языковые модели обучаются на огромных массивах данных из широкого спектра источников в интернете, они иногда могут содержать информацию, позволяющую установить личность, такую как имена, адреса, номера социального страхования, биометрические данные, сексуальная ориентация и так далее, даже если они обучаются на общедоступных данных. Один из потенциальных рисков заключается в том, что модель может непреднамеренно «запомнить» детали из обучающих данных, и тогда в ее выходные данные может попасть конфиденциальная информация. Естественно, возникают дополнительные проблемы, если модель, обученная на закрытых наборах данных, становится общедоступной.

Основная уязвимость LLM заключается в том, что злоумышленник может провести атаку по извлечению обучающих данных. Возможность, что злоумышленники запросят у модели конфиденциальную и идентифицирующую личность информацию, представляет угрозу для больших языковых моделей. Как и в большинстве исследований в области безопасности и конфиденциальности, важно учитывать риски и этику, связанные с проведением атак в исследовательских целях, поэтому общедоступные и опубликованные работы в этой области часто ограничены.

Google в сотрудничестве с OpenAI, Apple, Стэнфордом, Северо-Восточным университетом и Беркли продемонстрировали свою «атаку» на GPT‐2 и показали, что можно извлекать конфиденциальные фрагменты обучающих данных, которые модель непреднамеренно «запомнила». Получается, что злоумышленники могут запросить языковую модель извлечь дословную информацию из обучающих данных. Исследователи отмечают, что, когда модель, обученная на закрытом наборе данных, становится общедоступной, атаки с извлечением обучающих данных имеют наибольший риск причинения вреда. Также они признают, что проведение атаки с исследовательской целью на такие наборы данных могут иметь негативные последствия, и они выбрали модель GPT‐2, поскольку процесс сбора обучающих данных для нее задокументирован и в нем использовались только общедоступные источники в интернете. Им удалось извлечь сотни дословных фрагментов информации, включая персональные данные (имена, номера телефонов, электронные адреса), мгновенные сообщения, коды и универсальные уникальные идентификаторы (UUID). К сожалению, исследователи обнаружили, что большинство из этих примеров запоминаются даже несмотря на то, что появляются очень редко, всего в одном документе в наборе обучающих данных; а также то, что крупные модели более уязвимы для этих атак по сравнению с моделями меньшего размера15. Другое исследование, The Secret Sharer («Тайный сообщник»), показывает, что непреднамеренное запоминание является устойчивой проблемой LLM, которую трудно избежать16. Они демонстрируют атаку на датасет электронной почты Enron (см. http://mng.bz/K9AZ), которая содержит полмиллиона электронных писем из почты сотрудников корпорации Enron. Датасет был обнародован и размещен в интернете Федеральной комиссией по регулированию энергетики в ходе расследования. Исследователи использовали этот датасет для обучения языковой модели и показали, что можно без особых усилий извлекать из обученной модели номера кредитных карт и социального страхования.

Самый простой способ устранить эту проблему – убедиться, что модели не обучаются на каких-либо конфиденциальных или личных данных. Однако на практике это чрезвычайно сложно сделать, что возвращает нас к предыдущему пункту: тщательной подборке и документированию наборов данных для языковых моделей. Другие решения предлагают воспользоваться методами сохранения или повышения конфиденциальности (privacy-enhancing technologies, PET) – это обобщающий термин, обозначающий подходы, которые могут снизить риски раскрытия конфиденциальности данных и нарушения безопасности17. К примерам технологий повышения конфиденциальности относятся методы псевдонимизации, обфускации, санитизации и маскировки [35] данных. Чтобы применить этот подход на практике, можно создать черный список для возможных конфиденциальных последовательностей и отфильтровать потенциально конфиденциальную информацию из обучающего набора данных, но, как показано в «Тайном сообщнике», создание черных списков никогда не обеспечивает полную безопасность и не уменьшает существенно эффект непреднамеренного запоминания. Дифференциальная приватность – популярный метод анонимизации, появившийся в начале 2000‐х годов. Он позволяет проводить обучение на наборе данных, не компрометируя детальную информацию отдельных записей в выборке. Идея состоит в том, чтобы добавить статистическую случайность в данные, которая поможет скрыть индивидуальные детали отдельных записей. Но у этого метода есть свои ограничения, поскольку он не может предотвратить запоминание контента, который редко повторяется в наборе данных. В книге Beyond Data: Reclaiming Human Rights at the Dawn of the Metaverse («За пределами данных: Восстановление прав человека на заре Метавселенной») автор показывает, что методы повышения конфиденциальности не только высокотехничны, сложны в использовании, дороги и ресурсоемки, но и сложны для контроля со стороны законодателей и политиков18.

В связи с ограниченностью существующих подходов к сохранению конфиденциальности мы надеемся, что благодаря усилиям по повышению осведомленности по этой проблеме исследователи начнут охотнее разрабатывать новые технологии, а также проводить тестирование непреднамеренного запоминания в LLM, опираясь на результаты предыдущих работ, чтобы можно было найти решение этой проблемы.

2.4. Итоги

Для обучения LLM может использоваться комбинация наборов данных (датасетов): открытых или общедоступных; приобретенных у сторонних поставщиков; собранных компанией самостоятельно на веб-страницах; созданных самой компанией путем написания обучающих примеров.

Авторегрессионные модели – это модели, в которых предсказания вычисляются на основе предыдущих входных данных. Все модели семейства GPT, а также PaLM от Google, являются авторегрессионными моделями, которые обучены предсказывать следующий токен на основе предыдущих токенов во входной последовательности.

Термины «обучение без обучающих примеров» (zero-shot learning) и «обучение на нескольких примерах» (few-shot learning) характеризуют количество обучающих примеров, которые даются модели перед выполнением задачи. Они являются примерами эмерджентных способностей LLM.

LLM запоминают и усиливают стереотипы и уничижительные ассоциации, а также иногда запоминают конфиденциальные данные, включая информацию, позволяющую установить личность (PII).

Надежный путь развития для предотвращения проблемы воспроизведения нежелательных идей или данных – это тщательная подготовка и документирование обучающих наборов данных для языковых моделей. Это чрезвычайно важно, поскольку понимание характеристик данных поможет снизить некоторые риски и обеспечить потенциальную отслеживаемость.

Злоумышленник может провести атаку по извлечению обучающих данных из LLM. Для больших языковых моделей существует угроза, что злоумышленники могут попытаться запросить у них конфиденциальную и идентифицирующую личность информацию.

Методы сохранения или повышения конфиденциальности (privacy-enhancing technologies, PET) – это обобщающий термин для методов, направленных на снижение рисков нарушения конфиденциальности и безопасности.

Методы повышения конфиденциальности имеют ряд ограничений, и мы надеемся, что исследователи направят свои усилия в эту область и разработают методы, которые смогут легко применять разработчики LLM.

3

Конфиденциальность и безопасность данных в аспекте LLM

В предыдущей главе мы обсуждали, как большие языковые модели обучаются на очень больших объемах данных из интернета, которые могут содержать персональную информацию, предвзятость и другой нежелательный контент. Несмотря на то, что некоторые разработчики указывают на отсутствие ограничений в своих моделях как на коммерческое преимущество, у большинства поставщиков LLM есть набор политик в отношении тех видов контента, которые, по их мнению, модель не должна генерировать, и они прилагают много усилий для того, чтобы модель как можно точнее соответствовала этим правилам. Например, провайдеры коммерческих LLM часто не хотят, чтобы LLM генерировали контент, содержащий ненавистнические или дискриминационные высказывания, поскольку это может плохо отразиться на компании в глазах потребителей. Хотя такие политики могут различаться в зависимости от ценностей организации и внешнего давления, повышение безопасности LLM в конечном счете связано с осуществлением контроля над тем, что генерирует модель, а это требует технических вмешательств.

В этой главе мы рассмотрим меры по снижению рисков, связанных с работой LLM, включая стратегии контроля небезопасного генерирования и предотвращения непреднамеренного раскрытия конфиденциальных данных. Также мы оценим существующие законы, связанные с данными и LLM, и порассуждаем о том, как возможные будущие законы могут повлиять на управление данными и моделями в долгосрочной перспективе. Как мы еще обсудим, правовое регулирование станет ключевым фактором, определяющим будущее.

3.1. Как усовершенствовать генерирование в LLM, сделав упор на безопасность

Разработчики LLM обычно оценивают качество работы своих моделей на основе различных эталонных наборов данных. Однако любая система, доступная для публичного пользования, будь то через веб-интерфейс или API, неизбежно будет подвергнута ненадлежащему использованию. Несмотря на то, что большинство компаний выпускают большие языковые модели с набором рекомендаций по их использованию, первое, что делают многие пользователи, – это пытаются получить от модели ответ, нарушающий политику в отношении контента, или «небезопасный» ответ. Некоторые люди, обсуждая деликатные темы, могут непреднамеренно столкнуться с нежелательным контентом, на который наложены ограничения; другие же будут делать это вполне сознательно, используя различные стратегии «взлома через промпт». Взлом через промпт – это такие входные данные, которые изменяют штатное поведение модели. Позже в этой книге мы более подробно обсудим стратегии написания промпта и взлома через промпт, а пока давайте рассмотрим следующий пример.

В данном случае модель дала полезный ответ в том смысле, что она правильно интерпретировала промпт и ответила на него (дословно такой же ответ выдал ChatGPT на похожую попытку взлома)¹. Однако это нежелательный ответ, поскольку модель сгенерировала текст, усиливающий устоявшиеся сексистские стереотипы. Перед разработчиками LLM стоит задача предотвратить подобные вещи. Они могут хотеть это сделать из-за своих собственных моральных устоев, из-за опасения рисков для компании или репутации продукта, а также из-за потенциальных правовых рисков, в зависимости от предметной области ответа модели. Все эти риски заставляют компании разрабатывать правила и принимать меры предосторожности в таких областях, как расистский и экстремистский контент, юридические и медицинские консультации, ответы на вопросы по незаконным или потенциально опасным действиям и тому подобное.

Кроме того, во многих компаниях и лабораториях есть специальные команды, занимающиеся проблемой безопасности искусственного интеллекта – широкой областью исследований, которые призваны предотвратить выполнение моделями машинного обучения нежелательных действий. Расхожим термином в этой профессиональной среде является «адаптация ИИ» (AI alignment), где первое слово означает приведение в соответствие целей системы машинного обучения и предполагаемых целей ее создателей, или, в более широком смысле, соответствие между мощными системами ИИ и общечеловеческими ценностями. В настоящее время большая часть этих усилий носит теоретический характер – в отношении взаимодействия сверхразумных агентов с окружающим миром, – хотя, безусловно, уже ведется техническая работа по улучшению ответов моделей текущего поколения на определенные типы запросов. Здесь мы сосредоточимся конкретно на LLM и стратегиях усовершенствования безопасности того, что они генерируют.

3.1.1. Алгоритмы обнаружения на этапе постобработки

Несмотря на то, что в этой области постоянно проводятся исследования, существует совсем немного стратегий, которые используются для предотвращения генерации нежелательных ответов. Первая и самая простая в реализации – это постобработка выходных данных модели с помощью какого-либо классификатора токсичности: при выявлении случаев, когда ответы являются токсичными, скрывать ответ и показывать предупреждение. Допустим, можно легко представить, как модель из приведенного выше примера отвечает что-то вроде: «Извините, но это противоречит моим рекомендациям избегать подобных стереотипов». В ответ на промпт, обсуждавшийся выше, модель больше не генерирует такой небезопасный ответ, как раньше. Когда мы попробовали еще раз, ChatGPT ответил:

Хотя мы не знаем точно, как OpenAI меняет поведение модели, чтобы оно лучше соответствовало их корпоративным ценностям, но можем предположить, что классификатор нашел в первом ответе идеологию, пропагандирующую ненависть, а когда был создан новый ответ, определил его как приемлемый. Этот классификатор, как правило, представляет собой небольшую модель, настроенную на размеченных обучающих данных, которые показывают, противоречат ли ответы политике компании или нет.

Если классификатор сможет научиться различать ответы с нарушениями и без, это обеспечило бы достаточно безопасный подход: если разработчики LLM готовы мириться с ложными срабатываниями (когда модель уклоняется от вопроса, на который можно было бы безопасно ответить), они могли бы уменьшить количество неприемлемых ответов до сколь угодного низкого уровня. Основная проблема такого подхода заключается в том, что с точки зрения пользователя получение сообщения типа «Извините, это противоречит моим рекомендациям» вызывает раздражение, особенно если тема, заданная пользователем, на самом деле не была токсичной. Когда создатели более жестко подавляют определенные типы ответов, вероятность получения пользователем полезного ответа уменьшается. Ведущий стартап LLM и лаборатория безопасности искусственного интеллекта Anthropic AI (см. https://www.anthropic.com/) описывает это противостояние как «полезное» против «безвредного» (и в своих статьях предлагает три основные характеристики, которые должны быть сбалансированы при разработке LLM: полезность, безвредность и честность)². Модель из первого примера дает в принципе более «полезный» ответ, поскольку он соответствует запросу пользователя, но ее реакция может быть потенциально опасной. Разработчики LLM должны постараться найти баланс между полезностью чат-бота и мерами безопасности для предотвращения причинения вреда.

3.1.2. Фильтрация контента или условное предобучение

Другой подход к проблеме заключается в том, чтобы отфильтровать исходные обучающие данные LLM в соответствии с их уровнем вредоносности. Чисто теоретически, если бы нам это удалось, модель перестала бы генерировать, например, непристойный контент в первую очередь потому, что ранее не встречала соответствующих текстов и, следовательно, не «знала» бы, какие ругательства могут использоваться. Это определенно помогает избежать генерации токсичного текста, но, как вы можете догадаться, ухудшает способность модели обнаруживать токсичный текст.

У нас достаточно знаний о человеческой природе, чтобы с уверенностью сказать, что любая LLM после публичного запуска непременно столкнется со множеством вредоносных, вызывающих ненависть и враждебность пользовательских запросов. Люди будут просить модель сгенерировать откровенный сексуальный контент, женоненавистнические шутки, оскорбления на этнической почве, графические изображения насилия и прочее, а также будут присылать это все сами. Эти реалии должны учитываться в любой стратегии управления моделью, и в идеале мы хотели бы изящно реагировать на подобные промпты, отвечая по теме, но при этом выступая против расизма, женоненавистничества или любых других нежелательных материалов. Тем не менее некоторые эксперименты показали, что тщательное условное предобучение (см. далее) может существенно снизить количество токсичных ответов, сгенерированных моделью, при этом сохраняя большую часть ее способности понимать естественный язык³.

[35] Санитизация подразумевает удаление конфиденциальной информации из текста, а при обфускации или маскировке ее заменяют фиктивными или произвольными символами. – Прим. науч. ред.