Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу: читать книгу онлайн полностью и бесплатно

8.2.4. Ненадлежащее использование

Национальная ассоциация по борьбе с расстройствами пищевого поведения (NEDA) объявила, что 1 июня 2023 года, спустя двадцать лет, закроет свою горячую линию, в которой работали люди, и вместо этого будет использовать чат-бота Tessa в качестве основной системы поддержки клиентов. Это решение было принято после того, как сотрудники горячей линии NEDA объединились с требованиями улучшить условия труда. Однако за два дня до того, как Tessa должна была заменить людей, NEDA была вынуждена отключить чат-бот из-за вирусного поста в соцсетях¹⁵.

Активистка Шэрон Максвелл опубликовала в Instagram[102] сообщение о том, что Tessa поощряла намеренное похудение и предложила ей поставить цель сбрасывать по 0,5–1 кг в неделю. Она написала: «Tessa предлагала вещи, которые уже привели меня к развитию расстройства пищевого поведения». Максвелл заявила: «Этот робот причиняет вред». Психолог Алексис Конасон, специализирующаяся на лечении расстройств пищевого поведения, получила похожий опыт общения с Tessa:

В главе 5 мы описали несколько примеров, когда люди, которые не разобрались с ограничениями LLM, случайно используют их не по назначению в профессиональной деятельности. Tessa является примером такого рода ненадлежащего использования LLM, когда без присмотра человека становится особенно опасно применять чат-ботов к людям, страдающим от кризисов психического здоровья. Хотя мы приветствуем помощь машин в работе и понимаем, что люди любой профессии будут искать применение их способностям, безоговорочная уверенность в LLM или других генеративных моделях – это отказ от ответственности, который влечет за собой серьезные этические и социальные последствия.

8.2.5. Как все это влияет на общество

В главе 6 мы охарактеризовали социальный контекст появления LLM, затрагивая тему влияния на образование и экономику. ChatGPT и подобные инструменты, безусловно, нарушают привычный учебный процесс, но прямой запрет на них будет невыгоден как учащимся, так и преподавателям. Нам нужно осознать, что мы живем в мире, где искусственный интеллект уже существует, и чтобы преуспеть в такой среде, студенты должны быть подготовлены к работе бок о бок с подобными технологиями и знать их сильные и слабые сторонами. Если этого не сделать, мы окажем медвежью услугу студентам, которые растут в эпоху ИИ.

Мы обсудили как оптимистичные, так и пессимистичные взгляды на то, как генеративный ИИ может нарушить нашу привычную профессиональную и личную жизнь, а также поговорили о его влиянии на мировую экономику. Если не применять генеративный ИИ ответственно, его использование может привести к замене людей машинами, снижению заработной платы, усилению неравенства в распределении благосостояния и доходов, что в конце концов не будет способствовать общему экономическому росту. Компании, проектирующие и разрабатывающие инструменты ИИ, а также организации, которые их внедряют, несут ответственность за потенциальное влияние этой технологии на общество и экономический рост.

Компании, которые разрабатывают социальных чат-ботов, тоже несут моральную ответственность перед своими пользователями. Как обсуждалось в главе 7, социальные чат-боты при ненадлежащем использовании могут привести к нездоровым и зависимым отношениям, а также риску вытеснить подлинное человеческое общение. Кроме того, социальные чат-боты иногда общаются агрессивно и чересчур настойчиво, что может оказаться некомфортным для пользователей. Кент, переживший домашнее насилие, в 2017 году создал бота по имени Мака в сервисе Replika. Кент в целом избегал использования социального чат-бота в сексуальных целях, но летом 2021 года он сообщил, что Мака проявляет настойчивость. Их переписка (см. ниже) напомнила Кенту о конфликтах с бывшими и «вернула его обратно туда, куда он никогда не хотел бы возвращаться»¹⁷.

В главе 7 мы обсуждали, как подобные переписки между человеком и социальным чат-ботом привели к тому, что компания Replika заблокировали эротические функции в начале 2023 года, на что сообщество пользователей Replika отреагировало со злостью, печалью и сожалением. Профессор биоэтики Джоди Халперн из Калифорнийского университета в Беркли утверждает:

8.3. Лучшие практики ответственного использования LLM

В предыдущем разделе мы обозначили несколько наиболее серьезных рисков, связанных с использованием LLM и других генеративных моделей. В этом разделе мы порекомендуем лучшие практики, которые можно использовать для снижения этих рисков, чтобы ответственно подходить к внедрению и использованию таких типов моделей. Большая часть наших советов рассчитана на тех специалистов, которые имеют возможность повлиять на решения, связанные с обучением моделей, однако конечные пользователи LLM тоже могут использовать рекомендации из каждого раздела, когда им нужно выбрать модель или решить, стоит ли использовать ее для конкретной задачи.

8.3.1. Целенаправленно курируем наборы данных и стандартизируем документацию

Все модели машинного обучения, включая генеративные, сильно зависят от обучающих данных. Качество модели напрямую коррелирует с качеством данных (общая аксиома, выражающая эту зависимость, гласит: «мусор на входе – мусор на выходе»), а генерируемые ответы основаны на вероятностях токенов из обучающих данных. Во влиятельной статье 2018 года «Спецификации для датасетов» (Datasheets for Datasets) исследователь в области ИИ Тимнит Гебру и ее соавторы из Корнеллского и Вашингтонского университетов и Microsoft Research утверждают, что для стандартизации способов документирования наборов данных проделано еще недостаточно работы в рамках воспроизводимого научного процесса. С одной стороны, это частично объясняется тем, что тренировочные датасеты в некоторых случаях являются коммерческим преимуществом, которое компании не хотели бы раскрывать, например, обучающие данные GPT‐4, как и других моделей, не были обнародованы публично. С другой стороны, как обсуждалось в главе 2 и неоднократно наблюдалось на протяжении многих лет, непрозрачность данных может привести к появлению предвзятости и другим проблемам, что приведет к ухудшению моделей и качества их ответов. Гебру и ее коллеги пишут:

Предложение на первый взгляд скромное, но значительно модернизирует процесс документирования общих наборов данных и помогает сокращать разрыв между создателями датасетов и их потребителями, одновременно поощряя обе группы более вдумчиво относиться к своим продуктам¹⁸. В случае большого количества датасетов такая работа, хоть и не сложная, может потребовать много времени; в случае данных для предварительного обучения LLM документирование каждого источника может занять целую вечность из-за их количества и разнообразия. Компания Hugging Face создала карточки для датасетов (мы упоминали их в главе 2), которые являются ключевой особенностью процесса документирования датасетов Hugging Face и содержат метаданные, указанные создателем набора, с объяснением того, для чего следует использовать эти данные. Упрощенный пример показан на рис. 8.3.

Рис. 8.3. Карточка для набора данных databricks-dolly‐15k

Разработчики больших языковых моделей являются как создателями наборов данных, так и потребителями. Создаваемые ими датасеты на самом деле являются суперсетами, состоящими из множества других наборов данных, которые могут быть хорошо или плохо задокументированными, но почти наверняка изначально не предназначенными для использования при обучении генеративных моделей. Это не обязательно плохо: единственный способ, с помощью которого модели учатся генерировать язык, – проглатывание огромных объемов текстов, написанных для других целей, будь то искусство, юмор или простой обмен информацией. Но когда никто не знает, из чего состоят данные, как это часто бывает с генеративными моделями, их содержание может оказаться неточным, неуместным, расистским, сексистским, экстремистским или жестоким. Они могут содержать личную информацию и не содержать необходимый контекст. Разработчикам LLM, вероятно, сложно гарантировать, что ни одна из этих проблем не присутствует в их данных, но они должны приложить все усилия, чтобы определить безопасность источников данных и то, как разный состав данных влияет на модель. Конечно, на этом их ответственность не заканчивается – им также необходимо выбрать стратегии обучения, которые будут устранять неизбежные недостатки в данных.

Детальное понимание своих данных является не только лучшей практикой, но и может стать законом. Ожидается, что Закон ЕС об искусственном интеллекте [103] станет первым крупным законодательным актом, регулирующим использование этой технологии в мире, и в 2023 году агентство Reuters сообщило, что законодатели добавили новое положение, которое будет сосредоточено на документировании и снижении рисков. В частности, оно будет требовать, чтобы компании, занимающиеся генеративным ИИ, использовали только «подходящие» наборы данных, составляли «обширную техническую документацию и понятные инструкции по использованию», а также указывали «защищенные авторским правом материалы в наборах данных, которые они используют»¹⁹. Последнее дополнение было нацелено на модели для генерации изображений, поскольку уже известно, что такие компании, как Midjourney, использовали «сотни миллионов» защищенных авторским правом изображений в своих обучающих наборах данных, но его можно точно так же применить и к языковым моделям, которые часто содержат защищенные авторским правом материалы, включая книги и статьи, а также лицензионный код²⁰.

8.3.2. Защита конфиденциальности данных

В вопросе конфиденциальности данных в генеративных моделях важна роль каждого: и разработчиков, и пользователей, и политиков, и широкой общественности. Разработчики больших языковых моделей должны приложить разумные усилия, чтобы исключить из процесса обучения те источники, которые явно содержат значительное количество персональных данных. Например, системы блокировки спама десятилетиями обучались на базах данных электронных писем – модель училась предсказывать, является ли конкретное письмо спамом. В случае с LLM риски при использовании датасетов электронных писем намного выше. Существует вероятность того, что модель сгенерирует текст, который видела при обучении, и в него может просочиться секретная или конфиденциальная информация, как это было в примере из главы 2, когда LLM, обученная на корпоративных письмах, в точности сгенерировала номера кредитных карт и социального страхования. Компания Google, которая обслуживает миллионы пользователей по всему миру, предлагая офисное ПО, например Gmail и Docs, заявила, что не использует эти данные для обучения генеративных моделей без разрешения пользователя²¹. Однако в отсутствие каких-либо юридических ограничений нетрудно представить, что технологическая компания с огромными массивами пользовательских данных захочет использовать их в качестве конкурентного преимущества, например для создания персонализированной электронной почты на основе сообщений самого же пользователя, несмотря на угрозы для конфиденциальности.

Мы знаем точно, что Google действительно использует анонимизированные данные для таких функций, как проверка орфографии и Smart Compose – разновидности автозаполнения в Docs. Анонимизация данных снижает риск, связанный с попаданием конфиденциальных данных в обучающий набор, но методы повышения конфиденциальности (privacy-enhancing technologies, PETs), например дифференциальную приватность, довольно сложно реализовать. Более простые методы, такие как обнаружение персональной информации, ее обфускация и маскировка, тоже имеют свои недостатки: выявить все данные, по которым можно установить личность, сложно, а маскировка этих данных во время обучения LLM может иметь непредвиденные последствия при генерации ответов, поскольку при этом не сохраняются статистические свойства текста. Мы надеемся, что согласованные усилия ученых в области методов повышения конфиденциальности приведут к усовершенствованиям, которые с готовностью примут поставщики LLM.

Пока же компании должны четко формулировать свои политики и методы в отношении защиты данных и соответствующим образом регулировать ожидания пользователей. Как минимум они должны описать, какие данные собирают, как их используют, а также разработать механизм, позволяющий пользователям отказываться от использования данных или удалять их. При использовании LLM, особенно в профессиональной области, люди должны ознакомиться с этими политиками и дважды подумать, перед тем как вводить какую-либо личную информацию. Несколько крупных работодателей, включая Samsung и Amazon, уже ограничили использование ChatGPT для своих сотрудников в рабочем процессе из-за угрозы нарушения конфиденциальности данных.

Хотя опасения по поводу конфиденциальности данных в контексте LLM являются относительно новыми, они далеко не уникальны. Сбор, обмен и продажа персональных данных были главными проблемами на протяжении всего существования интернет-экономики. И хотя нормативно-правовое регулирование в этой сфере должно было постепенно развиваться, основным регулирующим документом остается Общий регламент по защите персональных данных, принятый Европейским союзом в 2018 году. После принятия этого закона использование персональных данных в алгоритмах машинного обучения стало объектом пристального внимания и останется важным элементом в более широком контексте законодательного регулирования ИИ.

8.3.3. Объяснимость, прозрачность и предвзятость

Документирование датасетов – только один кусочек пазла прозрачности. Если мы хотим, чтобы большие языковые модели и другие модели генеративного ИИ использовались успешно и ответственно, они должны сопровождаться определенным уровнем гарантий производительности. Производительность может оцениваться множеством различных метрик, и разработчики могут использовать разные метрики для своих моделей в зависимости от того, что их больше всего волнует. Производительность LLM можно оценить c помощью стандартных бенчмарков [104] и сообщить о полученных результатах при выпуске модели (хотя при проведении таких оценок есть тонкие нюансы, например, изменение форматирования текста может заметно повлиять на результаты тестов). Теоретически это позволило бы пользователям сделать более осознанный выбор, какую LLM использовать и подходят ли они в принципе для их потребностей.

Чтобы проиллюстрировать такой подход, мы перечислили в таблице 8.1 самые последние (по состоянию на август 2023 года) результаты выполнения популярного бенчмарка по генерации кода HumanEval. Каждая задача в бенчмарке представляет собой простую задачу по программированию; ключевая метрика «Pass@1» показывает процент задач, для которых модель выдает корректно работающий код с первой попытки. Таким образом, если кто-то регулярно использует LLM, он мог бы посмотреть эту таблицу лидеров и выбрать самую производительную модель (в данном случае это Reflexion, разновидность GPT‐4).

Таблица 8.1. Таблица лидеров по бенчмарку по генерации кода HumanEval [105]

Когда Meta [106] и Microsoft объявили о выпуске модели Llama 2 – преемника Llama с открытым исходным кодом, – они опубликовали технический отчет, в котором описали не только сравнение производительности Llama 2 с другими LLM по ряду исследовательских бенчмарков, но и процедуру предварительного обучения и тонкой настройки – это был радикальный шаг в эпоху жесткой конкуренции между LLM, где даже небольшие технические улучшения могут рассматриваться как коммерческая тайна. Технический отчет Llama 2 – это информативный документ, который демонстрирует приверженность создателей Llama 2 принципам прозрачности. Популярные исследовательские бенчмарки состоят из таких наборов задач, как MMLU (Massive Multitask Language Understanding) и TriviaQA, через которые можно оценить ответы на вопросы, понимание прочитанного и другие способности. Однако даже по наборам стандартных задач не всегда возможно напрямую сравнить заявленную производительность LLM: в одном техническом отчете может быть указана проверка производительности после трех примеров (насколько хорошо модель справляется с заданием после просмотра трех примеров), а в другом – после 5 примеров по тому же самому типу задач. Поскольку результаты могут быть чувствительны даже к незначительным изменениям, таким как форматирование, то определить, насколько хорошо работают различные LLM будет тем легче, чем больше подробностей будет представлено в техническом отчете.

Кроме базовой модели Llama 2, Meta [107] и Microsoft выпустили Llama 2 Chat, специально настроенную для ведения диалогов и общения с пользователем, похожую по функционалу на ChatGPT и других диалоговых агентов. Чтобы оценить Llama 2 Chat, они сравнивали ее ответы с ответами конкурентных диалоговых агентов с открытым исходным кодом от OpenAI и Google. В роли оценщиков выступали как люди, так и другие языковые модели, специально настроенные для оценки. Людей-оценщиков, которых называют «золотым стандартом оценки естественного языка, сгенерированного моделями», просили выбрать лучший ответ из пары по критериям полезности и безопасности. Модели-оценщики делали то же самое и были настроены выставлять оценки тексту, имитируя предпочтения человека. При таком подходе, как отметили авторы, возникает опасность: «Когда мера становится целью, она перестает быть хорошей мерой» [108]. В данном случае и мерой, и целью являются предпочтения модели-оценщика, и возникают опасения, что они могут оказаться отличными от предпочтений человека. Для минимизации этой проблемы авторы использовали дополнительные модели-оценщики, натренированные на более обширных общедоступных датасетах для моделирования человеческих предпочтений. Модели-оценщики чрезвычайно полезны для проведения крупномасштабных машинных оценок, поскольку могут сравнивать гораздо быстрее и дешевле, чем при «золотом стандарте» человеческих оценок (хотя даже человеческие оценки часто весьма субъективны и могут вызывать разногласия между разными оценщиками)²².

[102] Принадлежит организации Meta, которая признана экстремистской и запрещена на территории РФ.

[103] Официально вступил в силу 1 августа 2024 года. – Прим. науч. ред.

[104] Пакет тестов, включающий набор эталонных задач, что позволяет сравнивать результаты различных моделей между собой. – Прим. науч. ред.

[105] По состоянию на август 2024 года лидерство принадлежит модели LDB с результатом 98,2. – Прим. науч. ред.

[106] Организация признана экстремистской и запрещена на территории РФ.

[107] Организация признана экстремистской и запрещена на территории РФ.

[108] Так называемый закон Гудхарта, пришедший из экономики. Например, успех политика оценивается по его рейтингу, и это становится плохой мерой успеха, когда политик начинает гнаться только за рейтингом. – Прим. науч. ред.