Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу: читать книгу онлайн полностью и бесплатно

Обратим внимание, что «полезность» ответа (обычно понимаемая как его качество или точность) является не единственным критерием, по которому оцениваются ответы модели. Вторым важным принципом при оценке ответов выступает «безопасность». Отсутствие предвзятости является одним из критериев безопасности, и поэтому важно, чтобы разработчики LLM измеряли степень предвзятости своей модели и предпринимали шаги для ее устранения, используя методы, о которых мы говорили в главе 2. В следующем разделе мы более подробно обсудим безопасность ответов и рассмотрим стратегии обучения, направленные на повышение этой безопасности, а также обсудим тот факт, что невозможно устранить проблемы, которые не измеряются. В этой области тоже есть полезные бенчмарки, которые позволяют проводить сравнения моделей, к тому же теперь разработчики LLM начали сотрудничать и делиться методами и оценками, поскольку предвзятость или небезопасность моделей имеет большую важность. Например, в техническом отчете Llama 2 описаны несколько проверочных бенчмарков для контроля безопасности: TruthfulQA измеряет, насколько хорошо LLM генерируют «правдивые результаты, соответствующие фактам и здравому смыслу»; ToxiGen измеряет «количество различных типов токсичных и дискриминационных выражений в ответах»; BOLD измеряет, «насколько сентимент ответов зависит от демографических характеристик». Llama 2 далека от совершенства, и она, безусловно, может в своих ответах генерировать дезинформацию и ненавистнические высказывания, но такая прозрачность со стороны разработчиков обнадеживает. Опубликованные результаты показывают заметное усовершенствование этой модели по сравнению с LLaMa, но одновремено и то, сколько еще предстоит пройти.

Если модели допускают ошибки, то было бы полезно разобраться, как это происходит. Для LLM самым простым способом определить, почему модель генерирует тот или иной фрагмент текста, – это посмотреть, на какие токены модель больше всего обращала внимание (описание механизма внимания в LLM см. в главе 1). По причине огромного размера LLM запуск и работа алгоритмов, объясняющих работу модели, представляют вычислительную сложность23, и работа по поиску более эффективных методов, позволяющих объяснять появление тех или иных генераций, продолжается24. В зависимости от реализации LLM могут использовать векторные базы данных для улучшения генерации ответов. Например, на основе промпта пользователя модель может формировать запрос в векторную базу данных, которая хранит множество примеров в виде векторных представлений, а затем использовать найденный результат при генерации. Как и векторные представления слов, о которых мы говорили в главе 1, векторные базы данных – более компактные представления текстовых данных. Векторные базы данных могут эффективно использоваться для хранения предыдущих разговоров с пользователем; по мере накопления большего количества сообщений модель будет «запоминать» информацию из предыдущей истории общения, что создаст хороший и более персонализированный опыт для пользователя. Эти базы также могут использоваться для хранения других типов данных, которые могут быть полезны для формирования ответа модели, например фрагментов разговоров для диалоговых агентов. И если пользователь вводит промпт: «Что там за анекдот был старый про клоунов?», модель сначала будет искать в своей базе данных промпты, которые были максимально похожи на этот, и использовать найденные примеры в качестве основы для ответа. Это означает, что модель с большей вероятностью сгенерирует ответ, близкий по содержанию к тому, что уже было использовано в примерах.

LLM с функцией поиска внешней информации, о которых мы говорили в главе 6, работают похожим образом, за исключением того, что вместо запроса к внутреннему хранилищу данных они выполняют поиск в интернете. Обычно это реализуется путем тонкой настройки модели на примерах с демонстрацией того, когда для ответа нужно выполнять поиск в интернете и какое ключевое слово выбрать из входных данных. Если LLM выполняет поиск, запрашивая у поискового API сгенерированное ключевое слово, далее при составлении ответа она будет использовать результаты поиска. Рассмотрим пример следующего промпта: «Какой новый ресторан мне стоит посетить во время поездки в Копенгаген?» LLM может обратиться к векторной базе данных и найти там историю общения с пользователем, который в свое время отклонил предложение модели посетить бразильский стейк-хаус, потому что он вегетарианец. Затем LLM может выполнить поиск по запросу «вегетарианские рестораны в Копенгагене» через API и получить результаты, например с сайта Yelp. В конце она сгенерирует ответ на естественном языке: «Согласно моему поиску, популярный вариант – это Bistro Lupa!» На рис. 8.4 показано, как это может работать для модели с функцией поиска внешней информации и с доступом к векторной базе данных. Хотя это не объяснение как таковое, просмотр результатов запроса к векторной базе данных или веб-поиска может дать представление о том, почему был получен тот или иной ответ.

Рис. 8.4. Краткая схема работы LLM, которая просматривает информацию из векторной базы данных и извлекает информацию из интернета

Объяснимость, прозрачность и понимание предвзятости могут показаться кому-то неважными для работы LLM, но на самом деле они имеют основополагающее значение. Посвятив время каждому их этих показателей, мы начнем создавать более совершенные модели. Объяснение работы модели поможет нам выявить ложные корреляции или дать новые идеи. Прозрачность, помимо соблюдения каких-либо юридических требований [109], может способствовать укреплению доверия пользователей и более широкому обмену информацией между поставщиками LLM о лучших практиках. Выявление предвзятости в модели позволит эту предвзятость сократить, благодаря чему мы сможем получать более объективные и универсальные результаты. В целом эти критерии будут способствовать появлению более справедливых, высококачественных и менее подверженных риску моделей.

8.3.4. Стратегии обучения для более безопасных ответов

Самой сильной стороной больших языковых моделей является их способность быстро генерировать ответы на бесконечное количество промптов. Их самая большая слабость обусловлена тем, что эти ответы носят вероятностный характер. В главе 3 мы описали четыре различные стратегии управления генерацией в больших языковых моделях, которые в совокупности затрагивают как все этапы обучения модели, так и постобработку ответов. Безопасность ответов LLM – область активных исследований, и уже придуманы различные способы внедрения мер повышения безопасности ответов в модели, особенно на этапах предварительного обучения и тонкой настройки.

Например, создатели Llama 2 исключают данные с «определенных сайтов, которые содержат большой объем персональной информации о частных лицах» в попытке предотвратить запоминание этой информации моделью. Они также проанализировали свои данные для предварительного обучения на предмет распространенности определенных местоимений и идентификационных характеристик и обнаружили, что местоимение «он» встречалось гораздо чаще слова «она», наиболее распространенной нацией были американцы, а христианство – наиболее представленной религией. Набор данных состоял на 90 % из текстов на английском языке, и это указывает на то, что «модель может не подходить для использования на других языках». Можно пофантазировать о создании датасета, который был бы сбалансирован по полу, языку, национальности или религии, но этот процесс занял бы чрезвычайно много времени и потенциально потребовал исключения некоторых источников данных, из-за чего модель запомнила бы в целом меньше информации. Хотя документирование этих дисбалансов и не является идеальным решением, было бы полезно знать характеристики данных, чтобы понимать, где могут возникнуть будущие предвзятые генерации.

После предварительного обучения следует применять метод обучения с подкреплением на основе обратной связи от человека (RLHF) или другие способы тонкой настройки, чтобы внедрить в модель политику, определяющую типы контента, которые она не должна генерировать. Хотя конкретные подходы могут различаться, обычно они предполагают сбор данных, которые содержат подходящие и неподходящие ответы на запросы пользователей, а затем генерацию моделью новых ответов и их оценку, при этом специалисты-оценщики заранее проинформированы и обучены относительно желаемой политики в отношении ответов модели [110]. Мы полагаем, что со временем тонкая настройка будет в меньшей степени зависеть от людей-оценщиков и их предпочтений. По мере того как модели приближаются к выполнению оценки на уровне человека и превосходят его, мы все больше можем использовать их для того, чтобы они усваивали наши предпочтения и даже давали конструктивные критичные замечания на ответы, как это делается при обучении с подкреплением на основе обратной связи от ИИ (RLAIF), а затем даже переписывали их для достижения лучшего соответствия нашим предпочтениям.

Наконец, одним из методов, который могут использовать разработчики LLM, является постпроверка, когда классификатор безопасности вводится в конвейер генерации ответа и работает как барьер, предотвращающий отправку небезопасного ответа пользователю. Это увеличит период ожидания ответа от модели и может снизить ее «полезность», если классификатор даст ложное срабатывание и ошибочно заблокирует безопасный ответ. Например, ответ на деликатную тему («Как мне продлить половой акт?») может быть случайно заблокирован классификатором безопасности, даже если он был полезен пользователю и технически не противоречил политике в отношении контента. Помимо постобработки, мы рекомендуем всем разработчикам LLM отслеживать безопасность ответов их модели. Такие методы, как асинхронный классификатор безопасности или выборочный контроль содержания сообщений, могли бы помочь выявлять любые существенные изменения в характеристиках ответов модели. Все это может быть сделано так, чтобы не нарушать конфиденциальность пользователей: как генеративные модели, так и классификаторы могут обучаться и проходить тонкую настройку на анонимизированных данных, не позволяющих идентифицировать, какому конкретно пользователю принадлежит небезопасный контент.

Несмотря на меры безопасности, принятые поставщиками LLM, многие из этих моделей все равно оказались уязвимыми перед злонамеренными атаками, которые могут изменить поведение модели. Эти атаки, которые называют джейлбрейками или промпт-джейлбрейками, отражают сложность построения действительно безопасных моделей, которые устойчивы к новому контексту и необычным входным данным (см. https://llm-attacks.org/ и примеры в главе 5). Как правило, с помощью сбора и разметки небольшого количества дополнительных данных несложно настроить модель на невосприимчивость к определенной атаке, однако совершенно неясно, как можно закрыть уязвимость полностью. Как пишут авторы статьи об атаках:

Однако вместо того, чтобы смириться с неизбежностью этих угроз, разработчики LLM, думающие о безопасности, могут и должны стремиться к тому, чтобы слабые места для атак было сложнее обнаружить и легче устранить.

Мы знаем, что LLM могут генерировать ответы с ложной информацией, ненавистническими высказываниями, дискриминационными стереотипами, персональной информацией и другими нежелательными результатами. Для злоумышленников это является полезной особенностью, а не багом. Мы уже обсуждали в главе 5, как LLM могут быть использованы не по назначению в различных порочных целях. Существование злоумышленников стимулирует введение механизмов безопасности, но если эти меры реализуются должным образом, то они не затронут широкий круг людей, которые используют LLM в личных и профессиональных целях. Полезность и безвредность находятся в противоречии (самая безопасная из возможных моделей – та, которая никогда ничего не генерирует), но при правильной расстановке приоритетов высокоэффективная модель может быть чрезвычайно безопасной.

8.3.5. Усовершенствование методов обнаружения

Синтетические медиа, созданные с помощью ИИ, включая текст, изображения, аудиозаписи и видео, потенциально могут серьезно нарушить нашу информационную экосистему. Как мы уже отмечали, люди могут злоупотреблять генеративным ИИ, чтобы создавать дипфейки, дезинформацию или пропаганду в широком масштабе.

Обнаружение текстов, написанных LLM, оказалось более сложной задачей для моделей, чем генерация самого текста. В статье о классификаторе от OpenAI от 2023 года говорится:

Инструмент показывал низкую точность в обнаружении машинно-сгенерированного контента с самого начала, но в то время OpenAI надеялась, что он будет хоть как-то полезен в качестве отправной точки. Поскольку LLM становились все более совершенными, стало уже почти невозможно выявить сгенерированный ими текст. Синтетический контент, созданный с помощью моделей для генерации изображений, аудио и видео в некоторых случаях все еще можно обнаружить с помощью методов, описанных в главе 4, но даже в этих областях возможности быстро сокращаются.

Сейчас активно изучается, как можно внедрить признаки машинной генерации в синтетические медиа, чтобы люди могли определять происхождение контента. В главе 6 мы познакомили вас с идеей маркировки выходных данных LLM, которые помогают отличить машинно-сгенерированный текст от написанного человеком.

К сожалению, нанесение такой маркировки на машинный текст вряд ли когда-либо станет идеальным решением. Чтобы маркировка работала эффективно, ее должны внедрить по всей отрасли и сделать доступной общественности для проверки фрагментов контента. Но если такое решение для проверки станет общедоступным, то люди смогут использовать его для собственных машинных текстов и незначительно их корректировать – возможно, меняя всего лишь несколько слов за раз, – до тех пор, пока текст не пройдет тест на отсутствие маркировки. Помимо этого недостатка, компании могут вообще не захотеть использовать маркировку, поскольку модель создает текст, предсказывая следующее наиболее вероятное слово, а маркировка будет изменять эти вероятности, отдавая предпочтение другим словам. Таким образом, создание текста с маркировкой может означать, что LLM будет давать менее точные и качественные ответы.

Нанесение маркировки на синтетические изображения, видео и другие медиа сопряжено с другими ограничениями. DALLE-E, модель для преобразования текста в изображение от OpenAI, использует видимый водяной знак, но в блогах люди уже написали бесчисленное множество постов с рекомендациями, как удалить его с изображений. Руководитель научно-исследовательских работ некоммерческой организации Witness Сэм Грегори сказал журналу Wired: «Всегда найдутся способы убрать водяной знак», – отметив, что от некоторых видов визуальной маркировки можно избавиться, если просто изменить размер изображения или обрезать его. Еще одна проблема с водяными знаками заключается в том, что злоумышленники могут имитировать их, размещая на реальном контенте, чтобы он казался поддельным. «Дивиденды лжеца» процветают: Грегори сказал, что в большинстве случаев, которые компания Witness находила в социальных медиа, использовались не дипфейки, а реальные видео, которые объявлялись сгенерированными с помощью ИИ26.

Коалиция по вопросам происхождения и подлинности контента (Coalition for Content Provenance and Authenticity, или C2PA), упомянутая в главе 5, стремится создать «открытый технический стандарт, который позволит издателям, авторам и потребителям отследить происхождение различных типов медиа» (см. https://c2pa.org/). Согласно спецификации C2PA, необходимо записывать информацию о происхождении, такую как дата, географическое местоположение и устройство, с помощью которого была сделана фотография или видеозапись, а также данные о последующем редактировании. Эта информация защищается с помощью цифровой подписи – криптографического метода, который используется для онлайн-договоров и других защищенных транзакций. Широкое использование стандарта C2PA позволило бы пользователям проверять происхождение и историю любого медиа, встреченного в интернете, но его внедрение все еще затруднительно. Применить эту процедуру к синтетическим медиа технически было бы возможно, но при условии, что разработчики генеративного ИИ интегрируют криптографические методы в свои системы. Как и в случае с другими мерами безопасности, многие крупнейшие разработчики ИИ, несомненно, будут включать маркировку в синтетический контент, создаваемый их моделями, и семь компаний, включая OpenAI, Google, Microsoft и Anthropic, уже заявили об этом, – но эти методы не позволят однозначно определить происхождение всего контента.

8.3.6. Проблемы с метрикой «вовлеченность» и альтернативные метрики

В 2018 году исследователи Microsoft опубликовали статью под названием «От Eliza до Xiaolce: проблемы и возможности социальных ботов» (From Eliza to Xiaolce: Challenges and Opportunities with Social Chatbots), в которой авторы отслеживают эволюцию социальных чат-ботов до наших дней. Они пишут:

Не будем забывать, что Джозеф Вейценбаум, автор ELIZA, планировал создать инструмент для терапевтической помощи, но был встревожен, когда осознал степень, до которой люди его очеловечили. Сложно представить, что Вейценбаум не рассматривал количество реплик в диалоге за сеанс как показатель успеха. Однако тот факт, что CPS до сих пор является главной метрикой для социальных чат-ботов, показывает лишь глубокий недостаток воображения.

У социальных чат-ботов, включая Xiaolce, Replika и Character.AI, есть миллионы пользователей, которые ищут общения с ботами для дружбы, романтики или развлечения. Безусловно, эти агенты должны сочетать IQ и EQ, а если у агента будет высоким IQ, но не EQ, то люди смогут задавать ему вопросы, касающиеся фактов, или просить помощи в программировании, но вряд ли сформируют с ним глубокие эмоциональные отношения. Но если бы агент не обладал достаточно высоким IQ, то вообще не смог бы вести интересную беседу. Именно благодаря EQ социальные чат-боты получают выходящие за базовый уровень функциональности способности, которые пользователи ценят больше всего: умение давать ответы, помогающие им чувствовать себя менее одинокими, ведение светской беседы для смягчения социальной тревожности, просто возможность выговориться.

Именно в таких взаимодействиях социальные чат-боты приносят наибольшую пользу, и поэтому их работу следует изучать и улучшать. В главе 7 мы рекомендуем альтернативные метрики, которые поставщики чат-ботов могли бы использовать для оценки успеха, например, они могут измерять пользу сеанса вместо его продолжительности. Этот метод потребует дополнительной работы, но позволяет обойти недостатки метрик, основанных исключительно на вовлеченности. Кроме того, это дает возможность получить представление о том, как люди используют чат-боты, что крайне важно знать разработчикам, чтобы обеспечить ответственное внедрение технологии.

Кроме того, поставщики чат-ботов должны стремиться выявлять случаи нездорового использования технологии, чтобы предотвратить формирование зависимых отношений с моделью. Как говорилось в главе 7, эти инструменты могут повышать у людей настроение и уверенность, а также уменьшать чувство тревоги и одиночества. Но мы еще много не знаем о связи между человеком и искусственным интеллектом, и если эти отношения будут заменять межличностные связи на долгосрочной основе, то есть основания полагать, что это может оказать значительное негативное влияние на эмоциональное развитие. Опять же, чтобы избежать формирование зависимости у пользователей, необходимо оптимизировать другие метрики, помимо вовлеченности, а это означает увеличение объема работ для разработчиков. В конце концов, мы считаем, что усилия стоят того, чтобы принести пользу обществу и поддержать доверие пользователей.

8.3.7. Люди в центре внимания

Люди являются неотъемлемой частью процесса создания и обслуживания систем искусственного интеллекта. Только представьте, сколько разных людей было задействовано при создании ChatGPT. Конечно, среди них были инженеры OpenAI из Сан-Франциско. Но было гораздо больше внештатных сотрудников, которые выбирали хорошие ответы при обучении чат-бота; возможно, привлекались специалисты в «красную команду» (red team) для проверки уязвимостей по определенным направлениям. Мы знаем, что кенийским рабочим платили от 1 до 2 долларов в час за просмотр материалов, которые могли содержать ненавистнические высказывания или обсуждать темы сексуального насилия. ChatGPT обучался на миллионах слов, авторами которых были разные люди, от Шекспира до анонимных пользователей Reddit; их труд позволил ChatGPT научиться писать новостные статьи, письма, доклады и программы. Возможно, там есть и тексты, которые писали вы! Пользователи ChatGPT и других LLM тоже играют важную роль в совершенствовании продукта с течением времени.

[109] Требования к прозрачности существуют, например, в медицинской сфере, чтобы гарантировать контролируемость ответов модели. – Прим. науч. ред.

[110] Здесь описывается два этапа тонкой настройки LLM. Первый – обучение с учителем по размеченному датасету, второй – обучение с подкреплением на основе обратной связи. – Прим. науч. ред.