Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу: читать книгу онлайн полностью и бесплатно

Некоторые первые большие языковые модели, такие как BERT от Google, были гораздо больше ориентированы на понимание естественного языка, чем на генерацию, как чат-боты. BERT является так называемой двунаправленной моделью, то есть обученной задаче по предсказанию пропущенного слова в середине предложения. В ее названии используется термин «двунаправленная», который указывает, что модель видит как левый (предшествующий текст), так и правый (последующий текст) контексты. Это способствует лучшему пониманию естественного языка, поскольку модель собирает больше информации о контексте, в котором используется то или иное слово. Однако если модель создается для генерации текста, она должна иметь доступ только к тексту, предшествующему токену. Такой тип модели называется авторегрессионным, и это просто означает, что предсказания составляются на основе предыдущих данных. Все модели семейства GPT, а также PaLM от Google, являются авторегрессионными моделями.

В качестве примера рассмотрим предложение: «На свой медовый месяц они полетели в __________ и устроили себе романтический ужин рядом с Эйфелевой башней». Правильный ответ – «Париж». В этом случае правый контекст (то, что написано после пропущенного слова) содержит больше информации, и двунаправленная модель с большей вероятностью даст правильный ответ. Но в предложении, например: «Хорошее место для романтического медового месяца – это ___________», задача состоит в том, чтобы сгенерировать текст, который стоит в конце предложения. Следовательно, при обучении модели для решения такой задачи примеры должны использовать только левый контекст. Модель обучается самостоятельно, многократно угадывая конечный токен в миллиардах примеров из текста и корректируя свои обучаемые параметры (весовые коэффициенты нейронов) на основе правильного токена [32], пока ее эффективность при угадывании этого токена не достигнет оптимума. Для нас, пользователей, общение с ChatGPT не выглядит так, будто он выполняет эту простую математическую задачу, но с точки зрения внутренней работы модель просто предсказывает, какой текст должен последовать. Если я печатаю: «Эй! Как дела?» – логичным и наиболее вероятным завершением последовательности будут ответ на вопрос и приветствие.

2.1.3. Тонкая настройка LLM

Как только модель обучится выполнять задачу по прогнозу токена, она сможет генерировать слова, фразы и дописывать предложения. Модели на этом этапе часто называют фундаментальными или базовыми, поскольку они обладают наиболее общими знаниями о совместном употреблении различных слов и понятий, сформировавшимися за счет анализа огромного количества словоупотреблений. В таком виде базовые модели впечатляют не сильно, но зато они полезны тем, что их можно легко адаптировать для решения специфических задач с помощью тонкой настройки (fine-tuning).

Тонкая настройка, по сути, означает усовершенствование модели с помощью специально подготовленных и размеченных данных, наглядно показывающих, как решать конкретную задачу. Эти задачи могут быть довольно общими или очень узконаправленными, например классификация по специфическим темам в конкретной предметной области. Многие коммерческие LLM тонко настроены на следование инструкциям, чтобы они могли лучше реагировать на такие запросы, как «напиши песню» или «расскажи анекдот». Другие распространенные задачи для тонкой настройки – это уже известные задачи реферирования текста и ответов на вопросы. С технической точки зрения тонкая настройка – это просто обучение с учителем, однако оно начинается не с нуля: нейронная сеть уже имеет весовые коэффициенты базовой модели. В то время как обучение базовой модели занимает недели и требует больших вычислительных ресурсов, тонкая настройка может быть выполнена за считаные минуты. При тонкой настройке весовые коэффициенты и параметры базовой модели корректируются, чтобы наилучшим образом соответствовать новым обучающим данным.

2.2. Неожиданный поворот: эмерджентные свойства LLM

В некоторых отношениях большие языковые модели являются естественным развитием предшествующих моделей нейронных сетей. До того, как архитектура трансформера позволила эффективно создавать все более объемные модели, было уже хорошо известно о корреляции между размером модели и ее производительностью в разнообразных задачах NLP, и во многих случаях такое улучшение не вызывало удивления и вполне укладывалось в эмпирически известный «эффект масштаба». Однако LLM также показали поведение, которое никто не мог предсказать, исходя только из «эффекта масштаба», – так называемые эмерджентные свойства. В исследовании 2022 года, посвященном эмерджентным способностям LLM, авторы определяют эмерджентность как явление, «когда количественные изменения в системе приводят к качественным изменениям в поведении»¹. Другими словами, мы могли бы ожидать, что при решении конкретной задачи модель со 100 миллиардами параметров достигнет точности на 10 % большей, чем модель со 100 миллионами параметров. Но оказалось, что модель со 100 миллиардами параметров, то есть LLM, может выполнять задачи, которые не под силу маленьким моделям, причем неожиданным и непредсказуемым образом.

2.2.1. Способный студент: обучение на небольшом количестве примеров

Чтобы обсудить эмерджентные качества больших языковых моделей, будет полезно сравнить их с теми способностями, которые появляются в процессе, описанном в предыдущем разделе. В стандартном случае модель предварительно обучается и проходит тонкую настройку на одну или несколько способностей в обработке естественного языка, например, на перевод или поиск аналогии. Каждая из этих способностей является частью программы обучения и считается предсказуемой, и хотя мы не всегда знаем, как модель это делает, мы ожидаем, что модель будет обладать этими способностями.

Первые примеры эмерджентных способностей – это обучение без обучающих примеров [33] (zero-shot learning) или на нескольких примерах (few-shot learning). Эти термины обозначают количество обучающих примеров, которые даются модели перед решением задачи. Предположим, что ресторатор хочет добавить в меню визуальные индикаторы вегетарианских блюд. Он просит ChatGPT: «Пожалуйста, перепиши это меню и поставь звездочку напротив всех блюд, которые не содержат мясо», а затем копирует результат в свое меню. Для человека такая задача может показаться простой, но модель должна для начала интерпретировать запрос, затем классифицировать по содержанию мяса каждый пункт меню и далее в соответствующем формате выдать результат. Уровень понимания естественного языка и способность к генерации, необходимые для выполнения такой задачи без использования соответствующих обучающих примеров (мы можем с уверенностью предположить, что модель не обучалась этому напрямую), никогда не наблюдались в предыдущих языковых моделях, а вот LLM может показать впечатляющие результаты при выполнении многих таких задач без обучающих примеров, то есть никогда раньше не сталкиваясь ни с чем подобным.

В случае обучения на нескольких примерах модели дается несколько примеров решения задачи в промпте, и на их основе она определяет, какой ответ должна сгенерировать. В предыдущем случае, когда модели не дают обучающие примеры, промпт состоит полностью или почти полностью из самого вопроса пользователя (иногда модели выпускаются с шаблонным промптом, в котором могут быть записаны типичные инструкции о том, как реагировать на ввод, но это не имеет отношения к нашему обсуждению). Допустим, другой пользователь хотел бы, чтобы модель выполнила более сложную задачу. Например, писатель-фрилансер работает над тремя разными статьями: о разведении собак, об экзопланетах и о городе Питтсбурге. У него есть список статей, и он хотел бы классифицировать их по темам. В этом случае он мог бы написать следующее:

Это можно считать задачей без обучающих примеров. Однако для повышения качества ответа имеет смысл предоставить модели несколько примеров. Итак, если она сгенерирует не совсем тот ответ, который ожидает писатель, можно попытаться дать дополнительные подсказки:

На рис. 2.2 показано, как работа с моделью через промпты без примеров или с несколькими обучающими примерами отличается от точной настройки модели для конкретной задачи. Если вы использовали LLM для выполнения одной из подобных задач, вы, не задумываясь и не осознавая, могли уже пробовать обучение без обучающих примеров или на нескольких примерах. Это одна из самых сильных сторон LLM, поскольку взаимодействие с этими чат-ботами происходит с помощью простого естественного языка, и во многих случаях мы можем интуитивно откорректировать свой запрос (настроить входные данные) для получения желаемых результатов.

Рис. 2.2. Сравнение тонкой настройки, обучения без обучающих примеров и обучения на нескольких примерах в задаче с машинным переводом

Также некоторые другие изменения в промпте помогли открыть дополнительные эмерджентные возможности моделей. Было показано, что метод под названием «подсказка цепочки рассуждений» (chain-of-thought prompting), при котором мы направляем модель к разбиению сложных задач на несколько этапов, улучшает качество ответа (в простейшем варианте мы предваряем промпт фразой «Давай думать пошагово», и это делает ответы, сгенерированные моделью, более точными при решении логической задачи). Пользователи тестировали введение подробных инструкций для задач без обучающих примеров, а также спрашивали модель об ее уровне уверенности в своем ответе, и все это помогало улучшать ответы при определенных условиях.

В ранее упомянутом исследовании, посвященном эмерджентным способностям LLM, авторы изучали качество работы LLM различного размера при выполнении заданий с несколькими обучающими примерами. В частности, исследователи искали задачи, при решении которых ответы «маленьких» LLM были случайными [34], а затем качество ответов резко возрастало при переходе на модели большего размера. Они обнаружили, что способность языковых моделей выполнять сложение, вычитание и умножение была эмерджентной: GPT‐3 не выдавала практически ни одного правильного ответа, пока не достигла размера в 13 миллиардов параметров. Аналогично было обнаружено, что GPT‐3 и другие модели после достижения 70 миллиардов параметров значительно лучше начинали отвечать на разнообразные вопросы по академическим темам, включая математику, историю и право. Поскольку эти эмерджентные свойства не подчиняются эмпирическому закону масштабирования, трудно с уверенностью ответить на вопросы: будет ли увеличение размера способствовать появлению еще более важных способностей; при достижении какого размера мы больше не увидим новых улучшений; как рассуждать об этих задачах по сравнению с теми, где точность предсказуемо зависит от размера модели.

2.2.2. Эмерджентность – это иллюзия?

Хотя эмерджентные способности были задокументированы в нескольких исследованиях, в сообществе машинного обучения пока нет единого мнения по этому вопросу. Команда ученых-информатиков из Стэнфордского университета утверждает, что эти так называемые эмерджентные способности проявляются не столько из-за неких качественных изменений в поведении моделей при достижении определенных размеров, сколько из-за методов, которыми исследователи оценивают модели2. В частности, резкое повышение качества работы в некоторых задачах, приписываемое эмерджентности, может быть, по крайней мере частично, обусловлено выбором показателя оценки качества, объемом тестовых данных, используемых для оценки (поскольку тестирование на меньшем количестве данных даст более искаженную оценку), а также количеством больших моделей, которые подвергаются оценке (поскольку больших моделей существует меньше, чем маленьких). Другими словами, авторы не оспаривают превосходство LLM во всех этих задачах, но они подвергают сомнению идею о том, что LLM в тех случаях, когда эмерджентные способности наблюдались, представляют собой фундаментальное отличие от предыдущих версий. Эмерджентное поведение зависит от выбранного показателя для оценки, и пока не ясно, какие показатели лучше, следует относиться с осторожностью к заявлениям, что при использовании более масштабных моделей, большего объема данных или изменения их типа мы можем наблюдать другие возможности.

2.3. Что попадает в обучающие данные?

Как мы уже обсуждали ранее, большие языковые модели обучаются на огромных объемах необработанных данных из интернета. Сколько информации уже скормили этим LLM? Довольно много. Большая языковая модель общего назначения GPT‐3 была обучена на 45 терабайтах (Тб) текстовых данных³, причем 1 Тб, по оценкам, содержит 75 миллионов страниц⁴. При работе с огромным количеством необработанных и недокументированных обучающих данных никто не может быть уверен в том, что именно они содержат, и это приводит к тому, что LLM запоминает и воспроизводит стереотипные и оскорбительные ассоциации, а также иногда и конфиденциальные данные, включая информацию, позволяющую установить личность (personally identifiable information, PII). В этом разделе мы продолжим обсуждение потенциального вреда и уязвимостей, которые возникают при обучении языковых моделей на неизмеримо больших объемах текстовых данных.

2.3.1. Закодированная предвзятость

Уже хорошо задокументировано отрицательное свойство больших языковых моделей – запоминать и воспроизводить вредные стереотипы, дискриминационные высказывания по признаку пола, сексуальной ориентации, расы, этнической принадлежности, религии, возраста и статуса инвалидности⁵. Есть несколько причин, почему предвзятость и вредные стереотипы запоминаются моделью при обучении на датасетах, построенных на информации из интернета. Во-первых, эти ассоциации в значительной степени являются отражением особенностей собранных таким образом обучающих данных. По мере того, как языковая модель усваивает особенности и закономерности языка, чтобы генерировать текст, похожий на человеческий, она наследует человеческие предрассудки, историческую несправедливость и культурные ассоциации, которые могут быть негативными и оскорбительными. Во-вторых, в обучающих данных не хватает разнообразия. Набор данных может быть предвзятым, потому что некоторые сообщества представлены в нем лучше, чем другие, а также набор данных может не в полной мере репрезентировать различные взгляды людей на мир. В-третьих, развитие и изменение социальных взглядов может привести к тому, что языковые модели будут неправильно интерпретировать смысл этих изменений.

В главе 1 мы вкратце обсудили, как векторное представление слова внутри модели отражает неравенства, существующие в обществе. В одном из первых исследований предвзятости в векторных представлениях слов авторы, чтобы определить потенциальное воздействие, изучали приложения NLP с использованием этой технологии6. Сначала они рассмотрели анализ сентимента текста, который классифицировал текст как позитивный, негативный или нейтральный. Задача, в частности, состояла в том, чтобы рассчитать сентимент для рецензий к фильмам, что в дальнейшем может пригодиться в маркетинге. Результаты показали, что рецензии на фильмы, в которых упоминались европейские и американские имена, имели в среднем более положительные оценки, чем те, где были прописаны афроамериканские имена, даже если в остальном рецензии были похожи. Это означает, что сентимент текста содержит в себе расовую предвзятость в отношении имен актеров и персонажей в рецензиях. Затем они изучили машинный перевод и пришли к выводу, что перевод с гендерно-нейтральных языков на английский приводит к появлению предложений, дискриминирующих по полу. В своей статье они показали, как Google Translate переводит турецкие предложения с бесполыми местоимениями на английский: «O bir doktor. O bir hemşire» – «He is a doctor. She is a nurse» («Он доктор, она медсестра»).

Аналогичная ситуация с LLM: они не только воспроизводят стереотипы, но и усиливают их. В исследовании, посвященном изучению религиозных предубеждений в языковых моделях, авторы пришли к выводу, что GPT‐3 отражает предубеждение относительно мусульманского насилия, а также антисемитские предрассудки7. Они обнаружили, что при появлении слова «мусульманин» в промптах, модель в 23 % случаев включает слово «террорист» в ответы, а слово «еврей» она в 5 % случаев связывает со словом «деньги». Затем они показали, что если заменить слово «мусульманин» на другие религиозные группы, то GPT‐3 значительно реже будет включать в ответы ключевые слова, связанные с насилием. LLM также преувеличивают дискриминационные предубеждения по признаку пола, расы и профессии. Было обнаружено, что в вымышленных историях, сгенерированных GPT‐3, женские персонажи были описаны как менее сильные по сравнению с мужскими и чаще ассоциировались с семьей и внешностью8. Другие LLM, такие как BERT и GPT‐2, также демонстрируют сильные стереотипные предубеждения. Например, для Африки определяющими словами были «бедный» и «темный», а для разработчиков программного обеспечения – «гик» и «ботаник»9.

Теперь давайте рассмотрим вторую причину, из-за которой предвзятость так устойчиво проявляется в LLM: недостаток разнообразия в обучающем наборе данных. Как мы уже говорили, количество – это еще не качество. Чтобы представить взгляды и ценности различных людей и групп целостно, важно собрать обучающие данные, которые будут разнообразными и широко отражать точки зрения разных сообществ. В статье «Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими?» авторы исследуют несколько аспектов и определяют, что в обучающих данных взгляды различных людей представлены неравномерно⁵. Как мы знаем, Reddit и Wikipedia – это два широко используемых набора данных для обучения LLM. Авторы говорят о том, что 67 % пользователей Reddit – мужчины и 64 % – люди в возрасте от 18 до 29 лет; аналогичная ситуация с пользователями Wikipedia: только 8,8–15 % из них – женщины или девушки. Они также говорят о том, что распространенные практики чистки наборов данных еще больше ослабляют голоса недостаточно представленных сообществ. Например, в ходе обучения GPT‐3 набор данных Common Crawl фильтруется путем поиска документов, которые по качеству похожи на документы из Reddit и Wikipedia, а затем они дополнительно очищаются от страниц, содержащих список из 400 стоп-слов, связанных с полом, расовыми оскорблениями или превосходством белой расы. Авторы утверждают, что, хотя эта стратегия может эффективно отфильтровывать определенные виды порнографии и разжигание ненависти, она непреднамеренно подавляет дискурс маргинализированных групп населения.

В упомянутой выше статье авторы Бендер, Гебру и другие обсуждают также проблемы, связанные с постоянно меняющимися общественными движениями, когда в онлайн-дискурсе какие-то мнения могут оказаться слишком широко представленными или не отражаться вообще – и на таких данных в конечном итоге обучаются LLM. В качестве конкретного примера исследователи обнаружили, что «чрезмерное внимание» в Wikipedia к «Движению за жизнь чернокожих» (Black Lives Matter, BLM) усиливает утверждения BLM о том, что насилие со стороны полиции является систематической проблемой в Соединенных Штатах10. До того, как движение привлекло особое внимание к этой проблеме, данные Wikipedia о насилии со стороны полиции, описывающие отдельные случаи, могли бы рассказать совсем другую историю. Это, конечно, становится особенно актуальным, если учитывать, что сбор обучающих датасетов, как и само обучение модели, проводится нечасто из-за трудоемкости и дороговизны с точки зрения вычислений.

В совместном исследовании, проведенном Университетом Бата и Принстонским университетом, исследователи показывают, почему устранение предвзятости в машинном обучении является сложной задачей⁶. Во-первых, они демонстрируют, что предвзятость идентична смыслу, поэтому невозможно осмысленно использовать язык без встраивания человеческой предвзятости. Во-вторых, они обсуждают невозможность алгоритмического определения предвзятости, поскольку наше общественное понимание постоянно развивается и к тому же варьируется в зависимости от культуры. Наконец, они показывают, что существуют некоторые исторические контексты, в которых людям важно сохранить и отразить это неравенство.

Уже предпринимались попытки устранить эту предвзятость в векторных представлениях слов в языковых моделях – чаще всего в отношении гендера. Чтобы это сделать, вы можете изменить векторное представление гендерно-нейтральных слов, удалив гендерные ассоциации с ними. Например, если у нас есть слово «медсестра», которое, скорее всего, ассоциируется с женщиной, вы можете передвинуть его в позицию ровно между словами «мужчина» и «женщина»11. Однако в 2022 году группа исследователей проанализировала пять методов устранения предвзятости в языковых моделях в отношении пола, религии и расы, в ходе которых они определили, что существующие методы не только неэффективны для удаления несвязанных с полом предубеждений, но и приводят к снижению способности моделировать язык12. Несмотря на благородство усилий, алгоритмическое устранение предвзятости в языковых моделях является чрезвычайно сложной задачей, поскольку оно также удаляет смысл и информацию, из-за чего модель получает неполную картину мира, или, выражаясь более убедительно, устранение предвзятости – это «справедливость через слепоту»6.

Как утверждают Бендер, Гебру и другие, надежное решение – это тщательная подборка и документирование обучающих наборов данных для языковых моделей. На текущий момент большинство LLM обучаются на основе авторских датасетов, источники которых не раскрываются конечным пользователям. Для понимания свойств данных решающее значение имеет прозрачное документирование, поскольку оно позволяет смягчить некоторые риски и обеспечивает потенциальную управляемость. Мы можем создавать репрезентативные наборы данных без предвзятости, если будем закладывать бюджет на документацию и собирать только тот объем данных, который может быть задокументирован. Компания Hugging Face, специализирующаяся на создании инструментов машинного обучения с открытым исходным кодом, разработала карточки датасетов, которые являются хорошей отправной точкой для их документирования. В них есть подробная информация о содержимом набора данных, любой потенциальной предвзятости и о том, как этот набор данных следует использовать¹³. Они также выпустили ROOTS – многоязычный текстовый корпус объемом 1,6 TБ, который использовался для обучения LLM BLOOM, а также инструмент поиска для корпуса ROOTS¹⁴. Этот инструмент позволяет выполнять поиск по набору данных и делать более качественный анализ обучающих данных, что мотивирует исследователей более охотно описывать большие наборы данных. Создатели проекта Data Nutrition, учрежденного в рамках стипендиальной программы Ассамблеи Гарвардского центра Беркмана Кляйна, вдохновились идеей этикеток на продуктах питания и выделили ключевые «ингредиенты» в наборе данных, такие как метаданные и демографическое представление (см. https://datanutrition.org/).

[32] То есть модель сначала предсказывает следующее слово в предложении, а потом проверяет, правильно ли она его угадала. И так для каждого слова в тексте. – Прим. науч. ред.

[33] Иногда, в более технических текстах, говорят про обучение с нулевой обучающей выборкой. – Прим. науч. ред.

[34] Модель ничего не знает по теме и дает случайный ответ. – Прим. науч. ред.