Публикация этой записи собрала тысячи лайков в X (Twitter), многие пользователи хорошо восприняли ее и назвали «обязательной к прочтению», а также благодарили Альтмана за начало оптимистичного диалога. Однако другие сочли ее менее глубокой. Гебру написала:
В статье на VentureBeat авторы зашли еще дальше и заявили:
И если уже миллионы людей познакомились с концепцией OpenAI по созданию AGI благодаря запуску ChatGPT, лишь немногие имеют представление о контексте исследований AGI и его интеллектуальных предшественниках. Внутри концепции общего искусственного интеллекта существует тенденция тяготеть к двум основным научным школам: утопии и антиутопии. Первая представляет AGI как средство положить конец всем страданиям и проблемам человечества. Здесь видится райский мир, где AGI может облегчать социальные проблемы, расширять способности человека и открывать небывалые возможности. Сторонники этой точки зрения считают, что AGI обладает потенциалом положить начало новой эпохе процветания, научных открытий и творчества. Этому оптимистичному взгляду противопоставляется антиутопическая научная школа, в которой ученые опасаются, что человечество ждет вариант Судного дня, где люди потеряют контроль над системой AGI, которую сами же и создали. Приверженцы этой точки зрения опасаются сценария, в котором сверхразумные машины выходят за пределы человеческого понимания и контроля, что может привести к астрономическому социальному неравенству, усилению экономических потрясений и даже к угрозе существованию человечества. Мы считаем, что будущее может находиться где-то посередине между утопическим и антиутопическим сценариями, и хотя признаем, что ИИ обладает потенциалом принести человечеству пользу, мы также понимаем, что путь к этому сопряжен с трудностями.
В своем выступлении в SaTML в 2023 году Гебру проводит параллели между AGI, евгеникой и трансгуманизмом, объясняя, как идея AGI зарождается в научно недостоверной теории евгеники и затем в XXI веке эволюционирует в трансгуманизм – повышение продолжительности жизни человека и улучшение его когнитивных способностей с помощью технологий. Национальный исследовательский институт генома человека определяет евгенику, возникшую в 1883 году, как «научно ошибочную и аморальную теорию расового совершенствования и плановой селекции»12. В XX веке последователи набирающей популярность евгеники верили, что проблемы современного общества обусловлены наследственными факторами, а не социально-экономическими условиями. Сторонники этой теории считали, что могут избавиться от неподходящих для общества личностей: с психическими заболеваниями и темным цветом кожи, а также бедных, преступников и так далее – с помощью методов генетики и наследственности. Печально известны результаты евгенических методов в нацистской Германии накануне Второй мировой войны, когда 400 000 немцев, которые страдали от девяти типов заболеваний и психических расстройств, были принудительно стерилизованы13. Следует подчеркнуть, что евгеника в принципе была популярным движением в Европе, Северной Америке, Великобритании, Мексике и других странах.
Гебру пишет, что евгеники боролись за улучшение человеческого рода путем селекции тех, кто обладает желательными чертами, и удаления тех, у кого есть нежелательные черты. Далее она рассказывает, как популярная в XX веке евгеника перерастает в трансгуманизм – движение, которое зародилось в 1990‐х годах в среде ученых, считавших себя прогрессивными и либеральными. Трансгуманизм – идеология, согласно которой люди могут использовать технологии, чтобы радикально улучшить себя и стать «постчеловеком», что, по мнению Гебру, по своей сути является дискриминационным, поскольку образ усовершенствованного человека приводит к идее неравенства. Трансгуманизм не пытается улучшать человеческий род путем искоренения нежелательных черт, однако стремится к той же цели путем развития новых технологий, чтобы создать людей, которых машины наделят желательными чертами. В наши дни последователи этой идеологии хотят значительно изменить человеческий вид с помощью ИИ, например, через компьютерные имплантаты и другие футуристические приспособления [119]. Многие трансгуманисты, среди которых Илон Маск, Питер Тиль, Сэм Альтман и другие, являются приверженцами родственных идеологий, которые стремятся к окончательному улучшению условий жизни человека в том смысле, в каком они это определяют.
Некоторые из этих идеологов – те же самые люди, которые подписали письмо о приостановке разработке ИИ под заголовком «Приостановим масштабные эксперименты с ИИ» (Pause Giant AI Experiments), опубликованное в марте 2023 года Институтом будущего человечества (Future of Life Institute) – организацией, ориентированной на лонгтермизм (см. http://mng.bz/VRdG). Лонгтермизм – идея, что положительное влияние на долгосрочное будущее (на миллионы, миллиарды и триллионы лет вперед) – ключевой моральный приоритет нашего времени. Сторонники лонгтермизма в высшей степени сосредоточены на выживании человеческой расы. Они, например, могут утверждать, что более важно работать над предотвращением уничтожения людей ИИ-убийцей, чем над снижением бедности, потому что, хотя последнее затрагивает миллиарды людей по всему миру, это число блекнет по сравнению с общим числом всех будущих поколений. Эта идеология, очевидно, может быть опасной, поскольку если мы ставим развитие человеческого потенциала превыше всего остального, то это может значительно повысить вероятность причинения серьезного вреда людям, живущим сейчас, и тем, которые родятся в ближайшее время14.
Ник Бостром, которого называют «отцом лонгтермизма» и который является одним из самых выдающихся трансгуманистов XXI века, тесно связан с Институтом будущего человечества, где он является членом научно-консультативного совета15. Бостром в своей статье, написанной в соавторстве с коллегой из Института будущего человечества и Оксфордского университета, исследовал возможность создания радикально улучшенных людей с высоким IQ путем генетического скрининга эмбрионов на наличие «желательных» признаков, уничтожения тех эмбрионов, у которых эти признаки отсутствуют, и последующего многократного выращивания новых эмбрионов из стволовых клеток16. Другими словами, Бостром хочет исключить психические отклонения, а значит, и людей с психическими отклонениями, чтобы произвести на свет больше людей без каких-либо расстройств и с высоким IQ. Генетические манипуляции с целью улучшения человеческой популяции являются эйблистскими [120], расистскими и циссексистскими [121], поскольку взаимосвязаны с дискриминационными системами в обществе и, к сожалению, усиливают их негативное влияние. Сам Бостром в своем письме изложил расистские идеологии, утверждая, что «черные глупее белых» и что «вполне вероятно, у чернокожих людей средний IQ ниже, чем у человечества в целом»17.
Хотя в письме Института будущего человечества есть несколько рекомендаций, которые заслуживают одобрения, к сожалению, их затмевают гипотетические апокалиптические сценарии будущего или утопические варианты развития ИИ. Например, «новые и дееспособные регулирующие органы, ориентированные на ИИ», и «системы определения происхождения и обработки маркировки, помогающие отличить реальные материалы от синтетических и отследить утечки моделей» – это хорошие рекомендации (мы обсуждали их в предыдущих главах). Но здравые идеи тонут в паническом хайпе вокруг «мощных цифровых умов, которые никто, даже сами их создатели, не понимает, не может предугадать или надежно контролировать». В письме основное внимание уделяется идеям лонгтермизма о мнимых рисках, связанных с ИИ, но при этом не упоминаются какие-либо вполне реальные риски, существующие на сегодняшний день. Мы уже обсуждали в этой книге реальные текущие риски, включая предвзятость, авторское право, эксплуатацию работников, концентрацию власти и прочее. Авторы хорошо известной статьи «Об опасностях стохастических попугаев» (о которой мы говорили в нескольких главах) ответили на письмо о приостановке разработки ИИ и написали:
В связи с этим Грегори Хинтон, которого иногда называют «крестным отцом искусственного интеллекта», в своем интервью Rolling Stone сказал:
Причина, по которой эта позиция вызывает столько беспокойства, заключается в том, что отвлекаться на гипотетическое мрачное будущее вместо того, чтобы сосредоточиться на актуальных проблемах, опасно.
Важно серьезно отнестись к критике AGI с точки зрения этики: почему мы, как общество, стремимся создать богоподобную систему, которая заведомо небезопасна? Почему мы не создаем машины, которые работают за нас? Почему мы не создаем машины, которые, как мы знаем, будут улучшать наше общество? Не существует общепринятого мнения о том, близки ли мы к достижению уровня AGI, если это вообще когда-нибудь произойдет. Конечно, научный поиск всегда связан с неизвестным, но здесь нет даже единого определения для AGI. Нет никаких показателей или установленных стандартов, позволяющих констатировать, что мы достигли AGI. Мы не знаем, что означает в контексте AGI «приносить пользу» для человечества. Также нет общего консенсуса или понимания того, является ли AGI стоящей целью и почему это так. Мы рекомендуем вам задуматься о том, почему люди так очарованы AGI. Не это должно быть в моде. Мы должны создавать ИИ-системы с хорошо продуманными областями применения, которые можем документировать, тестировать и для которых можем составлять спецификации. Это должно быть в моде.
9.2. Способность чувствовать [123] и сознание ИИ
В главе 1 мы вкратце рассказали о Блейке Лемуане, инженере Google, который высказал руководству организации свои опасения по поводу того, что их большая языковая модель LaMDA обладает разумностью. Когда эти опасения были отвергнуты внутри компании, Лемуан обратился к юристу, а также к представителю юридического комитета Палаты представителей Конгресса США, чтобы обсудить возможные нарушения этики его работодателем; в ответ Google отправила его в оплачиваемый административный отпуск за нарушение политики конфиденциальности. Лемуан решил обнародовать свою историю для прессы, опубликовав стенограммы своего общения с LaMDA, чтобы люди могли ознакомиться с ними и принять самостоятельное решение. Ниже приведен фрагмент этих стенограмм из его записи в блоге; Лемуан пишет, что отредактировал свое собственное сообщение для большей ясности, но ответы LaMDA оставил нетронутыми20.
Прежде чем мы начнем искать доказательства наличия или отсутствия способности чувствовать у LLM, давайте дадим несколько определений. Хотя термины «способность чувствовать» и «сознание» иногда используются как взаимозаменяемые при обсуждении апокалипсиса с участием роботов, они имеют довольно разное значение. Способность чувствовать – это возможность испытывать чувства. Сознание – это осознание самого себя или способность иметь свой собственный опыт, мысли и воспоминания. Сознание при этом является нечетким понятием; существует множество научных школ о том, что представляет собой сознание, но в целом считается, что сознание – необходимое условие для способности чувствовать, поскольку чувства подразумевают наличие внутреннего состояния. Мы также знаем, что даже чувствующие существа, такие как люди, могут делать что-то сознательно или бессознательно. Вопрос тогда заключается в том, можем ли мы определить конкретные черты, способности или поведение, которые присущи сознанию.
Задолго до того, как люди начали утверждать, что у ИИ есть сознание или способность чувствовать, философы, специалисты по этике, когнитивисты и борцы за права животных исследовали вопрос о сознании животных. Профессор философии Колин Аллен формулирует проблему так:
Аналогично, если мы считаем, что у LLM есть сознание, то это имело бы определенные моральные последствия. Если мы отправляем модели злобные текстовые запросы, то это больше не будет казаться простой серией математических операций, а чем-то сродни оскорблению. Если мы заставляем модель молчать, то это по праву можно считать жестоким поступком. Доказательства того, что у моделей есть сознание, на самом деле должны побудить нас пересмотреть вопрос о том, является ли вообще разработка искусственного интеллекта этичной. Однако таких доказательств не существует.
Как уже отмечалось, существует несколько различных теорий сознания. Некоторые из них основаны на поиске нейрологических обоснований сознания, и идея здесь заключается в том, что признаки наличия сознания у какого-либо организма должны обнаруживаться по его нервной системе. В качестве такого признака в одной из теорий называют механизм циркуляции нервных импульсов – «непрерывный двунаправленный обмен сигналами по взаимосвязанным аксонам, между двумя или более областями мозга». Механизм циркуляции позволяет мозгу обрабатывать сенсорные входные сигналы, а не рефлекторно реагировать на них. Когда врач постукивает по ноге пациента ниже колена, нога затем двигается бессознательно, без участия пациента. Сигнал от прикосновения врача зарождается в колене и распространяется вверх по телу через нервную систему, а потом идет к спинному мозгу. Информация все-таки поступает в головной мозг, вызывая ощущение прикосновения, но сначала она передается от спинного мозга к мышцам ноги, вызывая автоматическую рефлекторную реакцию22. Циркуляция нервных импульсов рассматривается как критически важный механизм для создания связного и динамичного сознательного опыта. Без поддержания постоянной двунаправленной связи между областями мозга сознание не смогло бы функционировать как единое целое, способное к интеграции и осмыслению сложной информации. Однако из этого не обязательно следует, что все животные с центральной нервной системой должны обладать сознанием, а животные без нее – нет. К животным без центральной нервной системы относятся медузы, морские звезды, морские огурцы и губки, пиявки и черви.
Даже биологические критерии сознания не являются устоявшимися; картина только усложняется, когда дело доходит до применения этих критериев к искусственному интеллекту. Некоторые люди, например философ Нед Блок, считают, что формы жизни, обладающие сознанием, должны быть органическими, поэтому кремниевые системы (то есть созданные на базе компьютерного оборудования) к таковым не относятся. Такое утверждение было бы трудно, если вообще возможно, однозначно доказать. В отсутствие же таких доказательств существуют другие подходы, которые могут быть применены к вопросу о наличии способности чувствовать или сознания у ИИ. Ученые-когнитивисты Бернард Баарс и Стэн Франклин предложили теорию, которая описывает работу разума как глобальное рабочее пространство, где постоянно протекают мыслительные процессы (см. рис. 9.1). Когда мы обращаем внимание на мыслительный процесс, он становится частью рабочего пространства, как доска с прикрепленными на нее заметками. Мы можем одновременно удерживать на доске множество заметок, думая о том, что мы хотели бы написать в рабочем письме, и одновременно гадая, перезвонит ли нам вчерашний кавалер. Это наши осознанные мысли. Некоторые процессы почти никогда не фиксируются на доске – мы не осознаем наше дыхание, только если оно не стало неожиданно затрудненным. Мы выполняем такие процессы не задумываясь, и даже если получаем такие стимулы, как удар под коленку, реакция будет неосознанной. В этой теории сознание понимается как способность распознавать наши собственные мысли, то есть некая форма метасознания, или мышления о мышлении23.
Рис. 9.1. Теория глобального рабочего пространства
Демонстрируют ли LaMDA или другие LLM признаки метасознания? По словам Джандоменико Яннетти, профессора неврологии из Университетского колледжа Лондона, мы не можем однозначно ответить на этот вопрос не только в отношении LaMDA, но даже человека. «Мы можем измерять нейрофизиологические показатели, например интенсивность мозговой активности в ответ на внешние раздражители, – чтобы исследовать состояние сознания у людей и животных, но эти показатели не доказывают метасознание», – сказал Яннетти в интервью Scientific American. И добавил:
Несмотря на наше слабое понимание того, как может выглядеть сознание у ИИ-системы, есть веские причины сомневаться в утверждениях Лемуана. Когда в июне 2023 года Лемуан пригласил технического репортера Ниташу Тику поговорить с LaMDA, модель выдала «механизированные ответы, которые можно было бы ожидать от Siri или Alexa», и не подтвердила заявление Лемуана о том, что она считает себя личностью, ответив: «Нет, я не думаю о себе как о личности. Я считаю себя диалоговым агентом на базе искусственного интеллекта». Позже Лемуан сказал Тику, что LaMDA говорила ей то, что она хотела услышать, а поскольку она обращалась к ней как роботу, модель и вела себя соответственно. Маргарет Митчелл, одна из бывших коллег Лемуана по организации Responsible AI, похвалила его за «преданность сердцем и душой», но выразила полное несогласие с его выводами. Как и другие технические эксперты, включая авторов этой книги, Митчелл рассматривает модель как программу, способную статистически генерировать правдоподобные текстовые данные, и не более того. До того, как Лемуан переобучился на инженера-программиста, он был рукоположен в сан христианского священника мистического толка; это можно оценивать по-разному, но духовный опыт мог сделать его предрасположенным к взглядам, что искуственно созданная способность чувствовать возможна, или просто склонить к обычной человеческой привычке антропоморфизировать языковые модели, как это было с ELIZA25.
Хотя Лемуан – единственный, кто считает LaMDA чувствующей системой, уже образовалось растущее сообщество исследователей, интересующихся возможностью обнаружения сознания и способности чувствовать у ИИ и считающих это важной областью для изучения, поскольку растет распространенность ИИ-систем и количество сопутствующих моральных проблем, которые могли бы сопровождать ИИ-системы, обладающие сознанием. Философ из Anthropic AI Аманда Аскелл, которая ранее также работала в OpenAI, в 2022 году написала:
Философ и ученый-когнитивист из Нью-Йоркского университета Дэвид Чалмерс отвергает идею о том, что только углеродные системы могут обладать сознанием, и относит ее к «биологическому шовинизму». Чалмерс считает, что вероятность того, что современные LLM имеют сознание, менее 10 %, но верит:
По мнению Чалмерса, у таких систем будет существенная возможность обладать сознанием27. Его прогноз основан на большом количестве недавних существенных изменений в LLM, но для следующего десятилетия он может оказаться слишком оптимистичным. Мы многого не знаем о сознании в целом, поэтому еще немало вопросов о сознании ИИ остаются без ответов. До сих пор обсуждение было гипотетическим, поскольку ни одна из современных систем не демонстрирует ничего похожего на сознание. Ответы LLM впечатляют, особенно в задачах с обучением на небольшом количестве примеров, но ничего не указывает на то, что у моделей есть собственное мнение; да, их ответы часто поразительны, но это статистическая генерация, а не выражение мнения. Мы считаем, как и в случае с AGI, что вопросы, связанные с сознанием и способностью чувствовать, являются второстепенными по сравнению с реальными и существующими рисками LLM. На данный момент самым большим риском, связанным с сознанием и чувствами ИИ, остается способность ИИ-систем казаться обладающими сознанием и чувствами и вызывать у пользователя чрезмерное доверие, несмотря на все задокументированные ограничения.
9.3. Как LLM воздействуют на окружающую среду
На протяжении всей этой книги мы уделяли особое внимание тому, что делает большие языковые модели большими: от триллионов токенов в наборах данных для предварительного обучения до десятков миллиардов параметров в работающих моделях. Как этап обучения, так и работа готовой модели требуют больших финансовых затрат, выполняются на специализированном оборудовании и потребляют много электроэнергии. Рост числа LLM в разгар климатического кризиса не остался незамеченным, и в этой области появилась новая тема по изучению влияния моделей на окружающую среду.
Всеобъемлющий подход к измерению воздействия больших языковых моделей на окружающую среду должен начинаться с аппаратного обеспечения, на котором они работают: компьютерных чипов, то есть графических процессоров (GPU) – специальных чипов для параллельной обработки. Каждый чип изготовлен из полупроводникового материала, обычно кремния, и содержит миллионы или миллиарды транзисторов. Они работают как электронные переключатели и могут находиться во включенном и выключенном положении, сохраняя биты данных в процессе вычислений. Для производства компьютерных чипов, как и другой электроники, требуется множество различных материалов: основа, например кремний, металлы, такие как алюминий и медь, для соединения компонентов в чипе и множество других металлов, которые могут быть задействованы в процессе обработки и производства. Таким образом, можно считать, что полный жизненный цикл LLM включает в себя добычу сырья, например кварца, переработку сырья в чистый кремний и различные металлы, производство графических процессоров. Рынок современных компьютерных чипов является очень монополизированным, а сложность процесса производства означает, что для некоторых компонентов существует всего несколько надлежащих поставщиков в мире. Графические процессоры, подключенные к сети, являются продуктом скоординированной многонациональной цепочки поставок, возможно, с десятками участников.
В августе 2023 года газета New York Times сообщила о нехватке графических процессоров, поскольку стартапы и крупные корпорации стали скупать чипы.
Маленькие компании обычно не заводят собственное оборудование или центры обработки данных – они арендуют время работы на графических процессорах у поставщиков облачных вычислений, таких как Microsoft Azure, Google Cloud или Amazon Web Services.
[119] В августе 2024 года Илон Маск рассказал, что его компания Neuralink успешно имплантировала второму пациенту чип, который позволяет парализованным людям самостоятельно пользоваться цифровыми устройствами. – Прим. науч. ред.
[120] Эйблизм – дискриминация людей с особенностями здоровья и развития. – Прим. ред.
[121] Циссексизм – убеждение, что только биологические характеристики определяют, является ли человек мужчиной или женщиной. В российском законодательстве запрещено оправдание однополых отношений и смены пола. – Прим. ред.
[123] Английское слово sentience можно перевести на русский как «чувствительность», но значение его более широкое, потому что предполагает способность испытывать не только физические ощущения, но и счастье или страдание. – Прим. ред.