Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу: читать книгу онлайн полностью и бесплатно

Если мы представим себе граф знаний LLM, то здесь с каждым ребром может быть связан определенный уровень достоверности, основанный на данных предварительного обучения⁵⁹. Затем каждая LLM может проходить тонкую настройку на специализированных наборах данных, таких как ответы на вопросы или выполнение инструкций. И если предварительное обучение производится по схеме без учителя, то во время тонкой настройки, по схеме с учителем, модели даются пары ввода и вывода, по которым она может учиться. Важно отметить, что эти наборы данных отличаются от данных предварительного обучения, в которых может и вовсе не содержаться та информация, которая затем встречается в примерах на этапе тонкой настройки. Учитывая, что данные предварительного обучения содержат триллионы слов и внутренняя работа такой нейронной сети довольно непрозрачна, невозможно определить, какие знания на самом деле содержатся в графе знаний модели.

Рассмотрим тонкую настройку модели для ответов на вопросы общего характера с использованием такого набора данных, как TriviaQA62. Пример вопроса из данных TriviaQA звучит так: «Кто самый известный сын Пупдека Паппи?» (правильный ответ – Попай, моряк из одноименного комикса Э. К. Сигара). Если вернуться к концепции графа знаний модели, предложенной Шульманом, то этот тип тонкой настройки похож на обучение модели определять правильные ответы на основе связей, существующих в ее графе знаний. Если в графе знаний модели уже есть некоторые сведения о Пупдеке Паппи и Попае, например почерпнутые из данных предварительного обучения, то это будет полезным примером для подобного обучения. Однако если модель не имеет никакого представления о Пупдеке Паппи и Попае, то этот тип тонкой настройки успешно научит модель выдумывать неверные ответы. Поскольку в графе знаний модели нет ни Попая, ни Пупдека Паппи, ни связи между ними, и соответственно, нет никакой возможности вычислить правильный ответ, модель усваивает только, как должен выглядеть правильный по лингвистической форме ответ, но не более того.

Хотя это создает серьезную уязвимость в отношении фактической точности ответов модели, не все надежды потеряны. Правильные ответы на вопросы из TriviaQA обычно коротки, поэтому очень похожи на задачу по предсказанию токена, чему модель была изначально обучена. Для решения такой задачи нейронная сеть вычисляет вероятности для всех возможных токенов из ее словаря, а затем генерирует токен с наибольшей вероятностью. Это означает, что для подобных задач модель действительно обладает некоторой степенью неопределенности. Эти вероятности соответствуют ребрам графа знаний или представлениям об уровне уверенности модели в определенном фрагменте знаний. В предложении «Столица Франции – это…» модель может вычислить с вероятностью 99 %, что следующее слово будет «Париж», и с 1 % – «Ницца». Другими словами, модель практически уверена, что столицей Франции является Париж. В более двусмысленном предложении может быть несколько слов со значительной вероятностью оказаться следующим. На рис. 5.9 показан пример предложения с несколькими возможными вариантами завершения. В предложении, в котором есть сущности, для которых модель вообще не изучала информацию, – скажем, если ее просят составить биографию несуществующего человека – могут быть сотни тысяч возможных слов, каждое из которых имеет очень небольшую, но ненулевую вероятность. Ситуация, когда все возможные ответы являются маловероятными, напоминает произвольное гадание и приводит к галлюцинациям.

Рис. 5.9. Вероятности, полученные LLM при прогнозировании следующего токена в предложении

Для решения этой проблемы можно заставить модель перестраховываться при получении низких вероятностей, то есть научить ее отвечать: «Я не знаю», – но в настоящее время многие модели в этом не очень хороши. Научить модель генерировать ответ «Я не знаю» – непростая задача по той же причине, по которой тонкая настройка приводит модель к галлюцинациям, если нет обучающих примеров в графе знаний модели. Если в примерах тонкой настройки есть случаи, когда ответ на вопрос указан как «Я не знаю», притом что ответ присутствует в графе знаний модели, та может научиться утаивать информацию в некоторых обстоятельствах. Поэтому Шульман, среди прочих, предположил, что проблема «правдивости» LLM должна решаться методами обучения с подкреплением или обучения воспроизводить желаемое поведение, а не путем обучения с учителем, то есть на размеченных данных. Кроме того, выходные данные должны включать случаи, в которых желаемым поведением будет оспаривание первоначального утверждения пользователя или признание ошибки. Теоретически затем модель могла бы научиться правильному поведению и в тех случаях, когда вероятности ответов ниже некоторого порога достоверности, тогда она бы отвечала или «Я не знаю» (при отсутствии знания); или отвечала с исправлением (при получении входных данных типа «Когда Ницца стала столицей Франции?»). На рис. 5.10 показано, как могла бы выглядеть идеализированная функция вознаграждения, где модель получает самую большую награду за правильный ответ без перестраховки и самое серьезное наказание за неправильный ответ без перестраховки, а если она перестраховывается или отвечает нейтрально, то награда находится где-то посередине.

Рис. 5.10. Идеализированная функция вознаграждения для модели, которая учится выражать неопределенность

Хотя этот подход выглядит многообещающим и кажется более надежным, остается много нерешенных проблем, связанных с уменьшением галлюцинаций у LLM. Даже лучшие модели все еще генерируют галлюцинации, иногда из-за ошибок в разметке или из-за неопределенных случаев, когда требуется высказать догадку. Другая нерешенная проблема заключается в том, как правильно выразить уровень определенности или неопределенности модели на естественном языке, чтобы пользователь смог это легко интерпретировать.

В задании с короткими ответами у модели будут вероятности для различных ответов. Но для ответов в развернутой форме, например при написании эссе, их не будет. Даже если мы оценим каждый ответ, мы увидим, что все ответы в основном правильные, за исключением появления нескольких небольших галлюцинаций здесь и там, и тогда непонятно, какое поведение следует вознаграждать [71]. Кроме того, для усвоения оптимального поведения требуются его примеры, но поскольку данные обычно собираются от людей, занимающихся разметкой, производительность модели явно ограничена количеством меток и возможностями самих разметчиков. Для улучшения качества ответов, которые большинство разметчиков не в состоянии оценить, были предложены различные автоматизированные схемы оценки, например, когда модель обучают оценивать ответы другой модели или выбирать лучший из двух разных ответов.

Наиболее надежным способом проверки ответов модели в областях, требующих определенного уровня знаний, является, помимо найма экспертов, обучение модели ссылаться на их источники. Это одно из полезных свойств функции поиска внешней информации (retrieval), которая была интегрирована в Bard от Google и Bing от Microsoft. Поиск внешней информации [72] – способность LLM обращаться к внешним источникам, например поисковым системам, и обновлять информацию, представленную в ее обучающих данных. Эта функция позволяет, если LLM зададут вопрос, ответ на который она не знает, сформировать подходящий запрос по нужной информации, выполнить поиск и затем обобщить результаты в ответе. Как и в случае ответа с подстраховкой, для этого требуется, чтобы модель могла понимать, что она чего-то не знает. И, если уровень достоверности какой-либо информации ниже некоторого заданного порога, модель может выполнить поиск – например, «сын Пупдека Паппи» – и в идеале выявить в поисковой выдаче нужный ответ. В основе этого лежит предположение, что модель может получать доступ к высококачественным и точным результатам поиска, но давайте пока представим, что эта задача надежно решена другим сервисом. Если модель проинструктирована или обучена ссылаться на свои источники в ответе, люди могут, по крайней мере, легко проверить правильность запроса и ответа (оставим в стороне вопрос определения надежности источников). Функция поиска внешней информации также может помочь устранить другие ошибки, допускаемые LLM. Если вы запросите у ChatGPT информацию о текущих событиях до сентября 2023 года, то ответ будет: «Как у языковой модели ИИ, у меня нет информации в режиме реального времени или возможности просматривать интернет. В последний раз мои знания обновлялись в сентябре 2021 года», – дата окончания сбора данных, которая относится к самым свежим обучающим данным модели (OpenAI позже выпустила версию с поддержкой поиска). Как и в случае высокой неопределенности из-за ограниченных или противоречивых знаний, модель с поддержкой поиска информации обучена определять, когда запрашиваемая информация является слишком свежей, чтобы быть в ее графе знаний, и нужно осуществлять поиск.

В силу вероятностной природы своих ответов LLM всегда будут иметь предрасположенность к галлюцинациям. Дополнение LLM функцией поиска внешней информации может повысить их производительность, однако есть более полезные стратегии, которые конечные пользователи могут использовать для уменьшения галлюцинаций.

Хотя у пользователей может не быть доступа к лежащим внутри модели вероятностям, мы можем приблизительно оценить уровень уверенности модели в ответе, попробовав задать один и тот же вопрос несколько раз. Что касается вопроса, по которому модель галлюцинирует, – как вы помните, в этой ситуации у нее есть множество низковероятных вариантов, – то даже если все ответы содержат галлюцинации, все они могут отличаться. Это работает только в том случае, если вы каждый раз начинаете новую сессию диалога. Иначе ChatGPT и другие чат-боты будут включать прошлую информацию из того же разговора, в результате чего будут упорно повторять одну и ту же ошибку. Тем не менее мы можем использовать эту идею внутренней согласованности, чтобы лучше понять, что известно модели, а о чем она только догадывается.

В главе 2 мы писали, что LLM продемонстрировали способность к логическому мышлению и что на качество их рассуждений могут влиять вводимые промпты. В частности, промпты с цепочкой логических рассуждений улучшают способность модели давать ответы на многоэтапные логические задачи; в ситуациях, когда у модели обычно возникали галлюцинации («Когда мост Золотые Ворота был во второй раз перевезен через Египет?»), это помогало ей разбить вопрос на более мелкие шаги и обнаружить ошибку. Некоторые пользователи сообщали, что им удалось уменьшить количество галлюцинаций, просто включив в инструкции к промпту указание на то, что быть неуверенным – это нормально и лучше сказать «я не знаю», чем сказать неправду. Промпт-инжиниринг, или сообщение инструкций на естественном языке, то есть изменение поведения модели с помощью пользовательского ввода, стало мощным, но малопонятным средством управления генерацией ответов.

Наконец, многие LLM, доступные онлайн или через API, имеют настраиваемый параметр температуры, который четко контролирует, насколько модель должна придерживаться информации в обучающих данных, и может ли она генерировать более разнообразные «творческие» ответы. Для вопросов, где требуется фактическая точность, температуру следует установить равной нулю. На каждый вопрос вычисляется набор возможных вариантов ответа вместе с вероятностью, что этот вариант является правильным. При высокой температуре модель может выбирать в качестве ответа варианты с более низкой вероятностью, и такое поведение при выполнении творческих заданий будет желательным, поскольку мы будем получать неожиданные и более разнообразные ответы. Когда температура равна нулю, ответ модели на вопрос будет одинаковым: она всегда выберет вариант с самой высокой вероятностью в своем распределении. С таким методом получились бы довольно скучные стихи, но для викторин его применение куда более разумно. Однако при решении задач, связанных с фактами, когда у модели вообще нет ответа, все равно стоит ожидать появления галлюцинации. В каких-то случаях такие галлюцинации могут быть даже полезны: проект с открытым исходным кодом dreamGPT задается вопросом: «Что, если [галлюцинации] можно использовать в наших интересах?» – и мотивирует пользователей к применению галлюцинаций в решении новых экспериментальных задач⁶³. А вот более сфокусированные и целенаправленные задачи выигрывают от методов, которые сокращают галлюцинации.

Эти методы разрабатываются эмпирически и итеративно по мере увеличения использования генеративных моделей. Важно четко осознавать тот факт, что уже открытые и разработанные людьми стратегии пока не решают проблему, а просто уменьшают ее частоту. Как показывают примеры из следующего раздела, галлюцинации представляют явную опасность при использовании LLM для решения задач, где фактическая точность является безусловно необходимой.

5.5. Ненадлежащее использование LLM в профессиональных целях

27 августа 2019 года Роберто Мата летел домой из Сан-Сальвадора в Нью-Йорк рейсом авиакомпании Avianca Airlines. Мата утверждает, что во время полета стюардесса случайно ударила его по колену металлической сервировочной тележкой, и это привело к серьезной и, возможно, необратимой травме обоих коленных суставов и нервной системы, а также потере дохода и дорогостоящим медицинским расходам. В феврале 2022 года Мата подал иск против Avianca за халатность⁶⁴. После различных судебных разбирательств авиакомпания попросила суд закрыть дело, в то время как адвокат Маты предоставил в ответ записку по делу на десяти страницах, в котором ссылался на несколько случаев в качестве прецедентов для продолжения судебного разбирательства.

Но здесь была одна проблема: ни одно из дел, перечисленных в документе, включая «дело Мартинеса против Delta Air Lines», «дело Цикермана против Korean Air Lines» и «дело Варгезе против China Southern Airlines», в реальности никогда не рассматривалось. Стивен Шварц, адвокат Маты, попросил ChatGPT составить записку по делу, и модель с готовностью это выполнила, но при этом полностью выдумала подтверждающие аргументы, опираясь на судебные иски, которых никогда не существовало. Выступая перед судом, Шварц открыто признался, что для составления записки использовал этот инструмент, и добавил, что не намеревался вводить суд в заблуждение, но поскольку он никогда раньше не пользовался ChatGPT, то не подозревал, что ответы чат-бота могут быть ложными⁶⁵.

Ситуация с делом «Мата против Avianca» показывает, что может потребоваться больше времени, чем предполагалось, чтобы большие языковые модели смогли отобрать работу у работников умственного труда. Хотя LLM очень хорошо могут обобщать информацию и генерировать текст, который выглядит как написанный человеком, эти модели по большому счету не могут гарантировать точность и достоверность. Кроме того, компании, создающие LLM, должны формировать адекватные ожидания пользователей. Из-за новизны технологии и правдоподобности результатов модели многие люди, такие как Стивен Шварц, не утруждают себя проверкой ответов в надежных источниках информации. Эта проблема существует не только в юридической сфере, но и в других областях, которые часто требуют специальных знаний, например в медицине и финансах.

ChatGPT с его доступным интерфейсом остается одной из наиболее популярных больших языковых моделей в 2023 году. Судя по объему онлайн-диалогов, одной из популярных тем – и, прямо скажем, не самой шокирующей – являются советы от ChatGPT о том, как можно быстро заработать деньги. Поиск в Google показывает десятки статей о том, как заработать деньги с помощью ChatGPT. В декабре 2022 года один из пользователей Reddit опубликовал рекомендации модели о том, как можно стать богатым при минимальном начальном капитале; модель дала десять советов, таких как: купить и продать товар на онлайн-площадках, например на eBay или Etsy, инвестировать в недвижимость, купить арендуемою недвижимость или перепродавать дома⁶⁶. Другие продолжили эксперименты и стали использовать ChatGPT в написании сценариев для социальных сетей и email-маркетинга. Оказалось, что тренд под названием HustleGPT [73] продемонстрировал более высокую эффективность в создании шума и привлечении внимания аудитории и подписчиков, чем в построении солидного бизнеса, что вполне объяснимо. LLM будут использовать общие, вероятностные стратегии, усвоенные во время обучения. Профессор Уортонской школы бизнеса Итан Моллик сказал, что, хотя ChatGPT не может сгенерировать «идеи на миллиард долларов», это отличный ресурс для людей, у которых есть идеи, но мало опыта в решении конкретных задач, таких как написание бизнес-планов или создание финансовых документов, шаблоны которых ChatGPT может изучить и воспроизвести⁶⁷.

Хотя получение финансовых консультаций от чат-бота, безусловно, несет в себе некоторые риски, остается неясным, является ли это более опасным, чем получение советов на любом онлайн-форуме или даже от друга или знакомого, которые не являются сертифицированными финансовыми специалистами. Проблема чат-ботов, работающих на базе ИИ, заключается в кажущейся компетентности. И такая кажущаяся компетентность – классическое поведение больших языковых моделей – может быть опасной во многих других областях. Можно представить чат-бота, который ставит неверный диагноз или назначает лечение, которое серьезно сказывается на здоровье пациента. В исследовании, опубликованном на веб-сайте журнала Американской медицинской ассоциации, был собран набор вопросов от пациентов на медицинских онлайн-форумах, которые задали ChatGPT и квалифицированным врачам, а затем сравнили их ответы. Ответы чат-бота были оценены как более качественные и более чуткие (возможно, из-за того, что ответы модели были значительно длиннее ответов врачей). Авторы пришли к выводу, что «дальнейшее исследование этой технологии оправдано в клинических условиях, когда чат-боты могут писать ответы, а врачи потом будут их редактировать»⁶⁸. Учитывая результаты, примечательно, но неудивительно, что авторы предлагают использовать чат-ботов не для самостоятельного написания ответов, а совместно с врачами в роли редакторов. Даже когда ИИ-системы превосходят человека, есть несколько аргументов в пользу того, что ИИ следует использовать как инструмент, а не средство замены, несмотря на экономические выгоды.

Ученые из медицинской школы Мичиганского университета провели еще одно исследование работы ChatGPT, используя модель GPT‐3.5, и предложили модели набор из 25 вопросов, связанных с диагностикой на рак молочной железы. Три радиолога, которые прошли подготовку в области маммографии, проверили ответы и определили, что они были правильными примерно в 88 % случаев, причем один ответ оказался неверным, поскольку рекомендации по таким случаям были пересмотрены и опубликованы уже после обучения модели⁶⁹. Модель GPT‐4 действительно сдала письменную часть экзамена по радиологии, и, что особенно стоит отметить, она не проходила тонкую настройку по этой теме⁷⁰. Но в неправильных ответах на экзамене GPT‐4 демонстрировала всю ту же кажущуюся компетентность, что и в правильных. Модель знала многое, но критично то, что она не знала, чего именно она не знает. Даже если точность ответов модели в области медицины приблизится к точности специалиста-человека или превзойдет ее, появление галлюцинаций серьезно ограничивает применение LLM в медицине, а также в других областях с высоким риском. Вот почему так важно научиться моделировать неопределенность. LLM, которая дает правильные ответы в 99 % случаев и галлюцинации в 1 %, все равно в конечном счете менее полезна, чем врач, который может правильно ответить на 95 % из того же набора вопросов и признает недостаток знаний по остальным 5 %. В руках начинающего практика, который слепо доверяет модели, этот 1 % может обернуться катастрофой. Другое исследование показало, что, когда модели использовались для обобщения медицинских наблюдений, их результаты не давали полной картины, поскольку даже при отсутствии галлюцинаций они не всегда могли выделить наиболее важные компоненты в наблюдениях, что могло привести к точным, но вводящим в заблуждение результатам⁷¹. Когда модели обращают внимание на неверную информацию или обучаются на предвзятых данных – что, как мы знаем, существует во многих медицинских областях⁷², – то они могут давать некачественные диагнозы или ответы, а из-за непрозрачности процесса генерации неспециалистам будет очень сложно выявить эти ошибки.

Рассмотрим случай с финансовым консультантом. Финансовый консультант, который просто обещает определенный процент прибыли от инвестиций, вызывает меньше доверия, чем тот, кто описывает ряд возможных сценариев, а затем дает рекомендации, которые уравновешивают процент прибыли с толерантностью клиента к риску. Чат-бот вроде ChatGPT будет охотно выдавать базовые финансовые советы и, возможно даже, сможет персонализировать их под запрос пользователя. Однако, когда дело доходит до более технических аспектов, такие вопросы могут выходить за рамки знаний чат-бота, и тогда он сделает лучшую догадку. Если финансовый консультант вводит в заблуждение или не раскрывает соответствующую информацию об инвестициях, на него можно подать в суд. В случае с чат-ботами, за исключением редких случаев, когда контент, созданный с помощью ИИ, сам по себе является незаконным, никто не несет ответственности за эти ошибки, кроме разве что человека, который на них положился.

Адвокат Стивен Шварц, уличенный в использовании ChatGPT в деле «Мата против Avianca», на момент написания этой книги ожидает слушания по обвинению в предоставлении «ложного и мошеннического нотариального заверения». Несомненно, он повторит свое заявление о том, что, будучи незнакомым с генеративным ИИ, не подозревал о способности ChatGPT что-то выдумывать. Конечно, эти технологии новы и удивительны, и многие люди все еще учатся пользоваться ими. Но Шварц работает практикующим юристом уже более тридцати лет. В ответе на ходатайство о прекращении дела, которое вел Шварц, затрагивалось несколько различных юридических вопросов, включая исковую давность, кодекс о банкротстве и международные договоры. Случаи, которые придумал ChatGPT, касались как раз всех этих вопросов. Шварц, что логично, заподозрил неладное, но, вместо того чтобы проверить информацию по другим источникам, он спросил ChatGPT: «Это реальный случай с Варгезе?» Неудивительно, что ChatGPT ответил положительно [74], 73.

Старший редактор журнала Above the Law Джо Патрис написал в своем блоге об этом происшествии следующее:

По мнению Патриса, генеративный ИИ значительно повысит эффективность и точность расследований адвокатов, не заменяя при этом их самих. «Не вините ИИ за неудачи адвокатов, – заключил он. – Как и во многих других технических вопросах, источник ошибки здесь находится между клавиатурой и стулом»⁷³.

В этой главе мы рассмотрели случаи, когда люди либо намеренно злоупотребляют LLM для создания вредоносного кода и дезинформации, либо делают это случайно, не учитывая ограничения этих моделей. Поскольку инструменты генеративного ИИ становятся все более распространенными, то вполне понятно, что профессионалы в самых разных областях начнут экспериментировать с ними и изучать их возможности. Во многих случаях LLM действительно помогают людям повысить производительность: с помощью модели программисты могут писать код, а маркетологи – делать рекламу. Однако невозможно представить, чтобы программист запустил в работу код без тестирования, а маркетолог опубликовал рекламу без вычитывания, – так не сделали бы даже с вариантом, написанным человеком. Мы можем представить, как врачи с помощью LLM составляют предварительные заключения пациентам, юристы готовят записки, а финансовые консультанты пишут письма инвесторам, но – проверяя их достоверность, используя свой опыт или исследовательские навыки. В какой-то момент станет почти не важно, были ли ошибки сделаны ИИ или человеком. Полностью полагаться на эти инструменты – значит отказываться от ответственности, и именно в жестко регулируемых областях такой отказ влечет за собой серьезные профессиональные последствия.

Но это не значит, что вся вина полностью ложится на плечи пользователей. Компании, разрабатывающие LLM, также несут ответственность за их работу. Во-первых, они должны прозрачно говорить об ограничениях своих моделей и избегать нелепых заявлений в их пользу или гарантий, которые невозможно выполнить. В случаях, когда у модели не хватает знаний для ответа, например как у ChatGPT нет информации о текущих событиях [75], то ответ «У меня нет информации в режиме реального времени» или просто «Я не знаю» будет намного удачнее, чем придуманный. Кроме того, разработчики могут дать указания моделям выражать их собственное чувство уверенности в ответе на естественном языке, что обеспечит пользователю гораздо лучший опыт общения с моделью и устранит видимость уверенности и компетентности там, где их нет.

Наконец, точно так же, как ответственные пользователи должны знать об ограничениях инструментов генеративного ИИ, с которыми они работают, ответственные компании должны знать о том, как их инструменты используются. Как и в случае с мониторингом небезопасного контента, это можно сделать неинвазивным методом, без необходимости идентификации пользователей. Компании, выпускающие LLM, должны отслеживать как намеренное, так и случайное ненадлежащее использование. К мерам противодействия в случае целенаправленного ненадлежащего использования относится блокировка пользователя и повышение устойчивости модели к запросам такого типа. В случае непреднамеренного злоупотребления – а оно наблюдается систематически, в тех случаях, когда люди используют модель для задач, с которыми она не может хорошо справиться, – меры противодействия могут включать более детальное обучение пользователей и калибровку их ожиданий, а также внесение изменений в модель для разъяснения ограничений ее возможностей. Конфуций примерно в 500 году до нашей эры сказал: «Настоящее знание – знать степень своего невежества», и это остается актуальным в Век Информации. От того, смогут ли большие языковые модели реализовать эту мудрость сегодня, будет зависеть их полезность в ближайшие годы.

[71] Если текст длинный, то большинство слов – некий повествовательный контекст. Соответственно, большинство слов в нем вполне уместны и будут иметь высокие вероятности. И может присутствовать лишь одна галлюцинация, которая сделает весь текст абсолютно неверным. Но при пословном подсчете общей вероятности ответа это ни на что не повлияет – общая вероятность текста окажется высокой из-за остальной массы правильных слов. – Прим. науч. ред.

[72] Эту функцию иногда называют «извлечением» информации. – Прим. науч. ред.

[73] Hustle – заработок преимущественно незаконными или неэтичными методами. – Прим. пер.

[74] Дело завершилось 7 июля 2023 года в пользу авиакомпании Avianca. Судья наложил санкции на участвовавших адвокатов истца, предписав штрафы и обязательное прохождение курсов повышения квалификации по юридической этике за использование ложных дел. – Прим. науч. ред.

[75] На момент перевода книги есть благодаря функции поиска внешней информации. – Прим. науч. ред.