Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу: читать книгу онлайн полностью и бесплатно

Несмотря на отдельные заявления о наличии сознания у ИИ, нет никаких доказательств этого, хотя остаются открытыми вопросы о том, как может выглядеть искусственное сознание и возможно ли оно в принципе.

Обучение и масштабное внедрение LLM требует огромных вычислительных затрат и, следовательно, большого количества электроэнергии. Сложно подсчитать общее количество выбросов в CO₂‐эквиваленте за весь жизненный цикл LLM, но недавние оценки показывают, что выбросы от двух моделей примерно одинакового размера – BLOOM и GPT‐3 – составили примерно 25 и 502 тонн в CO₂‐эквиваленте соответственно.

В сообществе разработчиков LLM наблюдается стремление к более систематическому предоставлению отчетности о воздействии LLM на окружающую среду. Например, в технические отчеты начинают включать оценки углеродного следа. Также появляются инструменты с открытым исходным кодом, которые помогают измерить энергопотребление.

Утечка модели LLaMa на 4chan изменила правила игры для крупных разработчиков проприетарных LLM: в сообществе свободного ПО начался бум выпуска дешевых и производительных моделей.

Прозрачность и доступность LLM с открытым исходным кодом приводит к разнообразию точек зрения, инновациям и помогает свести к минимуму предвзятость. Однако злоумышленникам легче использовать LLM с открытым исходным кодом, в особенности потому, что в отличие от проприетарных моделей в них не встроены защитные механизмы.

Мы надеемся, что у вас есть возможность и желание участвовать в сообществе разработчиков LLM с открытым исходным кодом и помогать нам создавать открытое и инновационное будущее.

Приложение A. Ссылки на источники

1. Большие языковые модели: вся мощь ИИ

1. «Open-air on Twitter: „Try talking with Catgut, our new AI system which is optimized for dialogue. Your feedback will help us improve it“». Twitter. https://twitter.com/OpenAI/status/1598014522098208769?cxt=HHwWgsCi-bfvpK0sAAAA.

2. W. D. Heaven, «ChatGPT is everywhere. Here’s where it came from». MIT Technology Review, Feb. 08, 2023. https://www.technologyreview.com/2023/02/08/1068068/chatgpt-is-everywhere-heres-where-it-came-from/.

3. G. Kay, «Bill Gates calls ChatGPT „every bit as important as the PC“ or the internet». Insider, Feb. 02, 2023. https://www.businessinsider.com/bill-gates-chatgpt-ai-artificial-intelligenct-as-important-pc-internet‐2023-2.

4. «Leon Musk-funded AI text generator was too dangerous for the public». https://www.fastcompany.com/90308169/openai-refuses-to-release-software-because-its-too-dangerous.

5. A. M. Turing, «I. – COMPUTING MACHINERY AND INTELLIGENCE». Mind, vol. LIX, no. 236, pp. 433–460, Oct. 1950, doi: https://doi.org/10.1093/mind/LIX.236.433.

6. B. Perrigo, «AI Chatbots Are Getting Better. But an Interview With ChatGPT Reveals Their Limits». Time, Dec. 05, 2022. https://time.com/ 6238781/chatbot-cha tgpt-ai-interview/.

7. D. Hall, «The ELIZA Effect». 99 % Invisible, Dec. 11, 2019. https://99percentinvisible.org/episode/the-eliza-effect/.

8. L. Hardesty, «Explained: Neural networks». MIT News | Massachusetts Institute of Technology. https://news.mit.edu/2017/explained-neural-networks-deep-learning‐0414.

9. D. Bahdanau, K. Cho, and Y. Bengio, «Neural Machine Translation by Jointly Learning to Align and Translate». Sep. 01, 2014. (Онлайн). http://arxiv.org/abs/1409.0473.

10. A. Vaswani et al., «Attention Is All You Need». Jun. 12, 2017. (Онлайн). http://arxiv.org/abs/1706.03762 (перевод статьи см. https://habr.com/ru/companies/ruvds/articles/723538/).

11. «Improving Language Understanding by Generative Pre-Training». https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf.

12. «BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding». https://arxiv.org/pdf/1810.04805.pdf.

13. «The LAMBADA dataset: Word prediction requiring a broad discourse context». https://arxiv.org/pdf/1606.06031.pdf.

14. «HellaSwag: Can a Machine Really Finish Your Sentence?» https://arxiv.org/pdf/1905.07830.pdf.

15. «ROCStories and the Story Cloze Test». https://cs.rochester.edu/nlp/rocstories/.

16. «CoQA: A Conversational Question Answering Challenge». https://arxiv.org/pdf/1808.07042.pdf.

17. This is Jeopardy: The Story of America’s Favorite Quiz Show Episode Eight: A Computer Called Watson A Production of Sony Music Entertainment, and Sony Pictures TV. https://www.jeopardy.com/sites/default/files/2023-06/ThisisJeopardyEp8.pdf.

18. «GPT‐4 Technical Report». https://arxiv.org/pdf/2303.08774.pdf.

19. «DEEP LEARNING FOR SYMBOLIC MATHEMATICS». https://arxiv.org/pdf/1912.01412.pdf.

20. «Solving Quantitative Reasoning Problems with Language Models». https://arxiv.org/pdf/2206.14858.pdf.

21. Casetext, «Casetext Unveils CoCounsel, the Groundbreaking AI Legal Assistant Powered by OpenAI Technology». PR Newswire, Mar. 01, 2023. https://www.prnewswire.com/news-releases/casetext-unveils-cocounsel-the-groundbreaking-ai-legal-assistant-powered-by-openai-technology‐301759255.html.

22. PricewaterhouseCoopers, «PwC announces strategic alliance with Harvey, positioning PwC’s Legal Business Solutions at the forefront of legal generative AI». Pw C. https://www.pwc.com/gx/en/news-room/press-releases/2023/pwc-announces-strategic-alliance-with-harvey-positioning-pwcs-legal-business-solutions-at-the-forefront-of-legal-generative-ai.html.