38 生成式AI的要素

      最近的自然语言对话系统（如ChatGPT、Bard和LLAMa2-chat）利用大语言模型在短时间内大受欢迎，这引发了人们对多个方面的激烈辩论，这些争论至今仍未解决。 不可否认，探讨一个由相对简单的数学方程控制的计算系统如何能够产生被许多人称为“智能”的行为，这无疑是一个迷人的话题。

        然而,本章不会试图对诸如”大语言模型是否具有我们可定义为’智能’的行为”、”人类智能的本质是什么”、”我们如何定义创造力”等问题提供答案。尽管这些问题很有趣,但要想正确回答它们,需要进行更深入的调查研究。

相反,我们将尝试提供一个面向非专业人士的概述,以促进人们对大语言模型背后机制的理解。只有通过对这些机制有更深入的认知,人们才能够理解它们的潜力以及可能带来的风险,并促进它们在教育等领域的正确使用。

 这里需要澄清一个广泛存在的误解,即这类系统基本上就是由问答对组成的大型数据库。这种错误观点源于多年来建立聊天机器人系统所采用的常见做法(我们建议您阅读相关章节)。但同时,这一想法也无法体现出大语言模型的生成性特点。

语言模型是一种统计模型,能够根据给定的上下文(通常由预期单词前面的一组单词定义),计算出某个文本片段(通常是一个单词)出现的概率。

使用纯统计方法构建的模型(如马尔可夫链,也称为n-gram模型)¹,随着时间的推移逐渐被基于神经网络的语言模型所取代¹。这些模型在网络结构和规模方面都发生了演化。

大型语言模型（LLMs）之所以被这样命名，是因为它们基于在海量数据基础上训练出来的大型神经网络。

[AI4T] 为什么数据对人工智能如此重要？(Why is data so important for AI?)

因此，我们在研究之初就声明，语言模型生成文本，而不是简单地从预构建的知识库中检索它们。

LLM的生成性及其本质上的专家直觉性质使得我们难以预测它们对用户输入的响应方式。这一特性反映了人们对这类系统的普遍不信任，因为它们可能会生成虚假或不准确文本。

因此，就机器理解和生成文本的能力而言，这一特性既是一项伟大技术成就，同时也是这类技术的主要危险之一。

然而，让我们试着去发现这样的系统。

像任何技术革命一样，这一突破背后的因素是多方面的。为简化起见，我们在提及主要因素的同时，也为读者提供了一些参考资料，以指导他们进行后续的深入研究：

• 网络规模：这是以网络内可训练参数的数量来衡量的。大语言模型是深度神经网络，其节点和层的数量惊人。为了给出一个数量级，该领域的一些专家将参数超过了100亿的语言模型称为“大”模型。为了给您一个具体的量级，GPT3模型有1500亿个参数，而LLAMa v2的最大版本大约有700亿。
• 网络架构：成功与否取决于网络的规模，以及神经网络的节点和不同层级之间的连接方式。经过再次简化，我们可以将变换器网络和注意力机制确定为主要的架构创新，以帮助理解有效性的提升。
• 可用于训练的数据量：大量可用的数据无疑是训练此类模型的一个基本要素，但实际上，这一点在引入此类模型之前就已存在多年。因此，关键的创新因素在于训练技术以及从数据到训练集的选择和准备过程。这就是所谓的自我监督学习。
• 当前的计算能力：显然，计算能力的提高对扩大这些网络的规模发挥了决定性作用。经验似乎表明，规模因素正是这些行为出现的基本参数之一。
• 调整机制：另一个经常被忽视的因素是调优机制，它是构建此类模型过程中的最后一步。具体而言，我们指的是具有人类反馈和排名的强化学习机制。这些机制有助于定义模型，并用于产生更符合用户意图的响应。除此之外，我们还可以添加微调过程，以便在执行特定任务时对这些网络的行为进行专业化和改进。
• 安全机制：除深度学习模型外，还有一些专门技术，旨在减轻系统在不安全输入时的脆弱性，并防止在安全和不安全输入时出现不希望的行为。

此时，了解了LLM的不同特点，我们只需在我们的教育环境中对这些系统进行测试，来探索它们的潜力。因此，尝试与ChatGPT或Bard对话，帮助创建新的练习并根据我们学生的具体需求进行调整，创建包含相关内容的新教案，等等。这取决于你的创造力以及你如何学会与这些系统对话。

注意：每个因素都需要适当阐述。如有兴趣，我们将提供一份参考资料清单。

¹ Bengio, Y., Ducharme, R., & Vincent, P., A neural probabilistic language model. Advances in neural information processing systems, 13, 2000.

² Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I., Attention is all you need, Advances in neural information processing systems, 30, 2017.