24 AI说（AI-Speak）：自然语言处理

        过去 50 年来，自然语言处理（NLP）一直是人们长期研究的课题。 这促成了我们日常使用的许多工具的开发：

• 文字处理器
• 自动语法和拼写校正
• 自动补齐
• 光学字符识别（OCR）

       最近，聊天机器人、家庭助理和自动翻译工具在各个领域产生了巨大影响。

长时间以来，研究和产业因语言的内在复杂性而停滞不前。20世纪末，由专家编写的某种语言语法可能多达50,000条规则。这些专家系统表明，技术可以带来变革，但成熟强大的解决方案开发起来过于复杂。

另一方面，语音识别需要能够利用声学数据并将其转换为文本。鉴于可能遇到众多种类的发言者，这确实是一项艰巨的任务！

研究人员明白，如果我们有了目标语言的模型，事情会变得更容易。如果我们知道语言的词汇以及句子是如何形成的，那么就可以轻易地从一组候选句子中找到与给定话语相匹配正确的句子，或者从一组可能的单词序列中生成有效的翻译。

另一个关键方面是语义。我们为解决语言问题所做的大部分工作都是肤浅的。算法将根据一些本地语法规则产生答案。如果最终文本毫无意义，那便就此作罢。当我们阅读一些学生的文本时，可能会发生类似的情况——我们可以在没有真正理解课文内容的情况下就能纠正错误！将意义与文本关联起来，可能的话还要与口头句子关联，这是一个真正的挑战。

[AI4T] 编辑距离 (Edit distance)

        2008年有一个令人惊讶的结果¹。一个独特的语言模型可以从大量数据中学习并用于各种语言任务。事实上，这个独特的模型的表现优于为特定任务训练的模型。

该模型是一个深度神经网络。但深度远不如今天使用的模型，却足以让研究界和产业界相信，机器学习，更具体地说，深度学习将成为NLP许多问题的答案。

从那时起，自然语言处理不再遵循模型驱动的方法，而几乎都是基于数据驱动的方法。

传统上，主要的语言任务可以分解为两类 – 模型构建任务和解码任务。

模型构建

       为了可以转录、回答问题、生成对话或翻译，你需要能够知道“Je parle Français”是否确实是法语句子。就像口语一样，人们并不总是准确遵循语法规则，所以上述问题的答案必定是概率性的。一个句子可以或多或少是法语。这允许系统产生不同的候选句子（作为声音的转录或句子的翻译），并为每个候选句子的概率进行打分。我们可以得出分数最高的句子，或者将分数与其他信息源结合（我们可能还对句子的内容感兴趣）。

语言模型可以做到这一点，概率是根据机器学习算法构建的。当然，数据越多越好。对于某些语言，有大量数据可以用来构建语言模型。对于其他语言，情况并非如此，通常是资源不足的语言。

在翻译的情况下，我们希望不是两个而是三个模型：每种语言的一个语言模型，以及另一个翻译模型，告诉我们语言片段的更好翻译可以是什么。当数据稀缺时，这些模型难以形成。如果为常见的语言对构建模型更容易，那么对于不常一起使用的语言（如葡萄牙语和斯洛文尼亚语）则不是这样。一种典型的解决方法是使用中枢语言（通常是英语）进行翻译——从葡萄牙语翻译成英语，然后从英语翻译成斯洛文尼亚语。随着错误的累积，这将导致较差的结果。

解码

       解码是算法获取输入序列（可以是信号或文本）并通过查阅模型做出决策的过程。该决策通常是输出文本。这里有一些算法考虑——在许多情况下，转录和翻译需要实时发生，减少时间延迟是一个关键问题。所以，AI对此还有很大的发展空间。

端到端

        如今，分别构建组件并稍后组合的方法已被端到端方法所取代。在这种方法中，系统将通过一个独特的模型来转录/翻译/解释输入。目前，这样的模型是通过深度神经网络训练的，这些网络非常的庞大。据报道，当前最大的GPT3模型包含上亿个参数！

让我们试着理解这个过程背后的直觉。假设我们有一些数据，这些原始数据可以以某种方式进行编码。但编码可能是冗余的，甚至可能是昂贵的。现在再让我们构建一个特定的机器，称之为自动编码器（见左图）。这台机器将能够接收文本，将其压缩成一个小向量（这是编码器部分），然后解压缩向量（解码器部分），并得出一个与原始文本在某种程度上接近的文本。这个机制的想法是使中间向量具有意义，拥有两个理想属性——一个相对较小的向量，“包含”了初始文本中的信息。

未来

可能很快就会推出的端到端过程的例子，将具有执行以下任务的能力——它将听到您说的语言，转录您的文本，将其翻译成您不知道的语言，训练语音合成系统根据您的声音，用您自己的声音说出新句子中的相应文本。这里有两个由西班牙瓦伦西亚理工大学的研究人员制作的视频示例，视频中使用了说话者自己的声音模型来进行配音。

[AI4T] 博士答辩演示 4：零样本扬声器的开放教育资源录音应用 (Zero-shot Speaker Adaptation for OER dubbing)

[AI4T] 博士答辩演示 1：瓦伦西亚理工大学的跨语言语音克隆 (Cross-lingual Voice Cloning at UPV)

对教育的一些影响

       自然语言处理的稳步进展引人注目。十年前，我们还会嘲笑AI给出的翻译。但今天，我们越来越难以发现明显的错误。语音识别和字符识别技术也在快速改进。

语义挑战仍然存在，回答需要深入理解文本的问题仍然不太正确。但事情正在朝着正确的方向发展。这意味着教师们如下的期待很快就会成为现实的，如果它们还没有实现！

• 一个学生将拿到一个复杂的文本并（通过AI）获得一个简化版本；文本甚至可以是个性化的，并使用学生习惯的术语、词汇和概念；
• 一个学生将能够找到一个文本并复制它，获得一个内容相同但无法被防抄袭工具检测到的文本；
• 世界各地制作的视频都可以通过自动配音以各种语言来进行观看。这意味着我们的学生将除了接触到用我们的语言制作的学习材料，也将接触到最初为其他文化中的学习系统所设计的材料；
• 写论文或作文可能会成为过去，因为工具将可以就任何主题进行写作。

      很明显，人工智能还远远称不上完美。专家会发现，即使语言正确，思想的流动也会出现问题。但让我们面对现实吧，在教育过程中，我们的学生要多长时间才能达到这样的水平？

¹ Collobert, Ronan, and Jason Weston. A unified architecture for natural language processing: Deep neural networks with multitask learning. Proceedings of the 25th international conference on COLIN DE LA HIGUERA AND JOTSNA IYER Machine learning. 2008. http://machinelearning.org/archive/icml2008/papers/391.pdf. 注意：此文献引用是出于历史原因而给出的。但读起来很难！