41 局限性，第2部分
生成式AI特有的危险包括：
不准确性和幻觉：生成模型在输出连贯、流畅、类似人类的语言方面堪称奇迹。但这些缺乏深思熟虑的话语中，隐藏着事实错误、有限的真相、捏造的参考资料和纯粹的虚构——我们称之为“幻觉”1,2。在ChatGPT界面的底部，所有会话的下方都标有这样一则提示：ChatGPT可能会产生关于人物、地点或事实的不准确信息。ChatGPT的准确性约为60%或更低，具体取决于主题2,3。
更糟糕的是，ChatGPT往往会在没有证据或限定的情况下呈现真相。当被特别要求提供参考文献时，它可以凭空捏造出根本不存在的来源，或者不支持文本中呈现的真相4,2。然而，许多用户倾向于像使用“互联网搜索引擎、参考图书管理员，甚至是维基百科”5那样使用它。当老师或学生使用它来获取他们之前没有了解的信息时，他们可能学到错误的东西或向他人展示错误的知识1,5。
当今LLMs的成功在于它们使用的参数数量和训练数据量之多，它们用这些来模拟人类交流中词语的组合方式。老师和学生应始终牢记，对话模型生成的文本与这些模型对该文本的理解无关，甚至与现实的概念无关1。虽然它们可以在不同程度上成功地操纵语言形式，但它们无法获得这种形式背后的含义6。“人类式的思考基于可能的解释和纠错，这一过程逐渐限制了可以合理考虑的可能性……人类在理性推测解释的种类方面受到限制，而机器学习系统既可以学习地球是平的，也可以学习地球是圆的”7。
权力和控制的转移或恶化：生成式AI依赖于大量的数据、计算能力和先进的计算方法。只有少数公司、国家和语言可以获得所有这些。然而，随着越来越多的人采用这些技术，大部分人类被迫遵循它们的路线，因此被异化并被迫失去表达能力1。
创造者保留了权力，却将责任外包。例如，净化ChatGPT输出的责任落在了肯尼亚工人身上，“他们必须筛选出暴力和令人不安的内容，如性虐待、仇恨言论和暴力”4。
版权和知识产权侵犯：生成系统的大部分技术知识都被企业屏障所保护。然而，这些数据却是取自公众。在未经被拍摄者知情或同意的情况下，可以使用某个平台上公开的图片吗？例如，如果某人的脸被用于种族主义宣传怎么办8？阻止生成式AI的唯一方法是将内容私有化吗？
除了公共数据之外，语言模型还可以取用付费屏障后的内容并为用户进行总结。众所周知，图像模型能够将清晰显示水印的图片拼凑在一起。还有知识共享许可协议的问题，即作者向公众公开其作品，但每次使用时必须标明出处，而模型可能会也可能不会这样做。
对于教师来说，这引发了道德、伦理和法律问题。如果他们使用模型生成的内容，他们是否可以自由使用并发布它？如果它受版权保护或根据知识共享许可协议授权，谁将承担责任9？用户如何知道他们正在使用他人的财产1？遗憾的是，关于这个话题还没有明确的指导方针。在指令出台之前，我们只能静观其变，小心行事。
在教育中使用生成式AI的长期影响：尽管生成式AI在教育中的应用方式多种多样，但其长期影响尚不明确：
- 既然写作也构建了思考，那么按照生成式AI的大纲进行写作会对学生产生什么影响1？
- 它会影响思考范围、批判性思维、创造力和解决问题的技能吗1？
- 它会使学生因为可以轻松获得信息和解决方案而过度依赖它吗1,10,9？
- 学生是否仍然有动力去探索世界并得出自己的结论10？
- 它会让我们陷入与我们周围的现实脱节的世界观中吗？
- 我们在精通提示技巧的路上每迈进一步，将会失去多少技能？
专注于高阶技能并将繁琐工作交给AI，这听起来似乎是个好主意，但重复练习某些基础的低阶技能仍是不可或缺的，因为这种坚持甚至挫折感通常是获得高阶技能所必需的1,8。这也是学习者在进行基本计算时减少对技术的依赖所必需的，因为这有损于人类能动性和他们独自面对世界的信心。
一些防范潜在长期危害的对策可能是：
- 将语言模型仅作为一个起点，用来生成各种可能性并探索不同的视角，而非作为满足所有需求的一站式解决方案10；
- 通过直接实验或其他来源验证模型的输出；
- 始终让教师参与其中10；
- 促进社会性学习，并增加接触人类创造性成果的机会1；
- 积极寻找其他教育资源和屏幕外活动10；
- 尝试寻找其他解释和思考模式及方法。
我们应该始终警惕将人类和机器之间划上错误等号的倾向，甚至承认生成式AI的优越性。例如，人们常说人类无法像AI那样处理大量数据。考虑到人类在模式识别、外推和创造力方面的技能，我们是否有必要处理千兆字节的数据？因为AI可以在一瞬间分析100本书的内容，是否就意味着学生不会享受或受益于其中一本书？做事更快是否一定是一件好事，一定是我们想要采纳的衡量标准吗8？
我们必须牢记，孩子们不是为了当今的世界和技术而受教育。他们是为了10-15年后的世界做准备的，或者说是为他们自己准备技能的8。ChatGPT在短短一年内带来了如此大的革命性变化，这更说明了教育应该超越ChatGPT，而不是为了ChatGPT而教育。学生需要具备独立思考的能力、适应变化的韧性以及面对生活新挑战的成长能力。
教育的终极目标不能是培养出能够高效的智能机器操作员或生产线上的工人，而是帮助形成具有自由思考、创造性、韧性强的和全面发展的公民。在决定如何最好地采用一项技术以实现这一目标之前，有一些关键问题需要深思熟虑，有一些长期影响需要甄别。无论AI是否具有生成性，都不能将这项重要任务交给AI。
1 Holmes, W., Miao, F., Guidance for generative AI in education and research, UNESCO, Paris, 2023.
2 Tlili, A., Shehata, B., Adarkwah, M.A. et al, What if the devil is my guardian angel: ChatGPT as a case study of using chatbots in education, Smart Learning Environments, 10, 15 2023.
3 Lewkowycz, A., Andreassen, A., Dohan, D. et al, Solving Quantitative Reasoning Problems with Language Models, Google Research, 2022.
4 Cooper, G., Examining Science Education in ChatGPT: An Exploratory Study of Generative Artificial Intelligence, Journal of Science Education and Technology, 32, 444–452, 2023.
5 Trust, T., Whalen, J., & Mouza, C., Editorial: ChatGPT: Challenges, opportunities, and implications for teacher education, Contemporary Issues in Technology and Teacher Education, 23(1), 2023.
6 Bender, E.M., et al, On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’21). Association for Computing Machinery, New York, 610–623, 2021.
7 Chomsky, N., Roberts, I., Watumull, J., Noam Chomsky: The False Promise of ChatGPT, The New York Times, 2023.
8 Vartiainen, H., Tedre, M., Using artificial intelligence in craft education: crafting with text-to-image generative models, Digital Creativity, 34:1, 1-21, 2023.
9 Becker, B., et al, Programming Is Hard – Or at Least It Used to Be: Educational Opportunities and Challenges of AI Code Generation, Proceedings of the 54th ACM Technical Symposium on Computer Science Education V. 1 (SIGCSE 2023), Association for Computing Machinery, New York, 500–506, 2023.
10 Enkelejda, K., et al, ChatGPT for Good? on Opportunities and Challenges of Large Language Models for Education, EdArXiv, 2023.
