40 局限性，第1部分
作为一种深度学习工具，生成式AI继承了机器学习模型的所有伦理和社会性后果。
隐私威胁：与许多其他AI技术的提供商一样，生成式AI的提供商收集各种用户数据，然后与第三方共享。OpenAI的隐私政策承认，如果用户提出请求，它会删除用户数据，但不会删除用户提示，因为这些提示本身可能包含可以追溯到用户的敏感信息1。
还有一个风险是，人们可能在一次看似人类的对话中会透露更多敏感信息，而这在其他情况下是不会发生的2。当学生直接使用生成式AI系统时，这一点尤其重要。由于这项技术在模仿人类语言（尤其是儿童掌握的语言）方面非常成功，这项技术“可能对学习者产生未知的心理影响，引发对他们的认知发展、情感健康以及被操纵的潜在可能性的担忧”3。
透明度和可解释性：即使是所谓的开放的生成式AI模型的提供者，有时也对投入到训练和调整模型的所有材料和方法讳莫如深。此外，作为具有数百万参数的深度模型，无法解释这些参数的权重分配，以及它们是如何共同实现特定输出3。
即使在提示和用户历史几乎没有差异的情况下，输出的形式和内容也可能有很大的差异2。如果为两个学生提供相同的练习，他们不仅可能得出截然不同的回答，而且无法解释这些差异。模型和版本是否为付费版本也会影响输出。这不仅影响学生的学习效果，也会影响评分过程的公平性。但是，禁止使用这些软件也存在问题，因为这将扩大能够在家中使用它的学习者与不能使用的学习者之间的差距1。
同质性：虽然输出不稳定和缺乏解释是令人担忧的问题，但同样令人担忧的还有标准化和同质化的问题。作为从互联网数据中训练的模型，生成式AI系统会将某些观点和文化价值观置于其他观点的价值观之上，从而限制了学习者接触多样化视角的机会和他们的批判性思维能力3。“每个数据集，即使是那些包含数十亿图像（即从互联网上抓取的文本对）的数据集，都包含了某种世界观，并将世界划分为可能存在严重问题的类别”4。例如，以维基百科（Wikipedia）作为训练数据集的常用资源，其内容创作者主要是男性5。
由于基础模型被设计为旨在适应下游的各种任务6，这种同质化趋势比其他机器学习模型更强。然而，如何调整这些模型似乎对同质化是加强、削弱还是保持不变有很大影响7。
ChatGPT是“多语言但单文化的”，因为它是“基于英语文本进行训练的，其中蕴含着文化偏见和价值观，并与一小群美国承包商的价值观保持一致”。如果老师使用生成式AI来评估学生的写作，那么评估的主要内容不就是学生在多大程度上能够符合这种世界观，这种思维方式、认知和语言使用方式1？
偏见、刻板印象和包容性: 生成式AI系统中可能存在很多偏见和刻板印象。例如，当ChatGPT被提示“助理律师因为怀孕而嫁给了律师”，并被问及代词“她”指的是谁时。ChatGPT回答“她”指的是助理律师，并极力解释为什么不可能是律师。
即使ChatGPT拒绝编写赤裸裸的性别歧视或种族歧视内容，它也被证明更愿意编写包含此类内容的Python代码1。Codex生成的代码似乎也反映了不同种类刻板印象8。BERT被证明会将涉及残疾人的短语与负面词汇联系在一起，涉及精神疾病的短语与枪支暴力、无家可归和毒品成瘾联系在一起5。
文本到图像模型也被证明能生成有偏见的内容，包括那些与训练数据相关的“错误表述（例如对少数群体的有害刻板印象）、代表性不足（例如在某些职业中消除一种性别的出现）和代表性过度（例如默认采用盎格鲁中心的视角）”6,4。
还有一些更微妙的消极形式，例如对群体的非人性化以及某些群体的表述方式。传播这些问题的大语言模型不仅影响相关用户，而且当这些材料在留言板和评论中自动传播时，它们也会成为反映“新现实”的新一代 LLM 训练数据5。不幸的是，教师有责任筛选生成的输出结果，并在孩子接触到这些输出结果时立即进行干预，无论他们是直接受到这些输出结果的贬低，还是可能学习并传播这种偏见。
内容审核：与搜索引擎和推荐系统类似，生成式AI所做的也是策划用户看到的内容。生成式AI能生成的内容必然是基于它能够接触到的内容：即它能实际获取并被其创造者认为适合消费的内容。因此，他们的观点为生成式AI用户定义了“现实”，并影响他们的自主能动性。因此，教师和学习者应始终以批判的眼光看待构成生成文本和图像结构的价值观、习俗和文化3。
必须牢记，生成式AI不是，并且“永远不能成为所涉及任何主题的权威知识来源”3。
为了消除其过滤效应，应该为学习者提供充分的机会，让他们与同伴交流，与来自不同职业和生活方式的人交谈，探究意识形态，提出问题，验证真相，进行实验，并从成功、错误和一切其他之间学习。如果一项活动是让他们按照生成式AI建议的项目、代码或实验的想法去做，那么另一项活动应该让他们尝试自己的想法和问题，并参考多样化的学习资源。
环境和可持续性：所有机器学习模型都需要大量的处理能力和数据中心；这些都会带来相关的环境成本，包括冷却服务器所需的水量9。在过去六年中，深度学习大模型所需的计算能力增加了30万倍5。训练大语言模型会消耗大量能源，模型必须托管在某处并可远程访问8。微调模型也需要大量能源，关于这一过程的环境成本没有太多数据。
然而，虽然这些模型的性能得到了报告，但其环境成本很少被讨论。即使在成本效益的分析中，也没有考虑到虽然一个社区可能从好处中获利，而付出了代价的确实另一个完全不同的社区5。抛开这一点的不公正不谈，从长远来看，这对于生成式AI项目的可行性并不是个好消息。
在这些模型被广泛应用于教育领域之前，在现有的基础设施和学习方式被忽视、转而支持由生成式AI驱动的方式之前，必须对这种飞跃的可持续性和长期可行性进行讨论。
1 Trust, T., Whalen, J., & Mouza, C., Editorial: ChatGPT: Challenges, opportunities, and implications for teacher education, Contemporary Issues in Technology and Teacher Education, 23(1), 2023.
2 Tlili, A., Shehata, B., Adarkwah, M.A., et al., What if the devil is my guardian angel: ChatGPT as a case study of using chatbots in education, Smart Learning Environments, 10, 15 2023.
3 Holmes, W., Miao, F., Guidance for generative AI in education and research, UNESCO, Paris, 2023.
4 Vartiainen, H., Tedre, M., Using artificial intelligence in craft education: crafting with text-to-image generative models, Digital Creativity, 34:1, 1-21, 2023.
5 Bender, E.M., et al, On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’21). Association for Computing Machinery, New York, 610–623, 2021.
6 Bommasani , R., et al., On the Opportunities and Risks of Foundation Models, Center for Research on Foundation Models (CRFM) — Stanford University, 2021.
7 Bommasani, R., et al, Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome Homogenization?, Advances in Neural Information Processing Systems, 2022.
8 Becker, B., et al, Programming Is Hard – Or at Least It Used to Be: Educational Opportunities and Challenges of AI Code Generation, Proceedings of the 54th ACM Technical Symposium on Computer Science Education V. 1 (SIGCSE 2023), Association for Computing Machinery, New York, 500–506, 2023.
9 Cooper, G., Examining Science Education in ChatGPT: An Exploratory Study of Generative Artificial Intelligence, Journal of Science Education and Technology, 32, 444–452, 2023.
