20 数据相关问题：偏见与公平

偏见是对某个身份的偏见，无论是好还是坏，有意还是无意¹。公平是对这种偏见的反驳：无论身份和处境如何，每个人都应受到公平对待。因此，必须制定并遵循明确的流程，以确保每个人都能受到公平对待，拥有平等的机会¹。

以人为本的系统往往包含大量的偏见和歧视。每个人都有自己独特的观点和偏见。这些系统也是黑匣子，其决策（例如如何对答卷进行评分）可能难以理解。但我们已经为此制定了战略并建立了相应的机制来对此类做法进行预警和质疑。

自动化系统有时被誉为是人类主观性的万灵药：基于数字的算法，它们怎么可能会有偏见呢？基于有缺陷的数据，以及其他因素，算法不仅能够捕捉并学习到关于性别、种族、文化或残疾的现有偏见，它们还可以放大这些已存在的偏见^1,2,3。即使它们不被专利壁垒所限制，它们也会因为缺乏可解释性而无法被追问其行为的原因。这一点在基于深度神经网络等某些系统中尤为明显。

AIED系统存在偏见的案例

1. 当程序员编写基于规则的系统时，他们的个人偏见和刻板印象可能会体现在系统中¹。
2. 基于数据的算法可能不会向女性建议基于STEM专业的职业道路，因为在STEM毕业生的数据库中女性学生较少。女性数学家数量较少，是因为现有的刻板印象和社会规范而导致的，还是由于女性的某种固有属性所导致的？算法无法对这两种情况进行区分。由于现有数据反映了当今的刻板印象，基于这些数据训练的算法也因此复制了现有的不平等和社会动态⁴。进一步的讲，如果实施这些建议，更多的女孩将选择非STEM科目，新的数据也将反映这一点，这就构成了一种自我实现的预言³。
3. 在训练数据集中，来自在数据上代表性不足的文化中的学生可能有不同的行为模式和不同的展示动机方式。学习分析会如何为他们计算指标呢？如果数据不能代表所有类别的学生，则根据该数据进行训练的系统可能会惩罚那些行为倾向不是该程序优化奖励的少数人群体。如果我们处理不当，学习算法就会根据多数文化进行泛化，导致对少数群体做出的分析具有很高的错误率^4,5。这样的决定可能会打击那些能带来多样性、创造力和独特才能以及那些有不同经历、兴趣和动机的人²。
4. 一个英国学生被美国的作文批改软件评判。他们会因为自己的拼写错误而受到不利评判。对本来为另一个国家和另一个环境设计和训练的系统来说，处理本地的语言、拼写和口音的变化、当地地理和文化不同时总是很棘手。
5. 一些老师有意或由于社会联系产生的偏见而对在某个班级或地区常见的短语惩罚。如果论文评分软件基于这些老师评分的论文进行训练，它也会生成同样的偏见。
6. 机器学习系统需要一个目标变量和代理变量来进一步优化。我们假设高中考试成绩是学业成绩的代表。该系统现在将进行专门训练，从而获取学生在考场压力和有限环境下表现良好的模式。当为学生推荐资源和练习题时，系统会促进学生提升考试成绩，而不是提升知识量。虽然这在当今的许多教室中可能也是如此，但传统方法至少可以支持多类目标⁴。
7. 自适应学习系统向学生建议资源，从而弥补技能或知识的缺陷。如果这些资源需要进行购买或需要家里有网络才能使用，那么对于那些无法遵循建议的学生来说是不公平的：“当算法为学生给出提示、后续步骤或资源时，我们必须检查它提供的帮助是否公平，因为如果一个群体系统性地没有得到有用的帮助，这就是一种歧视”²。
8. 根据学生当前的知识水平和喜好进行个性化教育的概念本身可能构成偏见¹。我们同时是不是也在阻止这个学生探索新的兴趣和选择？这是否会使他或她变得单一化，获取整体技能和知识的机会减少吗？

教师该如何减少AIED偏见带来的影响？

研究人员不断提出并分析过减少偏见的多种方法，但并非所有方法都易于实施。公平比减少偏见更难实现。

例如，如果现有数据充满了刻板印象——”我们是否有义务质疑数据，设计我们的系统使其符合某种公平行为的理念，不管这是否能得到当前可用数据的支持？“⁴。解决办法总是会有争议和反对，一些干预措施在减少一种偏见的同时可能引入另一种偏见！那么，教师对此能做些什么呢？

1. 质疑卖家 – 在订阅AIED系统之前，询问用于训练该系统的数据集的类型，它是在哪里、由谁、为谁设计和评估的。
2. 投资于AIED系统时，不盲目接受指标。比如百分之五的总体准确率可能掩盖了模型对于少数群体表现不佳的事实⁴。
3. 查看文档 – 采取了哪些措施（如果有的话）来检测和对抗偏见并确保公平¹？
4. 了解开发者 – 他们是否仅仅是计算机科学专家？教育研究人员和教师是否也参与其中了？系统是否仅仅基于机器学习，还是整合了学习理论和实践²？
5. 优先选择透明和开放的学习者模型，这允许您修改决策²。许多AIED模型具有灵活的设计，这使教师和学生可以监控系统，并可以要求解释或忽略机器的决定。
6. 检查产品的可访问性。是否是每个人不论能力如何都能平等地访问它¹？
7. 注意使用技术的效果，了解长期或者短期会对学生产生的影响，并在必要时准备提供帮助。

尽管AI技术存在问题，我们仍可以对AIED的未来持乐观态度：

• 随着对这些主题认识的加深，检测和纠正偏见的方法也在正在研究和试验；
• 基于规则和基于数据的系统可以揭示现有教育实践中隐藏的偏见。这样暴露出来的偏见可以随后得到处理；
• 基于AI系统定制化的潜力，教育的许多方面也许都可以进行定制。资源可以对应学生的知识和经验。也许它们还可以整合本地社区和文化资产，以满足特定的本地需求²。

¹ Ethical guidelines on the use of artificial intelligence and data in teaching and learning for educators, European Commission, October 2022.

²U.S. Department of Education, Office of Educational Technology, Artificial Intelligence and Future of Teaching and Learning: Insights and Recommendations, Washington, DC, 2023.

³Kelleher, J.D, Tierney, B., Data Science, MIT Press, London, 2018.

⁴ Barocas, S., Hardt, M., Narayanan, A., Fairness and machine learning Limitations and Opportunities, MIT Press, 2023.

⁵ Milano, S., Taddeo, M., Floridi, L., Recommender systems and their ethical challenges, AI & Soc 35, 957–967, 2020.