18 AI说（AI-Speak）：基于数据的系统，第2部分
设计实施一个以数据为中心的项目可以分解为六个步骤。这些步骤之间有很多来回往复。为确保正确，整个过程可能需要多次迭代。
要使在课堂上有效，该过程的每一个步骤都需要多学科团队，包括教师、教育学专家和计算机科学家的参与1。需要专家来确定需求并设计流程，设计和准备数据，选择机器学习算法，批判性地解释结果并规划如何使用应用程序2。
1) 理解教育背景
设计AIED工具的第一步是了解课堂上的需求。目标一旦确定，就需要关注如何去实现这些目标：考虑哪些因素和忽略哪些因素。任何基于数据的解决方案都有偏向于易于计算和标准化的现象3。因此，做出每个决定都必须经过使用该工具的教师，能够确保所有决定都基于已验证过的理论的教育学专家，和了解算法如何工作的计算机科学家的共同讨论。
前两个步骤之间有很多来回往复，因为数据的可用性决定事件的可能性2。此外，教育工具的设计还受到法律的限制，这些法律对数据的使用和可使用的算法类型有所限制。
2) 理解数据
一旦确定了目标和有贡献性的因素，焦点就转移到需要什么数据，如何获取和标注数据，如何处理隐私以及如何衡量数据质量3。为确保机器学习应用程序的成功，数据集必须足够大，多样化且有着良好的标注。
机器学习需要数据来训练模型，也需要数据来进行工作或预测。一些机器学习任务，如面部识别和物体识别，已经有很多可供训练的私有和公共数据库。
如果提供的数据尚不可用，则可能需要添加现有数据集或重新标注现有数据集以满足项目的需求。否则可能需要从头开始创建和标注专用数据集。学生在使用应用程序时生成的数字痕迹也可以作为数据来源之一。
无论如何，都必须仔细识别与问题相关的数据和特征2。不相关或冗余的特征可能会使算法发现错误模式并影响其系统的性能2。由于机器只能在给定的数据中发现模式，因此对数据集的选择也隐含地定义了问题是什么4。如果大量数据可用，就必须借助统计技术来选择一个子集，并对数据进行验证以避免出现错误和偏见。
举一个训练数据失败的例子。在早期的计算机视觉中，曾训练出一个模型用于区分俄罗斯和美国坦克的图片。后来，发现它的准确率高是因为俄罗斯坦克的照片是在阴天拍摄的，而美国坦克的照片是在晴天拍摄的4。
因此，所选的数据集必须要验证其质量，关注它是如何创建的，包含什么，收集、清理和标注、分布和维护的过程是什么4。要问的关键问题包括：数据集是否适合其预定目的和数据集是否隐藏危险使模型产生偏见或歧视3。
3) 准备数据
数据准备涉及通过合并来自不同地方的可用数据创建数据集，调整不一致的情况（例如，某些测试分数可能以 1 到 10 分呈现，而其他分数则以百分比形式呈现），并查找缺失值或极端值。然后，通过进行自动化测试来检查数据集的质量。这包括检查隐私是否泄露和未预见的相关性或刻板印象2。在这个阶段，数据集也可能被分成训练数据集和测试数据集。前者用于训练模型，后者用于检查性能。在训练数据集上进行测试就像是在考试前一天发放考卷作为家庭作业，学生的考试表现无法反映他们的理解2。
4) 建模
在这一步中，算法被用来提取数据中的模式并创建模型。通常，会通过测试不同的算法来查看哪种最有效。然后这些模型可以用来预测出新数据。
在大多数项目中，初始模型会揭示出数据中的问题，需要在步骤 2 和步骤 3 之间来回往复2。只要数据的特征与输出值之间存在强相关性，就存在使用机器学习算法生成良好预测的可能。
这些算法通过使用高级统计、计算技术来处理数据。程序员必须调整设置，并尝试不同的算法以取得最佳结果。以检测作弊的应用程序为例：假阳性（false positive）是指未作弊的学生被标记。假阴性（false negative）是指作弊的学生没有被标记。系统设计者可以调整模型，以最大程度地减少假阳性（可能会漏掉一些作弊行为）或假阴性（甚至标记可疑案例）5。因此，所做的调整取决于我们希望系统做什么。
5) 评估
在建模阶段，可以调整每个模型以提高训练数据集预测准确性。然后在测试数据集上测试模型，并选择一个模型使用。还要根据这个模型会如何满足教育需求来进行评估：是否满足第1步中设定的目标？有没有任何未预见的问题？质量如何？是否可以改进或以另一种方式完成？是否需要重新设计？主要的目标是确定应用程序是否可以在学校中部署。如果不行，整个过程就需要再一次重复2。
6) 部署
整个过程的最后一步是了解如何将基于数据的应用程序与学校系统集成，以在技术基础设施和教学实践方面获得最大收益。
虽然这是最后一步，但整个过程是迭代性的。部署后，应定期审查模型，检查其是否仍然与背景相一致。需求、过程或数据捕获模式可能会发生变化，影响系统的输出。因此，应根据需要进行审查和更新应用程序。系统应持续监控其对学习、教学和评估带来的影响6。
关于教育者使用人工智能和数据进行教学和学习的伦理指南强调，在人工智能系统的整个生命周期内，甚至部署之前，学校都应该与AI服务提供商保持联系。应该要求提供清晰的技术文档，并说明不清楚之处。应就支持和维护达成协议，并确保供应商遵守所有法律义务6。
注意：这里列出的步骤和插图均改编自CRISP-DM数据科学阶段和任务（基于1999年Chapman, Clinton, Kerber等人的研究，图3）2。
1 Du Boulay, B., Poulovasillis, A., Holmes, W., Mavrikis, M., Artificial Intelligence And Big Data Technologies To Close The Achievement Gap, in Luckin, R., ed. Enhancing Learning and Teaching with Technology, London: UCL Institute of Education Press, pp. 256–285, 2018.
2 Kelleher, J.D, Tierney, B, Data Science, London, 2018.
3 Hutchinson, B., Smart, A., Hanna, A., Denton, E., Greer, C., Kjartansson, O., Barnes, P., Mitchell, M., Towards Accountability for Machine Learning Datasets: Practices from Software Engineering and Infrastructure, Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, Association for Computing Machinery, New York, 2021.
4 Barocas, S., Hardt, M., Narayanan, A., Fairness and machine learning Limitations and Opportunities, MIT Press, 2023.
5 Schneier, B., Data and Goliath: The Hidden Battles to Capture Your Data and Control Your World, W. W. Norton & Company, 2015.
6 Ethical guidelines on the use of artificial intelligence and data in teaching and learning for educators, European Commission, October 2022.
