23 AIとは：データに基づくシステム（２）

データ中心のプロジェクトの設計と実装は、6つのステップに分けて考えることができます。ただし、各ステップの間には何度も行き来（試行錯誤）が生じ、うまくいくまでにプロセス全体を複数回やり直す必要がある場合もあります。

教室で実際に役立つものにするには、教師、教授法の専門家、コンピュータ科学者などから成る学際的なチームが、各段階に継続して関わることが重要です¹。ニーズの把握と設計、データの準備、機械学習（ML）手法の選定、結果の吟味、そして現場での活用方法の検討には、いずれも人間の専門的な知見が欠かせません²。

1) 教育の文脈を理解する

AIEDツールの設計で最初に行うべきことは、教室で何が求められているのか（ニーズ）を把握することです。目標が定まったら、それを実現するために何を重視し、何を対象外とするかを整理します。データに基づく解決策は、数値化しやすく標準化しやすい事柄に焦点が当たりやすいという偏りがあります³。だからこそ、どの点を扱い、どう判断するかは、実際に使う教師、教育学の専門家、そしてアルゴリズムを理解するコンピュータ科学者が協議しながら決める必要があります。

また、最初の2つのステップ（ニーズの整理とデータの検討）は、行きつ戻りつしながら進むことが多いです。実現できることは、手元にあるデータの内容や質に大きく左右されるためです²。加えて、教育ツールの設計には、データの扱い方や利用できるアルゴリズムの範囲を定める法制度の制約も関わってきます。

2) データを理解する

目標とそれに関わる要因が明確になったら、次は「どんなデータが必要か」「どこから集めるか」「どうラベル付けするか」「プライバシーをどう守るか」「データの質をどう評価するか」といった点に検討の焦点が移ります³。機械学習をうまく機能させるには、データセットが十分な規模をもち、多様性があり、適切にラベル付けされていることが重要です。

機械学習には、モデルを学習させるためのデータと、学習後に新しいデータを処理したり予測したりするためのデータが必要です。顔認識や物体認識など一部のタスクでは、学習用に使える民間・公開のデータベースがすでに数多く整備されています。

一方で、必要な形でデータが整っていない場合は、既存のデータセットにデータを追加したり、目的に合わせてラベルを付け直したりする必要があります。それでも足りなければ、新たにデータを収集し、ゼロからラベル付けしてデータセットを作成しなければなりません。さらに、学習者がアプリケーションを利用する過程で残る行動履歴（デジタルトレース）を、データ源の一つとして活用することも可能です。

いずれにせよ、課題に本当に関係するデータや特徴量（features）を慎重に選ぶことが重要です²。無関係な項目や重複する項目が混ざると、アルゴリズムが見かけ上のパターンを拾ってしまい、結果としてシステムの性能が損なわれる可能性があります²。機械が見つけられるパターンは、与えられたデータの範囲に限られるため、どのデータセットを選ぶかは、暗黙のうちに「何を問題として扱うか」を決めることにもなります⁴。データが大量にある場合は、統計的手法を用いて適切な部分集合（サブセット）を選び、誤りや偏りが入っていないか検証する必要があります。

不適切な学習データの例として、コンピュータビジョンの黎明期に知られた有名な逸話があります。あるモデルはロシア製戦車と米国製戦車の画像を見分けるよう訓練され、高い精度を示しました。ところが後に、その精度は戦車そのものではなく、写真が撮影された天候の違い――ロシア側は曇りの日、米国側は晴れの日――を手がかりにしていたためだと分かりました⁴。。

したがって、選んだデータセットは、なぜ作られたのか、何が含まれているのか、そして収集・クリーニング・ラベル付け・配布・維持管理がどのような手順で行われているのか、といった点を踏まえて品質を確認する必要があります⁴。とくに重要なのは、「このデータセットは目的に合っているか」「モデルを偏らせたり差別的な結果を生んだりするような見えにくいリスクが潜んでいないか」³といった問いです。

3) データを準備する

データ準備では、複数の場所にあるデータをまとめてデータセットを作り、形式の違いや不整合を整えます（例：あるテストは1〜10点、別のテストは百分率で記録されている、など）。次に、欠損値や極端な値がないかを確認し、データの品質を確かめる自動テストを行います。ここには、プライバシー漏えいの有無のチェックや、想定外の相関・ステレオタイプが入り込んでいないかの検出も含まれます²。また、この段階でデータを学習用（訓練用）と評価用（テスト用）に分けることもあります。学習用はモデルを作るために、評価用は性能を確かめるために使います。学習に使ったデータだけで性能を評価するのは、試験前日に問題を渡して宿題にするようなもので、結果が本当の理解度を反映しなくなってしまいます²。

4) モデリング

この段階では、アルゴリズムを使ってデータから規則性（パターン）を見つけ出し、モデルを構築します。ふつうは複数の手法を試し、どれが目的に最も合っているかを比較しながら選びます。こうして作られたモデルは、その後、新しいデータに対する予測に利用できます。

多くのプロジェクトでは、まず試しに作った初期モデルによってデータの不備や偏りが見つかり、ステップ2（データの理解）とステップ3（データ準備）を行き来しながら修正することになります²。一般に、特徴量（入力）と出力（予測したい値）の関係が明確で強いほど、機械学習アルゴリズムは精度の高い予測を出しやすくなります。

これらのアルゴリズムは高度な統計・計算手法にもとづくため、開発者は設定（パラメータ）を調整しながら、複数の手法を試して最適な結果を探ります。たとえば、不正行為を検知するシステムを考えてみましょう。実際には不正をしていない学生を不正と判定してしまうのが「偽陽性（false positive）」で、不正をした学生を見逃してしまうのが「偽陰性（false negative）」です。設計者は、偽陽性を減らす（ただし一部の不正を見逃す可能性がある）ように調整することも、偽陰性を減らす（疑わしいケースも広く拾う）ように調整することもできます⁵。つまり、調整は「システムに何をさせたいか」に依存します。

5) 評価

モデリング段階では、まず学習データを用いて、各モデルの予測精度が高くなるように調整します。そのうえでテストデータで性能を検証し、実運用に採用するモデルを選びます。さらに、そのモデルが教育現場のニーズを本当に満たしているかも評価します。たとえば、ステップ1で設定した目標は達成できているか、想定外の問題は起きていないか、品質は十分か、改善の余地はあるか、別の方法のほうが適切ではないか、再設計が必要ではないか――といった点です。最終的には、その仕組みを学校で運用できるかどうかを判断します。運用が難しければ、プロセス全体を見直し、やり直します²。

6) 展開

最後のステップでは、技術面（インフラ）と授業・運用面の両方を踏まえ、データに基づくシステムを学校の仕組みにどのように組み込めば、効果を最大化できるかを検討します。

このステップは最終段階として示されますが、実際にはプロセス全体は繰り返し行われます。導入後も、モデルがその学校・教室の状況に合っているかを定期的に点検する必要があります。ニーズや運用手順、データの取り方が変われば、システムの出力や精度も影響を受けるためです。状況に応じて見直しや更新を行い、学習・指導・評価に与える影響を継続的にモニタリングすることが求められます⁶。

教育者向けの「AIとデータ利用に関する倫理ガイドライン」では、学校はAIシステムのライフサイクル全体を通じて、導入前の段階からサービス提供者と継続的に連絡を取り合うべきだと強調しています。学校は、分かりやすい技術文書の提出を求め、不明点があれば説明を受けたうえで、サポートや保守の体制について合意を取り付け、提供者が関連する法的義務を確実に遵守していることを確認する必要があります⁶。

注：ここで示した各ステップと図は、文献 2に記載されているCRISP-DMのデータサイエンスの段階とタスク（Chapman, Clinton, Kerber ほか，1999の図3にもとづく）をもとに、適宜改変したものです。

¹ Du Boulay, B., Poulovasillis, A., Holmes, W., Mavrikis, M., Artificial Intelligence And Big Data Technologies To Close The Achievement Gap,in Luckin, R., ed. Enhancing Learning and Teaching with Technology, London: UCL Institute of Education Press, pp. 256–285, 2018.

² Kelleher, J.D, Tierney, B, Data Science, London, 2018.

³ Hutchinson, B., Smart, A., Hanna, A., Denton, E., Greer, C., Kjartansson, O., Barnes, P., Mitchell, M., Towards Accountability for Machine Learning Datasets: Practices from Software Engineering and Infrastructure, Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, Association for Computing Machinery, New York, 2021.

⁴ Barocas, S.,  Hardt, M., Narayanan, A., Fairness and machine learning Limitations and Opportunities, MIT Press, 2023.

⁵ Schneier, B., Data and Goliath: The Hidden Battles to Capture Your Data and Control Your World, W. W. Norton & Company, 2015.

⁶ Ethical guidelines on the use of artificial intelligence and data in teaching and learning for educators, European Commission, October 2022.