25 データに関する課題：バイアスと公平性

バイアスとは、特定のアイデンティティに対して生じる偏見や偏りのことです。好意的・否定的を問わず、また意図的か無意図かにかかわらず、バイアスとなり得ます¹。公平性とは、このバイアスに対抗する概念であり、それ以上のものでもあります。すなわち、アイデンティティや置かれた状況にかかわらず、誰もが公正に扱われることです。全員が公正に扱われ、機会に平等にアクセスできるようにするには、明確な手続き（プロセス）を定め、それに従って運用する必要があります¹。

人間が関わる仕組みには、バイアスや差別が入り込みやすいものです。私たちは誰しも、それぞれ固有の意見や偏見を抱えていますし、たとえば採点のような判断も、なぜその点数になったのかが外からは見えにくいことがあります。そういう意味では、人間の判断もまた「ブラックボックス」と言えます。それでも私たちは、そうした偏りを問い直すための方策や制度を整え、監視しながら運用してきました。

一方で、自動化システムはしばしば、人間の主観性を解決する万能薬のように語られます。アルゴリズムは数値にもとづくのだから、どうして偏りが生じるのか――というわけです。しかし、欠陥のあるデータにもとづくアルゴリズムは、性別・人種・文化・障害に関わる既存のバイアスを拾って学習するだけでなく、それを増幅してしまうことがあります¹²³。さらに、たとえ仕組みが企業秘密で隠されていなくても、ディープニューラルネットワークのように、そもそも説明可能性が低いシステムでは、なぜその判断に至ったのかを説明させることが難しい場合があります。

AIEDシステムにバイアスが入り込む例

1. プログラマがルールベースのシステムを作る際、個人的な偏りやステレオタイプがコードに入り込むことがあります¹。
2. データにもとづくアルゴリズムは、STEM分野の卒業データに女性が少ないことを根拠に、「女子にはSTEM系の進路を勧めない」という結論を導いてしまうかもしれません。けれども、「女性数学者が少ない」理由が、社会的規範や既存のステレオタイプによるものなのか、それとも性別に内在する要因なのかを、アルゴリズムは区別できません。既存データがすでに偏りを反映している以上、それで学習したアルゴリズムは不平等や社会的力学をそのまま再生産してしまいます⁴。さらに、その提案が実際に運用されれば、女子が非STEM分野を選ぶ割合が増え、次に集まるデータもその傾向を強める――という形で、自己成就的予言が起こり得ます³。
3. 学習データに十分含まれていない文化圏の生徒は、行動パターンや動機づけの示し方が異なるかもしれません。その場合、学習分析はどのように指標を計算するのでしょうか。データがすべての生徒集団を代表していなければ、多数派文化に合わせて最適化されたシステムが、少数派を不利に扱う可能性があります。注意しないと、学習アルゴリズムは多数派を前提に一般化し、少数派グループで誤り率が高くなることがあります⁴⁵。その結果、多様性や創造性、独自の才能をもつ人、異なる経験・関心・動機をもつ人が萎縮してしまうかもしれません²。
4. 米国向けに設計された作文自動添削ソフトで英国の学生を評価すると、綴り（スペリング）の違いが「誤り」として減点されてしまうことがあります。言語の地域差や、綴り・発音の違い、さらには地域の地理や文化といった要素は、別の国・別の文脈を前提に作られたシステムにとって、どうしても扱いが難しくなりがちです。
5. 教師の中には、地域やクラスでよく使われる表現を、意識的に、あるいは社会的連想による偏りから無意識に減点する人もいます。そうした教師の採点結果で作文採点ソフトが学習すれば、同じ偏りを再現します。
6. 機械学習システムは、最適化の目標となる「目的変数」と、その代理指標（プロキシ）を必要とします。仮に高校のテスト得点を「学力の高さ」の代理指標とすると、システムは試験会場のストレスや限定された状況で高得点を取れる生徒のパターンを強化するように学習します。その結果、学習者に教材や練習を勧める際に、知識そのものではなく「得点」を上げる方向に誘導しかねません。今日の教室でも同様のことは起こり得ますが、従来の教育では少なくとも複数の目標を掲げやすい、という点があります⁴。
7. 適応学習システムは、スキルや知識の欠如を補うために学生にリソースを提案します。これらのリソースを購入する必要がある場合、または家庭でのインターネット接続が必要な場合、推奨事項に従う手段を持たない学生にとっては公平ではありません：“アルゴリズムが学生にヒント、次のステップ、またはリソースを提案するとき、一部のグループが体系的に有用な助けを得られないために不公平な助けを与えることが差別的であるかどうかを確認する必要があります”²。
8. 学生の現在の知識レベルと好みに応じて教育をパーソナライズする概念自体がバイアスを構成するかもしれません¹。新しい興味や代替案を探求することからこの学生を止めているのではないでしょうか？これにより、彼または彼女を一次元的にし、全体的なスキル、知識、機会へのアクセスを減少させることになりませんか？

教師はAIEDのバイアスの影響をどう減らせるか

研究者たちは、バイアスを減らすためのさまざまな方法を継続的に提案し、検討しています。しかし、すべての方法が容易に実施できるわけではありません。そもそも公平性は、単にバイアスを緩和するだけでは捉えきれない、より深い課題だからです。

たとえば、既存データがステレオタイプに満ちている場合、「現在手元にあるデータがそれを支持しているかどうかにかかわらず、私たちはそのデータ自体を問い直し、ある種の公平なふるまいの考え方に沿うようにシステムを設計する義務があるのだろうか」⁴という問題が生じます。さらに、バイアス低減の方法同士はしばしば緊張関係にあり、ある種類のバイアスを減らすための介入が、別の種類のバイアスを新たに生んでしまうこともあります。

では、教師にできることは何でしょうか。

1. 提供者に質問する：AIEDシステムを導入する前に、どのようなデータセットで学習したのか、どこで・誰によって・誰のために設計されたのか、どのように評価されたのかを尋ねる。
2. 指標を鵜呑みにしない：たとえば全体の精度が高く見えても、その裏で少数派のグループに対しては性能が著しく低い、という事実が隠れていることがあります⁴。
3. ドキュメントを確認する：バイアスの検出・対処や公平性の担保のために、どのような措置が取られているか（取られていないか）を見る¹。
4. 開発体制を確認する：開発者がコンピュータ科学の専門家だけなのか、教育研究者や教師が関わっているのか。機械学習だけに依存しているのか、学習理論や教育実践が統合されているのか²。
5. 透明性の高い学習者モデルを優先する：判断を上書きできる、透明で開かれた学習者モデルを選ぶ²。多くのAIEDモデルは柔軟な設計で、教師や学習者が状況を監視し、説明を求めたり、機械の判断を不採用にできる。
6. アクセシビリティを点検する：能力差にかかわらず、誰もが等しく利用できるか¹。
7. 影響を継続的に見守る：短期・長期の両面で、生徒や学習、教室にどんな影響が出ているかを観察し、必要なら支援を行う。

影響を継続的に見守る：短期・長期の両面で、生徒や学習、教室にどんな影響が出ているかを観察し、必要なら支援を行う。

AIにも問題はありますが、AIEDの未来について楽観できる根拠もあります：

• これらの問題への認知が広がるにつれ、バイアスを検出し修正する方法が研究・試行されている。
• ルールベース／データベースのシステムは、既存の教育実践に潜む見えにくい偏りを露わにし得る。偏りが可視化されれば、対処もしやすくなる。
• AIシステムはカスタマイズの可能性をもつため、教育の多くの側面を状況に合わせて調整できるかもしれない。教材は学習者の知識や経験により応答的になり、地域社会や文化資源を取り込み、地域固有のニーズに応える形に発展する可能性もある²。

¹ Ethical guidelines on the use of artificial intelligence and data in teaching and learning for educators, European Commission, October 2022.

² U.S. Department of Education, Office of Educational Technology, Artificial Intelligence and Future of Teaching and Learning: Insights and Recommendations, Washington, DC, 2023.

³ Kelleher, J.D, Tierney, B, Data Science, MIT Press, London, 2018.

⁴ Barocas, S.,  Hardt, M., Narayanan, A., Fairness and machine learning Limitations and Opportunities, MIT Press, 2023.

⁵ Milano, S., Taddeo, M., Floridi, L., Recommender systems and their ethical challenges, AI & Soc 35, 957–967, 2020.