50 個人のAIか、集団のAIか

これからのAIをめぐる重要な問いの一つは、「AIは誰のために働いているのか？」かもしれません。

学習に役立つはずのツールを使うとき、私たちは当然、その通りの利益が得られることを期待します。けれども、そのツールが実際には、あなたのニーズを満たすだけでなく、別の評価指標をも含めて最適化しようとしている可能性はないでしょうか。そして、期待した結果が得られるとすれば、それは問題になりうるのでしょうか。考えてみましょう。

もちろん、AIが民間企業によって作られている場合、そのビジネスモデルを理解することは理にかなっています。そうすれば、その企業が「誰のために」働いているのかが見えてきます。たとえば、保護者が購入するソフトであれば、保護者が関心を持つ理由が必要です。顧客が学校・教員・政府であれば、重視される論点も変わり、ソフトの設計も変わるでしょう。

機械学習型のAIソフトでは、「目的関数」に対して学習が進む、という点を忘れてはいけません。ニューラルネットワークは、学習者の学習時間を最小化するように、あるいは小テストの得点を最大化するように、または両者を組み合わせた形で訓練できます。

しかし多くの場合、学習は社会的な環境で行われます。そしてAIの提案は、個人だけでなく集団全体にも影響しうるのです。

この考えを探るために、Waze の仕組みを見てみましょう。Waze は人気の交通ナビゲーションシステムです。学校で使われることはあまりありませんが、先生たちは時間通りに到着するために活用したりします。

Waze

Waze は、車のドライバーが目的地までの経路を見つけるためのナビアプリです。Waze は毎月1億5,000万人に利用されています。ソーシャルネットワーク的な機能を多く備えていますが、交通状況の分析に使われるデータの多くは、公的なオープンデータやカメラ映像ではなく、利用者自身から提供されるものです¹。

Waze を使わない人のために、仕組みを簡単にまとめます。あなたはいつものように職場へ向かっているとしましょう。道は分かっているのに、それでも Waze を使います。

あなたの周りの多くのドライバーも同じように使っています。地図には、目的地までの経路が計算されて表示されます。到着予定時刻も示され、周辺の交通状況に応じて数分おきに更新されます。さらに、「260m先に路上の障害物」「1km先で事故」「3km先で渋滞」といった情報が表示されることもあります。これらの更新情報に基づき、7分短縮できる別ルートが提案されることもあります……。

この仕組みが成り立つためには、Waze 利用者であるあなたが情報を入力し、システムを介して他の利用者に警告を送る必要があります。たとえば、動物がうろついている、あるいはここが重要ですが、その動物や障害物が「もうそこにはない」といった情報です。

AIはどこにあるのか？

到着時刻の予測、経路の計算などにAIが使われています。これは距離のような静的情報だけでなく、車の速度のような動的情報も考慮するということです。Waze は、あなた自身の過去の履歴も使って運転パターンを考慮します²。さらには、信号があなたに有利に連動しているかどうかまで把握している場合もあります。

しかし、それだけではありません。利用者が新しい情報を入力したとき、システムはそれをどう扱うのでしょうか。たとえば私が「道路が封鎖されている」と警告したら、何が起きるのでしょう。人間の専門家であれば、他の利用者も同じことを言っているか事実関係を確認できます。また、この特定の利用者の情報をどの程度信用すべきかを判断するためのモデル（基準）を用い、その利用者が本当に停止しているのかも確認できるでしょう。AIも同様のことを行います。

さらにもう一つ。通常ルートで渋滞が検出されると、システムは利用者を別ルートへ誘導します。しかし、もし誰も渋滞に入らなければ、「渋滞がどれほど深刻か」「解消したかどうか」をどうやって知るのでしょうか。すでに渋滞に巻き込まれて動けない利用者は、その情報を十分に提供できません。そこでシステムは、問題が解決したかを確かめるために、ある程度の車をあえてその問題箇所に向かわせる必要があるのです。

倫理的な論点は？

倫理面での論点はいくつもあります。

1. Waze はあなたについて多くを知っています。住んでいる場所、働いている場所、よく立ち寄る場所、習慣などです。そして、あなたが反応するかどうかは別として、広告を提案します。
2. できるだけ多くの利用者を満足させるために、Waze は上の例のような「探索／活用」のジレンマを数多く解かなければなりません。どうやってその決定をするのでしょうか。正しい決め方はあるのでしょうか。
3. こうしたツールを常用すると、自分で問題を解決する力にも影響が出ます。人間の認知能力が影響を受けていることが知られてきています。たとえば（決して珍しい例ではないでしょうが）、この教科書の著者の一人はある朝Wazeを使っていました。渋滞回避のために高速道路を降りるよう指示され、快適な一般道を2km走ったところで、Wazeは「最適ルートは高速に戻ることだ」と判断を変えました。重要なのは、最適化の結果としてルート提案が変わること自体（それは合理的です）ではなく、こうしたAI駆動システムへの依存が、私たち自身の判断力を弱めてしまう、という点です³。

教育への影響

私たちの知る限り、この「集団の扱い」の問題は、教育では——少なくとも今のところ——起きていません。リソースが無制限（たとえばWebプラットフォームへのアクセス）なら、影響は小さいでしょう。しかし、リソースが限られている場合を考えてみてください。たとえばロボットを同時に使えるのは3人だけだとします。このときAIシステムは、誰がロボットにアクセスできるべきかを提案することになります。決定を左右する要因は多様です。公平さを重視するなら、ランダムに決めるかもしれません。しかし、それに不満を持つ人は多いでしょう。教室全体の成果を最大化したいなら、不利な立場の子どもに多くの資源を割り当てるかもしれません。しかし、「学期末に少なくとも90%の生徒が成績XYZを取ること」を課されたとしたら、それは各生徒が90%の成功確率を得るという意味ではありません。むしろ、10%の生徒は確実に失敗するように扱われる可能性がある、ということです。

教師の役割

AI時代の教師は、こうしたシステムがどう動くのか、アルゴリズムの注意点（落とし穴）は何かを理解し、最終的には教師自身が意思決定を行わなければなりません。言うは易く行うは難し、です。教師は、上で述べたナビゲーションツールのように、全体に利益をもたらすAIを活用できます。しかし同時に、AIが提案した判断を、自分自身の経験と照らし合わせて吟味することができ、また、そうすべきです。道路で15分無駄にするのは大きな問題ではありません。けれども、生徒に関して誤った判断をしてしまえば、重大な結果につながりかねません。

¹ https://www.cozyberries.com/waze-statistics-users-facts/ and https://www.autoevolution.com/news/waze-reveals-how-many-users-run-the-app-on-android-and-iphone-197107.html for some facts and figures concerning Waze.

² Petranu, Y. Under the Hood: Real-time ETA and How Waze Knows You’re on the Fastest Route. https://medium.com/waze/under-the-hood-real-time-eta-and-how-waze-knows-youre-on-the-fastest-route-78d63c158b90

³ Clemenson, G.D., Maselli, A., Fiannaca, A.J. et al. Rethinking GPS navigation: creating cognitive maps through auditory clues. Sci Rep 11, 7764 (2021). https://doi.org/10.1038/s41598-021-87148-4
https://www.nature.com/articles/s41598-021-87148-4