AIは公平だと思われがちだ。
数値で評価し、感情に左右されず、一貫した判断を下す。
だがその前提には、
ひとつ決定的な見落としがある。
評価関数は、誰かの価値観で書かれている。
しかも多くの場合、
それは明示されていない。
スコアは「事実」ではない
スコアを見ると、人は安心する。
-
0.82
-
75点
-
上位12%
そこにあるのは、
客観的な“結果”のように見える。
しかしスコアとは、
「何を良しとし、
何を無視したか」の集約結果
にすぎない。
スコアは事実ではない。
価値判断の圧縮表現だ。
評価関数は、世界のどこを切ったのか
評価関数を作るとき、人は必ず選んでいる。
-
何を入れるか
-
何を重視するか
-
何を入れないか
だが実務では、
この「入れないもの」が語られない。
なぜなら、
-
書きにくい
-
合意しづらい
-
面倒が起きる
からだ。
結果として、
書かれなかった価値が静かに切り捨てられる。
暗黙の判断は、最も強く作用する
評価関数に明示された重みよりも、
実は強く効いてくるものがある。
それが、
「最初から考慮されなかったもの」
だ。
-
定量化できない違和感
-
長期的な影響
-
例外的だが致命的なケース
これらはスコアに現れない。
しかし、現実には確実に存在する。
AIはそれを「見落としている」のではない。
存在しないものとして扱っているだけだ。
「公平なスコア」が不公平になる瞬間
よくある誤解がある。
「同じ評価関数を使っているから公平だ」
だが本当は、
-
誰にとっての公平か
-
何を犠牲にした公平か
が問われなければならない。
評価関数は、
-
ある価値観には合理的
-
別の価値観には暴力的
になり得る。
それでもスコアは、
中立の顔をして現れる。
人間が「書かなかった価値」はどこへ行くのか
ここが最も重要な問いだ。
人間が意図的に、あるいは無意識に
評価関数に書かなかった価値は、
-
消えるのか
-
無視されるのか
答えは、どちらでもない。
それらは、
システムの外で、
問題として噴き出す
形で戻ってくる。
-
現場の不満
-
想定外の失敗
-
説明できない違和感
スコアが良いほど、
このズレは深くなる。
AIは価値判断を“隠蔽”する
AIが危険なのは、
価値判断をするからではない。
価値判断を、見えなくするからだ。
-
数値にまとめる
-
モデルの中に埋め込む
-
「結果」として提示する
こうして、
誰がどんな価値観を選んだのかが消える。
残るのは、
「システムがそう言っている」
という説明不能な権威だけだ。
設計でできる、ただ一つの誠実な態度
評価関数を“正しく”する方法はない。
だが、誠実に扱う方法はある。
それは、
「書かなかった価値」を
最初から前提に置くこと
だ。
具体的には、
-
評価関数は仮説だと明示する
-
見ていないものを列挙する
-
数値化できない判断の存在を認める
AIにすべてを委ねない。
委ねられなかったものを、意識し続ける。
まとめ
-
評価関数は価値観の集合体である
-
スコアは判断を圧縮した結果にすぎない
-
書かなかった価値ほど、後で問題になる
-
AIは価値判断を不可視化する
-
人間の役割は「見えていない価値」を引き受けること
AIは冷酷でも公平でもない。
ただ、人間が書いた価値を、
黙って実行しているだけだ。
機械学習における具体的な評価関数の技術的なアプローチは”機械学習における数学について“や”一般的な機械学習とデータ分析“等に述べてある、興味のある方はそちらも参照のこと。
コメント