「説明可能AI（XAI）」という言葉がある。
ブラックボックスではなく、
判断の根拠を説明できるAI。
それは、一見すると理想的に聞こえる。
だが現場では、
説明されたはずなのに、納得できない
という状況が繰り返し起きている。
これは実装の問題ではない。
「説明」という言葉の取り違えが原因だ。
説明には、2つのまったく異なる意味がある
多くの議論は、
この区別を曖昧にしたまま進んでいる。
Explanation（説明）
-
どうやってその結果が出たか
-
どの特徴量が効いたか
-
モデル内部で何が起きたか
これは、因果・構造・過程の説明だ。
Justification（正当化）
-
なぜこの判断を採用したのか
-
なぜそれで良いと言えるのか
-
誰に対して責任を持つのか
こちらは、価値・責任・選択の説明である。
この2つは、
似ているが、まったく別物だ。
説明可能AIがやっているのは Explanation だけ
いわゆる「説明可能AI」が提供するのは、
-
寄与度
-
特徴量の重み
-
局所的な近似
-
ルール抽出
これらはすべて、
「なぜこの出力になったか」
という問いへの回答だ。
だが現場で本当に問われているのは、
「なぜこの判断を使ってよいのか」
という別の問いである。
ここに、致命的なズレがある。
人が求めているのは「理由」ではなく「引き受け」
説明を求める場面を思い出してほしい。
-
不採用の理由を聞く候補者
-
スコアで落とされた顧客
-
AI判断に従った結果、失敗した現場
彼らが知りたいのは、
-
特徴量Aが0.3効いた
-
重みがこうだった
ではない。
「その判断を、誰が引き受けているのか」
だ。
これは Explanation では答えられない。
Explanation が増えるほど、Justification は消える
皮肉なことが起きる。
AIがどれだけ丁寧に内部を説明しても、
-
誰が決めたのか
-
なぜその基準なのか
-
変更できるのか
といった問いは、
どこにも書かれていない。
結果として、
「仕組みは分かるが、
納得はできない」
という状態が量産される。
説明責任は、ロジックの中には存在しない
ここが本質だ。
説明責任とは、
-
判断を採用した主体が
-
その結果を引き受け
-
問われたときに応答する
という関係性の問題である。
モデルの中に、
-
責任
-
立場
-
覚悟
は存在しない。
だから、
いくら説明しても、責任は生まれない。
ロジックと説明責任は分業せざるを得ない
ここで初めて、
正しい役割分担が見えてくる。
AI（ロジック側）がやること
-
判断を計算する
-
影響要因を可視化する
-
不確実性を示す
-
反例を列挙する
これは Explanation の領域だ。
人間（責任側）がやること
-
そのロジックを採用した理由を語る
-
他の選択肢をなぜ捨てたかを説明する
-
失敗した場合の責任を引き受ける
これは Justification の領域だ。
この分業を曖昧にした瞬間、
説明は形骸化する。
「説明可能AI」は目的を誤解させる言葉である
強い言い方をすれば、
「説明可能AI」という言葉自体が、
説明責任をAIに押し付ける錯覚を生む
AIが説明できれば、
誰かが説明しなくてよくなる。
だがそれは幻想だ。
説明責任は、
-
ロジックではなく
-
関係性と立場の問題
だからだ。
本当に必要なのは「説明可能な判断設計」
必要なのは、
AIを説明可能にすることではない。
判断の設計を、説明可能にすること
-
どこまでをAIに任せ
-
どこからを人が引き受けるのか
-
その境界はなぜそこなのか
これを言語化しない限り、
どんなXAIも本質的な説明にはならない。
まとめ
-
Explanation と Justification は別物である
-
XAIが提供するのは Explanation だけ
-
人が求めているのは Justification
-
説明責任はモデルには宿らない
-
ロジックと責任は分業せざるを得ない
AIは説明できる。
だが、
説明に“責任”を与えられるのは、
人間だけだ。
ここで説明したexplanationに関連した機械学習技術に関しては、本ブログの”説明できる機械学習“にて理論と具体的な実装について述べている。またjustificationに関する実装方針に関してはhttps://github.com/masao-watanabe-aiにのべている。興味のある方はそちらも参照のこと。
コメント