AIの判断を説明するには、「根拠の組み合わせ」を扱う必要がある ChinobaにおけるEvidence Interaction GraphとCounterfactual Receipt

🎥 YouTubeでも公開しています

AIの判断を説明する「根拠の組み合わせ」｜ChinobaのEvidence Interaction GraphとCounterfactual Receipt

Books:『Decision Trace Model 実践導入ガイド』: ― 製造・医療・リテール・マルチエージェントで学ぶAI意思決定システム ―

AIが業務で回答や提案を行うとき、「どの資料を根拠にしたか」を示すことは重要である。

RAGの回答に出典を付ける。参照したChunkを表示する。どの規程や手順書を使ったかを追跡できるようにする。これは、信頼できるAIの基本条件になりつつある。

しかし、実務の判断では、一つの根拠だけが結論を決めることは少ない。

保全判断であれば、設備型式、振動値、温度履歴、過去の交換記録、手順書の例外条件が組み合わさって初めて意味を持つ。品質判定であれば、検査結果だけでなく、ロット、工程条件、顧客仕様、変更履歴との関係が重要になる。

ここで必要なのは、単に「重要な根拠を上位から並べる」説明ではない。

この結論は、どの根拠の組み合わせによって支持され、どの条件が欠ければ結論が変わるのか。

Chinobaでは、この問いに答えるために、Evidence Graphを Evidence Interaction Graph へ発展させられる。

単一の根拠への帰属では、説明が不十分になる

AIの回答には、しばしば複数の根拠が関わる。

たとえば、AIが「この設備は直ちに専門家確認へエスカレーションすべき」と提案したとする。画面に次の出典が表示されていたとしても、それだけでは十分に説明できない。

• 手順書の「高温時は停止判断を検討する」という記述
• 直近の温度センサー値
• 過去の故障履歴
• 部品交換からの経過時間

本当に重要なのは、これらのうち何が単独で効いているかではない。

「温度が高い」だけでは、通常の運転変動かもしれない。
「部品交換から時間が経っている」だけでは、直ちに危険とは言えない。
「同様の故障が過去にあった」だけでも、対象設備が違うかもしれない。

しかし、設備型式が一致し、温度上昇が規定範囲を超え、交換周期を過ぎ、過去事例でも同じ兆候が見られたとき、結論の強さは大きく変わる。

このような関係を根拠間の相互作用と呼ぶ。

相乗効果と冗長性を区別する

根拠の組み合わせには、少なくとも二種類の重要な関係がある。

相乗的な根拠

それぞれ単独では決め手にならないが、組み合わさると判断を強く支持する根拠である。

相乗的な根拠を見落とすと、AIは「各資料には決定的な記載がない」として、必要な注意喚起を出せないことがある。

冗長な根拠

同じ主張を、似た情報源が繰り返し支えている関係である。

複数の似た報告書、複製されたFAQ、同じ元資料を要約した複数の文書が検索される場合、数が多いことは根拠が独立して強いことを意味しない。

冗長な根拠をそのまま多数提示すると、AIは見かけ上の確信を高め、利用者も「複数の証拠がある」と誤解してしまう。

Chinobaは、相乗を見つけるだけでなく、共通の原典、同じ観測、同じ判断に由来する重複を検出しなければならない。

Evidence Interaction Graphとは何か

通常のEvidence Graphでは、文書、Chunk、ルール、判断、行動をノードとしてつなぐ。

Evidence Interaction Graphでは、さらに「特定の根拠の集合が、ある判断にどう影響したか」を扱う。

たとえば、次のような関係を持たせる。

これにより、AIの説明は「この資料を読みました」から一段進む。

この提案は、手順書v4の例外規定、設備型式Aの過去故障記録、直近24時間の温度上昇が同時に成立しているため提示された。温度上昇だけでは専門家確認の対象にはならない。

この説明なら、利用者は結論の理由だけでなく、どの条件が判断を変えるかを理解できる。

Counterfactual Receipt：取り除いたら何が変わるかを示す

根拠の重要性を確認する有効な方法は、反実仮想的な問いを置くことである。

• この根拠がなければ、結論は変わるか
• この条件が異なれば、同じ提案は維持されるか
• この二つの根拠のうち、一方だけでは十分か
• 同じ原典に由来する根拠を一つにまとめても、結論は変わらないか

Chinobaでは、こうした検証結果を Counterfactual Receipt として残せる。

Counterfactual Receiptは、すべての根拠組み合わせを総当たりで検証することを意味しない。根拠の数が増えれば、可能な組み合わせは急激に増えるためである。

実務では、次の原則が役立つ。

• 影響が大きいと推定される根拠群から優先して検証する
• 高次の相互作用は、関連する低次の関係を手がかりに探索する
• 同じ原典や同じ観測に由来する根拠をまとめ、冗長性を先に除く
• 安全、品質、権限に関わる判断では、反実仮想の確認範囲を広げる

これは、限られた検証コストで、説明に必要な相互作用を見つけるための設計である。

Retrieval Receiptを、相互作用まで拡張する

ChinobaのRetrieval Receiptは、どのクエリに対して、どの根拠を、なぜ取得したかを残す仕組みである。

Evidence Interaction Graphを導入すると、Receiptは次のように拡張できる。

この構造があれば、AIが提示した結論について、利用者は次のように確認できる。

「引用されている資料は正しいか」だけではない。
「この資料がない場合でも同じ結論か」
「この結論を支える条件は、現在の現場で満たされているか」
「複数の資料は独立した証拠なのか、同じ元情報の繰り返しか」

これが、出典表示から意思決定可能な説明への進化である。

相互作用は、AIだけでなく組織知の構造を明らかにする

Evidence Interaction Graphの価値は、AIの回答を説明することだけにとどまらない。

組織が暗黙に使っている判断構造を明らかにできる。

たとえば、ある品質問題について、熟練者がいつも複数の条件を見ているなら、その組み合わせは手順書に明示されていない重要な知識かもしれない。

逆に、何度も参照される資料が実際には同じ原典の繰り返しであれば、組織の知識基盤は見かけより脆い可能性がある。

相互作用分析は、次のような問いを可能にする。

• どの条件の組み合わせが、例外判断を生んでいるか
• どの根拠が失われると、判断の再現性が下がるか
• どの資料群は冗長で、更新管理を統合できるか
• どこに追加観測や専門家確認を置けば、判断の安全性が最も高まるか

この知見は、Semantic Chunkの設計、手順書の改善、データ収集の優先順位、そして人とAIの役割分担を改善するために使える。

AIの説明責任は、引用数では測れない

引用が多い回答は、一見すると信頼できそうに見える。しかし重要なのは、引用の数ではない。

それらがどのように独立し、補強し、矛盾し、どの条件のもとで結論を支えているかである。

信頼できるAIの説明とは、根拠を列挙することではない。
根拠の組み合わせと、その結論が崩れる条件を示すことである。

Chinobaは、Semantic Chunkで意味と条件を保持し、Evidence Graphで由来と関係をつなぎ、Decision Traceで判断と責任を記録する。そこにEvidence Interaction GraphとCounterfactual Receiptを加えることで、AIの結論を「なぜそう言えたのか」だけでなく、「何が違えばそう言えなくなるのか」まで説明できる基盤へ進化できる。

Chinoba

Chinoba

Intelligence as Relationship

Research Platform

founded by

Masao Watanabe

AI Systems Architecture
Decision Trace
Human–AI Coordination
Algorithmic Governance