RAGを「回答品質」だけで設計しない ChinobaにおけるInformation-Driven Knowledge Design

Knowledge Base Archive この記事は Chinoba Knowledge Base の技術アーカイブです。 Chinoba.orgを見る →

🎥 YouTubeでも公開しています

AI時代の知識基盤設計──根拠・条件・判断をつなぐ Information-Driven Knowledge Design

Books: Knowledge Flow実践ガイド: 企業知識をAIが利用できる知識基盤へ変換する

AIの業務利用では、回答の品質をどう評価するかが常に問題になる。

正しい回答だったか。
利用者が納得したか。
出典が付いているか。
検索精度や再現率は十分か。

どれも重要な指標である。しかし、これらだけでは、知識基盤そのものがどれだけ良く設計されているかを評価しにくい。

たとえば、二つのRAGシステムが同じ質問に対して同程度の回答を返したとしても、一方は大量の文書と長いコンテキストを必要とし、もう一方は少数の根拠から、適用条件と例外まで明確に提示できるかもしれない。

また、回答が一見正しくても、根拠が古い、条件が欠けている、重要な例外が検索から漏れているなら、業務で安全に使えるとは限らない。

必要なのは、最終回答の見栄えだけを測ることではない。

取得・分割・検索・統合という知識の流れが、判断に必要な不確実性をどれだけ減らし、どれだけ根拠を保持できているかを測ること

である。

Chinobaでは、この考え方を Information-Driven Knowledge Design として発展させられる。

知識基盤で重要なのは、情報が「どう見えるか」ではない

文書検索の画面では、検索結果の読みやすさ、要約の自然さ、引用の数が目に入りやすい。

しかし、AIが本当に必要としているのは、人にとって見栄えのよい文書断片ではない。ある判断に必要な違いを識別できる情報である。

たとえば、二つの手順書が文章として似ていても、一方だけに「対象設備の型式」「適用開始日」「例外時の停止条件」が含まれていれば、業務判断に与える価値は大きく異なる。

逆に、検索結果が整った長文で表示されていても、現行版か、どの条件で使えるか、どこから人の確認が必要かが分からなければ、意思決定には使いにくい。

Chinobaが扱うべき品質は、情報の見た目ではなく、次の能力である。

  • 異なる業務状態を区別できるか
  • 正しい適用条件と例外を保持できるか
  • 根拠が古い・不足している・矛盾していることを検出できるか
  • 人が最終判断するために必要な情報を取り出せるか

これは、知識基盤を「回答生成器」ではなく、組織の不確実性を減らす情報インフラとして見る考え方である。

回答品質は、知識基盤と生成モデルを混同しやすい

一般的なAI評価では、質問に対する最終回答を採点する。

しかし、その回答は複数の要素に影響される。

  • 元文書・データの品質
  • Chunkの分割方法
  • メタデータと権限・版の管理
  • 検索と再ランキング
  • 使用するLLMの能力
  • プロンプトや回答フォーマット
  • 利用者の質問の仕方

このため、回答が悪かったとしても、どこに問題があるのかを特定しにくい。

LLMが弱いのか。検索が漏れたのか。そもそも必要な根拠が文書にないのか。あるいは、根拠は取得できていたが、適用条件が回答へ反映されなかったのか。

Information-Driven Knowledge Designでは、最終回答の評価とは別に、知識基盤の各段階がどれだけ判断情報を保持しているかを測る。

これにより、生成モデルの性能と、知識基盤の設計品質を分けて改善できる。

Evidence Information:判断に必要な不確実性をどれだけ減らせるか

Chinobaでは、知識の価値を「質問への関連度」だけでなく、Evidence Information として考えられる。

これは厳密な単一の数式に限定する必要はない。実務上は、ある根拠セットが、判断対象についてどれだけ不確実性を減らせるかを、複数の観点で推定する。

たとえば、設備保全の問い合わせにおいて、根拠セットが高いEvidence Informationを持つとは、次のような状態である。

  • 対象設備・部品・運転条件を識別できる
  • 現行で有効な手順・基準を特定できる
  • 通常対応と例外対応を区別できる
  • 根拠の版・由来・承認状態を追跡できる
  • AIだけでは決められない境界を示せる

これらが不足している場合、AIは流暢な回答を生成できても、実際の判断に必要な情報を保持していない。

知識の「信号」と「ノイズ」を分けて考える

組織文書には、判断に役立つ情報だけでなく、多くのノイズが含まれる。

  • 廃止済みの手順
  • 適用対象が不明な記述
  • 原典が同じ複製文書
  • 更新されていないFAQ
  • 実務上は使われない一般論
  • 根拠のない過去のAI要約

検索結果の量が増えることは、必ずしも情報量が増えることを意味しない。

Chinobaでは、取得したEvidence Setを、次の二つに分けて評価する必要がある。

観点 確認すること
判断信号 結論・条件・例外・責任境界を区別する情報があるか
ノイズ 重複、失効、対象外、出典不明、根拠の薄い要約が混ざっていないか

重要なのは、単にノイズを減らすことではない。必要な例外や反証まで削ってしまえば、見かけ上は簡潔でも危険な知識基盤になる。

そのため、情報設計の目標は「最短のコンテキスト」ではなく、判断を変える情報を失わずに、不要な曖昧さと重複を減らすことになる。

Semantic Chunkを、情報保存の単位として設計する

Semantic Chunkは、文書を固定長で分割する技術ではない。

Chinobaでは、判断に必要な意味、条件、由来を保った最小単位として設計する。

各Chunkには、本文だけでなく、次の情報を持たせる。

属性 意味
Claim 何を主張・規定・観測しているか
Scope どの設備、工程、製品、組織、期間に適用されるか
Condition どの前提・閾値・例外の下で成立するか
Provenance 原典、作成者、版、承認状態、取得時点
Temporal Status 有効期間、撤回、置換関係
Decision Role 判断を支持するのか、制約するのか、反証するのか

この単位で知識を保持すれば、検索は単なる文章類似ではなくなる。

AIは、「この判断に必要な条件が揃っているか」「例外条件はどこにあるか」「現行の根拠と矛盾しないか」を確認しながら、Evidence Setを構成できる。

Evidence Coverageを、情報設計の評価装置にする

Information-Driven Knowledge Designを実装するために、ChinobaではEvidence Coverage Dashboardを拡張できる。

各テーマ、質問、判断、試作に対して、次のような指標を追跡する。

指標 問い
根拠被覆率 主要な主張・判断条件に根拠が結び付いているか
条件被覆率 対象範囲、例外、閾値、時間条件を保持しているか
版整合率 参照根拠が現行で有効か、置換・撤回を反映しているか
独立性 複数の根拠が独立しているか、同じ原典の反復ではないか
反証可能性 結論を弱める条件や反対根拠も取得できているか
判断可能性 人が最終確認するために必要な情報が揃っているか

これらは、最終回答の正誤とは異なる。

たとえば、ある質問に偶然正しく答えられたとしても、条件被覆率が低ければ、別の設備や時期では誤適用する可能性がある。逆に、AIが「根拠不足のため判断を保留する」と答えた場合、これは知識基盤が重要な不確実性を正しく検出できた成果かもしれない。

知識基盤を、デコーダ非依存に評価する

同じEvidence Setを、異なるLLM、異なるプロンプト、異なるエージェントに渡すことがある。

このとき、特定のモデルの回答だけで知識基盤を評価すると、モデル固有の表現力や癖に左右される。

そこでChinobaでは、回答生成器に依存しない評価を重視する。

  • 根拠と結論の関係を、構造的に検証できるか
  • 現行版・適用条件・例外が取得できるか
  • 意図的に根拠を除外したとき、判断の変化を説明できるか
  • 複数モデルが同じEvidence Setから、責任ある結論に到達できるか

この設計は、モデルを変更しても失われにくい知識資産を作る。

LLMは更新される。コスト、性能、利用環境も変わる。しかし、根拠・条件・判断境界を保持したEvidence Infrastructureは、モデルの世代をまたいで組織に残る。

Information-Driven Prototype:何を作る前に、何が分かるべきかを測る

この考え方は、AIアプリケーションの試作にも適用できる。

通常は、画面やチャットボットを作り、利用者に試してもらい、回答の印象を評価する。

Chinobaでは、その前に次の問いを置ける。

この業務テーマについて、AIが安全に提案や回答を行うために必要な情報は、現在の知識基盤にどれだけ存在しているか。

Prototype Briefを作成するとき、対象業務、利用者、入力、出力だけでなく、必要なEvidence Informationを定義する。

  • 何を識別できなければならないか
  • どの例外を見落としてはならないか
  • どの版・承認状態を区別する必要があるか
  • どの情報がなければ、人へ確認を戻すべきか

そして試作は、UIの完成度だけでなく、その情報が実際に取得・保持・提示できるかを検証する。

これにより、AIプロトタイプは「答えられるデモ」から、根拠が足りないときに止まり、必要な情報を集められる業務基盤へ近づく。

AI時代の設計対象は、回答ではなく情報の流れである

AIシステムを作るとき、私たちは最終画面や最終回答に注目しがちである。

しかし、信頼できる業務AIを支えるのは、その前段にある情報の流れである。

どの原典から取り込んだか。
どの条件を保ってChunkにしたか。
何を検索し、何を除外したか。
どの根拠が結論を支え、どの不確実性が残っているか。
誰がどこで確認し、結果をどう更新したか。

良いAI回答とは、もっとも自然な文章ではない。
判断に必要な不確実性を減らし、その根拠と限界を示せる回答である。

Chinobaは、Semantic Chunk、Evidence Graph、Retrieval Receipt、Decision Traceを通じて、組織知を情報保存・検索・判断の流れとして扱う。Information-Driven Knowledge Designは、その流れ自体を測定し、改善し、AIの世代が変わっても使い続けられる知識基盤を作るための設計原則になる。

Related Research

この記事は Chinoba Knowledge Base の一部です。

Chinoba Research
Chinoba-lab Open Source
Books and Library

コメント

モバイルバージョンを終了
タイトルとURLをコピーしました