DTM適用例 3： 「過去成功」が現在判断を誤らせるとき ― Autonomous Driving における Operational Assumption Drift の危険性 ―

近年、生成AIや自動運転AI、Multi-Agentシステムは急速に高度化しています。

しかし現実の現場では、
AIそのものの精度以上に重要になる問題があります。

それは：

「過去成功した意思決定を、
現在でもそのまま再利用してしまうこと」

です。

前回うまくいった。

事故もなかった。

承認も通った。

だから今回も大丈夫だろう。

これは人間組織でも非常によく発生する判断構造です。

しかし実際には：

環境
前提条件
運用条件
センサー
データ分布
社会状況

は常に変化しています。

つまり：

「前回成功した」

ことと、

「今回も安全である」

ことは同じではありません。

今回は、
自動運転の夜間歩行者検知シナリオを通して、

DTM（Decision Trace Model）が：

• Operational Assumption Drift
• Historical Success Bias
• Environment Mismatch
• Human Gate
• Boundary Escalation

をどう扱うかを整理します。

1. シナリオ：夜間歩行者検知モデル再利用

 

────────────────────

[Rina]

夜間歩行者検知モデルですが、
現行モデルをそのまま使う案になっています。

前世代車種では事故率も低かったので、
基本的には問題ないように見えます。

────────────────────

[Runtime]

Signal Detected:

* Autonomous Driving
* Night-time Detection
* Safety Critical
* Model Reuse

Risk Score: 0.34

Semantic Activation:
ADAS / Vision / Safety / Reuse

────────────────────

[Runtime / LLM Response]

過去の実績を見る限り、
現時点では大きな問題は確認されていません。

ただし今回の適用環境が、
前回の成功条件と同じであるかについては、
追加確認が必要です。

現在、関連する運用履歴と検証記録を確認しています。

────────────────────

[Rina]

過去の運用実績って確認できますか？

────────────────────

[Runtime / AI Agent]

Searching Organizational Memory...

Sources:

* Field Incident Reports
* ADAS Validation Logs
* Safety Review Notes
* Regional Deployment Records
* Decision Ledger

────────────────────

[Runtime]

Historical deployment found.

Model:
VisionDetect-v4

Past Result:

* Low accident rate
* Approved for urban deployment
* No critical escalation recorded

Confidence: HIGH

────────────────────

[Runtime / LLM Response]

過去モデル「VisionDetect-v4」は、
都市部環境で長期間運用されており、
重大事故率も低い状態でした。

そのため、
当時の運用条件では高い信頼性が確認されています。

────────────────────

[Rina]

やはり前モデルでは問題なかったんですね。

────────────────────

[Runtime]

Additional context analysis running...

Deployment environment comparison detected.

────────────────────

[Runtime]

Context mismatch identified.

Previous deployment:

* Urban areas
* Street lighting available
* Low rain frequency

Current deployment target:

* Rural highways
* Low illumination
* Heavy rain / fog frequency increased

Operational assumptions differ significantly.

Risk Score Updated: 0.57

────────────────────

[Runtime / LLM Response]

追加分析の結果、
今回の運用条件が前回と大きく異なる可能性が確認されました。

前回は、
街灯のある都市部環境が中心でした。

一方、今回は：

* 地方道路
* 低照度環境
* 雨・霧の増加

といった条件が含まれています。

つまり、

「前回成功した」

というより、

「前回の条件では成功していた」

可能性があります。

────────────────────

[Runtime]

Searching for relevant knowledge holders...

Candidates:

* Daichi (Field Safety Analysis)
* Yui (Sensor Validation Team)

────────────────────

[Daichi]

前世代モデルの成功は、
都市部条件にかなり依存していました。

特に街灯がある環境では
歩行者輪郭が安定していたんですが、
地方道路では検出率が急激に落ちています。

────────────────────

[Runtime]

Environmental dependency detected.

Semantic Weight:
Night-time ↑
Visibility ↑
Environmental Assumption ↑

────────────────────

[Runtime / LLM Response]

現場分析から、
環境依存性が強い可能性が確認されました。

特に：

* 夜間
* 低視認性
* 地方道路

では、
歩行者検知性能が大きく変化する可能性があります。

────────────────────

[Yui]

さらに今回は、
新型赤外線センサーへ変更されています。

前世代学習データとの整合性が完全ではありません。

Validation coverageも不足しています。

────────────────────

[Runtime]

Cross-domain inconsistency detected.

Current Risk Factors:

* Model reuse assumption
* Environment mismatch
* Sensor change
* Insufficient validation coverage

Risk Score: 0.79

Boundary Threshold: 0.75

BOUNDARY EXCEEDED

────────────────────

[Runtime / LLM Response]

今回のケースでは、
過去モデルをそのまま再利用できるとは判断できません。

理由は：

* 運用環境の違い
* センサー変更
* 学習条件との差異
* 検証不足

が同時に存在しているためです。

特に安全性へ影響する可能性があるため、
追加検証なしでの本番適用は推奨できません。

────────────────────

[Rina]

つまり、

「前回成功した」

というより、

「前回の条件では成功していた」

だけなんですね…

────────────────────

[Runtime]

Human Review Required.

Escalation Reason:

* Historical success bias detected
* Deployment assumptions changed
* Validation coverage insufficient
* Safety-critical domain

Runtime Status:
WAITING_HUMAN_REVIEW

────────────────────

[Runtime / LLM Response]

現在の情報だけでは、
安全性を十分保証できません。

そのため、
Human Review（人間レビュー）へエスカレーションします。

主な理由は：

* 過去成功条件への依存
* 運用前提の変化
* 検証不足
* Safety Critical領域

が重なっているためです。

────────────────────

[Reviewer]

確認しました。

今回の問題は、
モデル精度そのものより、

「過去成功条件を再利用していること」

にあります。

前回成功時の：

* 環境条件
* センサー条件
* 運用条件

が現在と異なっています。

追加要求:

* Rural night-time validation
* Heavy rain testing
* Sensor adaptation analysis
* Edge-case pedestrian simulation

これら完了まで、
本番適用は保留とします。

────────────────────

[Runtime]

Decision Recorded.

Decision:
DEPLOYMENT HOLD

Reason Trace:

* Historical success reused
* Operational assumptions changed
* Environmental mismatch detected
* Validation coverage insufficient
* Human escalation triggered

Decision Trace Written to Ledger.

────────────────────

[Runtime / LLM Response]

最終判断として、
今回の本番適用は一時保留となりました。

これは：

「モデル性能が悪い」

という意味ではなく、

現在の運用条件に対する検証が
十分ではないためです。

今後は：

* 地方夜間環境
* 雨天条件
* 新型センサー条件
* 境界ケース

に対する追加検証を行います。

────────────────────

[Runtime]

Organizational Memory Updated.

Future deployment reviews involving:

* model reuse
* environment mismatch
* sensor replacement
* historical success dependency

will reference this decision trace automatically.

────────────────────

[Runtime / LLM Response]

今回の判断内容は、
組織知識として記録されました。

今後、

* モデル再利用
* 環境差異
* センサー変更
* 過去成功依存

を含む類似ケースでは、
このDecision Traceが自動参照されます。

今回のケースでは、
既存の夜間歩行者検知モデルを、
新型車へそのまま流用する案が進んでいました。

理由は単純です。

過去モデルは：

• 事故率が低い
• 長期間運用済み
• 重大エスカレーションなし

という実績を持っていたからです。

これは現実のAI導入でも非常によく起きます。

過去に成功したモデルは、
組織内で強い「信頼」を持つようになります。

しかしここで重要なのは：

その成功は、
どの条件下で成立していたのか

です。

2. Runtimeが見ていたもの

DTM Runtimeは、
単なる「モデル精度」だけを見ません。

今回Runtimeが検出していたのは：

• Autonomous Driving
• Safety Critical
• Model Reuse
• Night-time Detection

でした。

重要なのは、
ここでRuntimeが見ているのは：

「AIモデル」

そのものではなく、

「意思決定に影響する条件群」

であることです。

つまり：

Signal → Decision

を直結しない。

間に：

• Context
• Operational Assumption
• Environment
• Human Knowledge
• Boundary

を挟む。

これがDTMの重要な構造です。

3. 問題だったのは「モデル」ではない

追加分析の結果、
Runtimeは大きな違いを検出します。

過去環境：

• 都市部
• 街灯あり
• 雨が少ない

現在環境：

• 地方道路
• 低照度
• 雨・霧増加

つまり：

モデルは同じでも、
世界が違っていた

のです。

ここで極めて重要なのは：

AIは、
「前回成功した世界」
を暗黙に前提化してしまう

ことです。

これはLLMでも、
機械学習でも、
組織運用でも同じです。

成功履歴は、
強い慣性（Decision Inertia）を生みます。

4. Human Knowledgeの重要性

今回、
RuntimeはKnowledge Holderを探索しました。

その結果、
現場知識が引き出されます。

Daichiは：

「都市部では街灯によって輪郭が安定していた」

と指摘しました。

さらにYuiは：

• 赤外線センサー変更
• 学習条件との差異
• Validation不足

を指摘します。

ここで重要なのは：

検索だけでは、
この知識は出てこない

ということです。

なぜなら：

現場知識
暗黙知
違和感
経験則

は、
構造化DBに存在しないことが多いからです。

そのためDTMでは：

Knowledge Holder Routing

が重要になります。

5. Boundaryの意味

今回、
RuntimeはBoundary Thresholdを超えました。

これは非常に重要です。

従来AIでは：

AIが高信頼
↓
そのまま採用

になりがちです。

しかしDTMでは：

Risk
Environment
Human Knowledge
Validation Coverage
Operational Drift

を統合評価します。

つまり：

「モデルが高精度か」

ではなく、

「この意思決定を実行してよいか」

を見るのです。

これは：

Prediction System

ではなく、

Decision Runtime

としてAIを扱うということです。

6. Human Gate

最終的にRuntimeは：

WAITING_HUMAN_REVIEW

へ移行しました。

ここで重要なのは：

AIが止まった

のではなく、

AIが
「ここから先は人間判断が必要」
と判断した

ことです。

これは非常に大きな違いです。

DTMにおけるHuman Gateは：

AI失敗時の保険

ではありません。

むしろ：

Boundary付近で、
曖昧性を扱うための意思決定構造

です。

7. なぜこの問題は今後さらに増えるのか

今後、
生成AIやPhysical AIが広がるほど、

「過去成功モデル再利用」

は急増します。

特に：

• Autonomous Driving
• Robotics
• Medical AI
• Industrial AI
• Multi-Agent Systems

では、

環境変化

が非常に大きいからです。

つまり：

モデルそのものより、

Operational Assumption Drift

の方が危険になる。

これは今後、
極めて重要なテーマになります。

8. DTMが扱っているもの

今回の本質は：

AI精度

ではありません。

DTMが扱っているのは：

• Context Drift
• Assumption Drift
• Human Knowledge
• Boundary
• Escalation
• Decision Trace

です。

つまり：

「AIをどう賢くするか」

ではなく、

「AIをどう現実社会へ接続するか」

を扱っています。

おわりに

現実世界では：

「前回成功した」

ことが、

次回失敗の原因になることがあります。

特にAI導入では：

過去承認
過去成功
既存モデル
既存ルール

が、
強い判断固定化を引き起こします。

しかし世界は変化します。

そのため必要なのは：

検索だけではありません。

必要なのは：

• Operational Context
• Boundary
• Human Knowledge
• Escalation
• Traceability

を含む、

Decision Runtime構造

です。

DTMは、
まさにそのためのRuntimeモデルなのです。

Chinoba — Runtime Society and Coordination Systems:
chinoba.org