AIシステムを設計するとき、
多くの議論は
何ができるか
に集中する。
しかし現実のシステムでは
もっと重要な問いがある。
それは
どこで止めるか
である。
AIは
-
予測する
-
推論する
-
最適化する
しかしAIは
自分で止まることができない。
AIは常に
もっとも確率の高い出力
を生成するだけである。
だからAIシステムには
Boundary（境界）
が必要になる。
Boundaryとは
AIが
どこまで判断してよいか
を定義する仕組みである。
そして同時に
どの条件で人間に判断を戻すか
を決めるものでもある。
AIを安全に運用している企業は
必ずこのBoundary設計を持っている。
ここでは
AIシステムに必要な
7つの境界
を紹介する。
1 不確実性の境界（Uncertainty Boundary）
最も基本的な境界である。
AIの予測には
必ず不確実性が存在する。
例えば
-
不正確率 0.55
-
意図理解スコア 0.41
のような状態では
AIは確信を持っていない。
この場合
AIは判断すべきではない。
例えば
confidence < 0.7
→ 人間レビュー
この境界は
AIが「分からない」ときに止まる
ためのものだ。
2 影響度の境界（Impact Boundary）
AIの判断が
大きな影響を持つ場合
自動化すべきではない。
例えば
-
医療診断
-
高額取引
-
契約変更
-
アカウント停止
などである。
この場合
金額 > 100万円
→ 人間承認
のような境界を設ける。
つまり
影響が大きい判断は人間が行う。
3 未知入力の境界（Novelty Boundary）
AIは
学習した世界
しか理解できない。
つまり
未知の入力に弱い。
例えば
-
新しい商品カテゴリ
-
新しい詐欺パターン
-
未知の言語表現
などである。
この場合
out-of-distribution検出
→ 自動判断停止
のような境界が必要になる。
これは
AIが知らない世界で暴走するのを防ぐ
境界である。
4 前提世界の境界（Context Boundary）
AIモデルは
前提世界
の上で動いている。
例えば
-
市場環境
-
ユーザー行動
-
商品ラインナップ
これらが変化すると
モデルは誤動作する。
例えば
予測誤差 > 閾値
→ モデル停止
のような境界を設ける。
これは
世界が変わったときに止まる
ための境界である。
5 倫理・規制の境界（Ethical Boundary）
AIには
倫理的・法的な制約がある。
例えば
-
差別
-
プライバシー侵害
-
不公平な判断
などである。
この場合
特定属性利用
→ 自動判断禁止
のような境界が必要になる。
これは
AIが社会的責任を侵害しないため
の境界である。
6 人間能力の境界（Human Override Boundary）
AIは
常に正しいわけではない。
だから人間には
AIを止める権限
が必要になる。
例えば
オペレーター
→ AI判断を無効化
監査担当
→ 自動判断停止
この境界は
人間が最終責任を持つ
ために存在する。
7 説明不能の境界（Explainability Boundary）
AIの判断が
説明できない場合
その判断は使うべきではない。
例えば
説明不能
→ 人間レビュー
という境界である。
これは
ブラックボックス判断
を防ぐための境界である。
Boundaryは制限ではない
ここで重要なことがある。
Boundaryは
AIの能力を制限するもの
ではない。
Boundaryは
責任の配置図
である。
つまり
どこまでAIが判断し
どこから人間が判断するのか
を定義している。
AI事故の多くはBoundaryがない
AI事故の多くは
同じ原因から起きる。
それは
Boundaryが存在しないこと
である。
AIは
できるところまで進む。
最適化は
止まらない。
確率は
更新され続ける。
誰も
「ここで止める」
と書かなければ
AIは止まらない。
AI設計の本質
AIシステムを作るとは
モデルを作ることではない。
AIシステムを作るとは
Boundaryを設計すること
である。
AIは
Signalを出す。
Decisionが
行動を決める。
そして
Boundaryが
AIを安全に止める。
コメント