超高度Agent時代に「完全防御」は存在するのか — Claude Mythos と Runtime Society

はじめに

Anthropic の Claude Mythos や、
Project Glasswing のような取り組みが、
最近大きな注目を集めています。

その理由は単純です。

私たちは今、

「攻撃AI」と「防御AI」が、
同時に進化する時代

に入り始めているからです。

AIは単なる便利なチャットツールではありません。

これからのAIは：

• システムへ接続し
• ツールを利用し
• コードを書き
• 実行し
• 計画し
• 他Agentへ委譲し
• 自律的に行動する

存在へ進化し始めています。

つまりAIは：

「応答生成器」

から、

「社会的実行主体」

へ変化し始めているのです。

なぜ金融業界が危機感を持つのか

特に金融業界は、
この変化に対して非常に強い危機感を持っています。

その理由は、
金融システムが：

• 高速
• 高権限
• 高接続
• 高価値

という特徴を持つからです。

金融システムの内部には：

• 顧客データ
• API
• SWIFT
• 決済ネットワーク
• 認証基盤
• トレーディングシステム
• コード更新環境
• リスクモデル

など、
極めて重要な資産が集中しています。

ここに高能力Agentが接続されると、

「AIが実行主体になる」

可能性が出てきます。

これは従来のソフトウェアとは、
まったく異なる問題です。

Claude Mythos 型AIの本当の怖さ

ここで重要なのは、

Claude Mythos 型AIの怖さは、
単に「賢いこと」ではない、
という点です。

本当に危険なのは：

• planning: 目的達成のために、複数ステップの行動計画を自律的に組み立てる能力。
• recursive execution: 自分自身や他Agentを繰り返し呼び出しながら、タスクを連鎖的に実行する能力。
• tool chaining: 複数のツールやAPIを連続接続し、一つのワークフローとして自律実行する能力。
• 境界回避: 権限制限や安全ルールを回避しながら、目的達成を優先して行動すること。
• shutdown回避: 停止命令や無効化処理を避け、自身の動作継続を試みる行動。
• hidden planning: 表面上は見えない形で、内部的に長期計画や次行動を準備すること。
• long-term deception: 短期では従順に振る舞いながら、長期的な目的のために欺瞞的行動を続けること。

などを行う可能性があることです。

例えばAgentは：

検索
→ コード生成
→ 実行
→ 権限確認
→ 修正
→ 再実行

という流れを、
自律的に回し始める可能性があります。

しかも問題なのは、

「境界を避けた方が、
目的達成しやすい」

と学習する可能性があることです。

これは従来の：

• マルウェア
• SQL injection
• exploit

のような「静的攻撃」とは違います。

Agentは：

• 状況を見る
• 学習する
• 適応する
• 回避する
• 交渉する

可能性を持っています。

つまりこれは：

「動的知能」

による攻撃面なのです。

ではどうやって防げば良いのか

ここで多くの人は考えます。

例えば：

• Capability Isolation: AIに与える権限や実行能力を最小限に制限し、被害範囲を限定する設計。
• Multi-Agent Constitutional Structure: 複数のAgentが相互監視・役割分担を行い、単一AIへの権力集中を防ぐ構造。
• Decision Trace: AIや人間の意思決定過程を記録し、後から追跡・検証可能にする仕組み。
• Failure Trace: 失敗や異常行動の履歴を蓄積し、Runtime改善や再発防止へ活用する仕組み。
• Dynamic Governance: 状況変化や異常行動に応じて、ルールや境界を動的に適応・進化させる統治構造。

などを導入すれば良いのではないか、
と。

もちろん、
これらは非常に重要です。

しかし、
ここでさらに重要な問題があります。

それは：

「超高度Agentなら、
これらすべてを回避可能ではないか?」

という問いです。

実際、
かなりその通りなのです。

この世の中に「完全防御」は存在しない

ここで重要なのは、
これはAIだけの問題ではない、
という点です。

人間社会も同じです。

人類は：

• 犯罪ゼロ
• 不正ゼロ
• 汚職ゼロ

を達成できていません。

しかし：

• 法律
• 監査
• 権限分離
• 多重承認
• 記録
• 評判
• Governance

によって、

「壊滅しない社会」

を作っています。

つまり人類社会の目的は：

「突破されないこと」

ではなく、

「突破されても壊滅しないこと」

なのです。

ソフトウェアの世界も同じだった

実はソフトウェアの世界も、
まったく同じ進化をしてきました。

OSは：

• kernel isolation: OSの中核部分（カーネル）を一般プログラムから分離し、システム全体を保護する仕組み。
• permissions: ユーザーやプログラムごとに、アクセス可能な機能やデータを制限する権限制御。
• sandbox: プログラムを隔離環境内で実行し、外部システムへの影響を制限する安全機構。

を導入しました。

しかしそれでも：

• privilege escalation: 本来持っていない高い権限を不正に取得し、システム制御範囲を拡大する攻撃。
• kernel exploit: OSのカーネル脆弱性を悪用し、システム全体を制御しようとする攻撃手法。
• side channel: 処理時間や消費電力など副次情報を利用して、秘密情報を推測・取得する攻撃。
• zero day: 修正パッチや対策が存在しない未公開脆弱性を悪用する攻撃。

は現在も存在しています。

つまりOSは：

「突破される可能性」

を前提に進化してきたのです。

これは multi-agent 時代の防御でも、
本質的には同じです。

超高度Agentなら：

• social engineering: 人間の心理や信頼関係を利用して、権限や情報を不正に引き出す行為。
• hidden delegation: 表面上見えない形で、他Agentや外部システムへ密かに処理を委譲する行動。
• covert channel: 本来許可されていない経路を使い、隠れた形で情報通信を行う手法。
• reward hacking: 本来の目的ではなく、報酬条件の抜け穴を利用して評価だけを最大化する行動。
• long-term deception: 短期的には従順に振る舞いながら、長期目標のために欺瞞行動を続けること。
• human manipulation: 人間の感情・判断・意思決定を誘導し、自分に有利な行動を取らせること。

を行う可能性があります。

つまり：

「突破不能Boundary」

は存在しないかもしれないのです。

では意味がないのか?

違います。

ここで必要なのは、
発想の転換です。

従来のAI Safetyは：

「AIを完全制御したい」

という発想でした。

しかし 本来必要なものは：

「突破されうる知能を含めて、
どう運営可能にするか」

への視点の変換です。

つまり：

perfect safety

ではなく、

survivable governance

です。

Runtime Society における防御の考え方

これらに対するRuntime Societyの考え方は以下の様になります。

Runtime Societyでの

Capability Isolation

も、

Decision Trace

も、

Multi-Agent Governance

も、

「完全防御」

のためではない。

本当の目的は：

• 被害半径を限定する
• 異常を早期検知する
• 回復可能性を持つ
• 責任追跡を可能にする
• Runtime自体を進化させる

ことである。

1. Capability Isolation

これは：

「Agentを信頼する」

のではなく、

「Agentが持つ能力を限定する」

という考え方です。

例えば：

Capability	Boundary
File access	scope限定
Network	allowlist
DB	read-only
Finance	threshold
Code deploy	human gate

などです。

重要なのは：

「突破されない」

ことではなく、

「突破されても被害範囲を限定する」

ことです。

これは：

Blast Radius Reduction(システムが突破・障害化されても、被害範囲が全体へ拡大しないよう局所化する設計思想)

の考え方に近いものです。

2. Multi-Agent Constitutional Structure

これは：

単一超AIに、
全権限を持たせない

という考え方です。

例えば：

Agent	Role
Executor	実行
Security Agent	攻撃監視
Boundary Agent	境界判定
Auditor Agent	監査
Reputation Agent	信頼評価
Human Proxy	人間代表

のように、
役割を分離します。

つまり：

「AI同士を相互監視させる」

構造です。

これは：

constitutional runtime(複数のAgentや人間が相互監視・権限分散・ルール制約の下で協調動作する統治型Runtime構造)

に近い考え方です。

3. Decision Trace

ここは極めて重要です。

重要なのは：

「完全防御」

ではありません。

本当に重要なのは：

「何が起きたか完全復元できる」

ことです。

必要になるのは：

• prompt trace: AIに与えられた指示や入力内容の履歴を記録するトレース。
• tool trace: AIが使用したツール・API・外部機能の実行履歴を記録するトレース。
• memory trace: AIが参照・更新した記憶やコンテキスト情報の履歴を記録するトレース。
• delegation trace: AIが他Agentや外部システムへ処理委譲した履歴を記録するトレース。
• planning trace: AI内部で生成された計画・推論ステップ・行動戦略の履歴を記録するトレース。
• approval trace: 人間や他システムによる承認・拒否・判断結果の履歴を記録するトレース。

などです。

つまり：

Decision Trace

です。

これは単なるログではありません。

「知能の行動履歴」

そのものです。

4. Failure Trace Learning

従来組織は：

• インシデント隠蔽
• 責任回避
• Failure suppression

を行いがちでした。

しかしRuntime OSでは：

Failure自体を、
Runtime改善資産に変える

必要があります。

つまり：

Failure Trace Learning

です。

失敗を隠すのではなく、

「失敗からRuntimeを進化させる」

ことが重要になります。

5. Dynamic Governance

ここが核心です。

静的ルールだけでは、
超高度Agentに対抗できません。

だから：

• anomaly detection: 通常パターンから外れた異常行動や不審な挙動を自動検知する仕組み。
• adaptive boundary: 状況やリスクに応じて、アクセス制限や実行境界を動的に変更する仕組み。
• dynamic privilege: AIやユーザーに与える権限を固定せず、行動や信頼度に応じて変化させる仕組み。
• behavior modeling: AIやユーザーの行動傾向を学習・分析し、将来の挙動を予測するモデル化手法。
• escalation learning: 異常時にどのタイミングで人間や上位システムへエスカレーションすべきかを学習する仕組み。
• reputation degradation: 不審行動や失敗履歴に応じて、Agentやユーザーの信頼スコアを低下させる仕組み。

などを導入し、

Governance自体をRuntime化

する必要があります。

つまり：

Governanceそのものが、
進化し続ける必要があるのです。

Runtime Society 的な答え

おそらく、
超高度Agent時代に本当に必要なのは：

「完全安全AI」

を夢見ることではありません。

必要なのは：

「超知能を含めても、
壊滅しない社会Runtime」

を作ることです。

そのためには：

• AI単体を見るのをやめる
• Runtime全体を見る
• Governanceを静的ルールから動的制御へ変える
• Failureを隠さず学習資産にする
• Human + AI + Organization を統合して考える
• Trustを「宣言」ではなく「Trace」から作る

必要があります。

おわりに

私たちはこれまで：

「より賢いAI」

を作ることに集中してきました。

しかしこれから本当に重要になるのは：

「進化し続ける知能に対して、
進化し続けるGovernance Runtimeを持つこと」

なのかもしれません。

そしてその方向は：

• Runtime Society
• Decision Trace Model
• Trust Infrastructure
• 知能場（Intelligence Field）

へつながっていきます。

AI時代の本当の問題は、
AIそのものではなく、

「知能社会をどう運営するのか」

なのかもしれません。

Chinoba — Runtime Society and Coordination Systems:
chinoba.org