🎥 YouTubeでも公開しています
障害対応の「最初の15分」を変える|Proactive Investigation Agentによる証拠収集と調査支援

システム障害や異常値が発生したとき、オンコール担当者が最初に行う作業は、たいてい同じである。
- アラートの内容を確認する
- ダッシュボードを開く
- エラーログを探す
- 直近のデプロイや設定変更を確認する
- 関連するチケットや変更履歴を読む
- 同じ時間帯に起きた別の異常を探す
- 影響範囲を推定する
この初動調査は重要である一方、時間がかかる。しかも、障害の最中には情報が複数の場所に分散しており、担当者は限られた時間の中で仮説を立てなければならない。
そこで有効になるのが、Proactive Investigation Agentである。
これは、障害、異常値、回答品質の低下などを検知した時点で、オンコール担当者が調査を始める前に、ログ・変更履歴・関連するDecision Traceを収集し、根拠付きの一次調査報告を作るAIである。
ただし、このAIは自動復旧を目的にしない。
役割は、障害を勝手に直すことではなく、人が安全に判断を始められる状態を先につくることである。
障害対応で最も失われやすいのは、最初の15分である
障害対応では、原因を修正する作業よりも前に、「何が起きているのか」を把握する時間が必要になる。
例えば、APIエラー率が急上昇したとする。この時点では、原因候補がいくつもある。
- 直近のアプリケーション更新
- 外部APIの遅延や障害
- データベース接続枯渇
- 特定テナントからの急なアクセス増加
- 設定変更やシークレット更新
- バックグラウンドジョブの滞留
- ネットワークや認証基盤の問題
アラート自体は「エラー率が上がった」としか伝えない。オンコール担当者は、そこから関連情報を集め、切り分けなければならない。
Proactive Investigation Agentは、アラートを受け取った瞬間に、調査のための情報収集を始める。
- 発生時刻の前後にあるログ
- 影響を受けたAPI、ジョブ、テナント、リージョン
- エラー種別と急増した条件
- 直近のデプロイ、設定変更、Feature Flag変更
- 依存サービスの稼働状態
- 過去の類似インシデントとRunbook
- 関連するDecision Traceと承認履歴
人が最初からすべてを探すのではなく、調査の入口が整理された状態で受け取れる。
AIの役割は「原因を断定すること」ではない
障害対応にAIを使うと、「AIに自動復旧させればよい」と考えたくなる。
しかし、本番環境の復旧操作には、データ消失、二次障害、セキュリティ、顧客影響、契約上の問題など、多くのリスクがある。
例えば、AIが次のような操作を自動で行えば危険になり得る。
- 本番データベースの再起動
- キューの削除や再投入
- Feature Flagの無効化
- ロールバックの実行
- 顧客向けメールの送信
- アクセス制限の解除
- コスト増につながるリソースの大幅な増強
Proactive Investigation Agentは、原則としてこうした変更操作をしない。
その代わり、次のような形で仮説と証拠を提示する。
10:03 JSTから決済APIの5xxエラー率が上昇しています。
10:01 JSTに認証サービスの設定変更が反映され、その直後からtoken_validation_failedが急増しました。
決済API以外でも、同じ認証エラーが3サービスで確認されています。
設定変更との時間的相関は高いですが、原因は未確定です。承認済みの切り戻し手順はRunbook v3.2に記載されています。
このように、AIは推測を結論として扱わず、観測事実・関連性・不確実性を分けて示す。
一次調査報告に必要な項目
調査報告は、長大なログの要約ではない。オンコール担当者が最初の判断をできる形に構造化されている必要がある。
| 項目 | 内容 |
|---|---|
| 事象の概要 | 何が、いつ、どの程度起きているか |
| 影響範囲 | 影響を受けた機能、利用者、地域、テナント |
| 時系列 | 発生前後のアラート、変更、異常の並び |
| 観測根拠 | ログ、メトリクス、トレース、監視画面への参照 |
| 関連変更 | デプロイ、設定変更、Feature Flag、依存先変更 |
| 関連Decision Trace | 実行主体、承認者、ルール、ツール、実行結果 |
| 仮説 | 根拠のある原因候補と、その確信度 |
| 未確認事項 | 権限不足、ログ欠落、取得不能な情報 |
| 推奨する次の確認 | 追加で見るべきログ、確認先、Runbook |
| 禁止・保留操作 | 人の承認なしに実行してはいけない操作 |
この報告の目的は、AIがインシデントマネージャーになることではない。担当者が必要な根拠へすぐ到達し、判断を開始できるようにすることである。
変更履歴とDecision Traceを結びつける
障害の直前には、何らかの変更が入っていることが多い。
しかし、単にGitのコミット一覧やデプロイ履歴を見るだけでは不十分である。重要なのは、その変更がなぜ行われ、誰が承認し、どのルールのもとで実行されたかを確認することだ。
Decision Traceを使えば、変更に関する一連の流れを追跡できる。
- 誰が変更を提案したか
- どの設計書・チケット・障害報告を根拠にしたか
- AIが提案やレビューに関与したか
- どのテスト・検証結果を確認したか
- 誰が承認したか
- いつ、どの環境へデプロイされたか
- 実行後の監視結果はどうだったか
これにより、調査は「直近の変更が怪しい」という印象論から始まらない。
この設定変更は、10:01 JSTに承認済みワークフローを通じて反映されました。
ステージングでは認証エラーは確認されていません。
ただし、本番のみで有効なテナント別設定が検証対象から除外されていました。
このように、変更の中身だけでなく、判断と検証の過程まで確認できる。
「分からない」を正しく残す
一次調査において、もっとも危険なのは、AIが情報の空白をもっともらしい説明で埋めることだ。
例えば、監視ログが欠落している、外部サービスの詳細ログにアクセスできない、取得範囲が制限されている場合、AIはそれを明示しなければならない。
09:50〜10:10 JSTのジョブ実行ログは保持期限の設定不備により取得できません。
そのため、バックグラウンドジョブの遅延が原因であるかどうかは現時点で判定できません。
このようなUnknownを、正常や無関係として扱わないことが重要である。
信頼できる調査AIは、原因を早く断定するAIではない。確認できたことと、確認できていないことを正確に区別できるAIである。
回答品質の低下も、調査対象にする
Proactive Investigation Agentの対象は、インフラ障害だけではない。
AIシステム自身の品質低下も、検知と一次調査の対象になる。
例えば、次のような兆候がある。
- 回答に根拠引用が付かないケースが増えた
- 検索結果に古い資料が多く含まれる
- 回答の差し戻し率や再質問率が上がった
- 特定の業務領域でUnknownが急増した
- ツール呼び出しの失敗率が上がった
- 意図しないデータソースへのアクセス試行が増えた
こうした場合も、Agentは直近のモデル・プロンプト・検索インデックス・権限設定・ポリシー変更・データ連携状況を収集し、品質低下の可能性を整理できる。
AIを運用するなら、AIの品質そのものも監視対象にしなければならない。
自動復旧をしないからこそ、導入しやすい
Proactive Investigation Agentを、最初から自動復旧エージェントとして設計する必要はない。
むしろ、変更権限を与えず、調査と報告に限定することで、安全に導入できる。
| 機能 | Proactive Investigation Agentの扱い |
|---|---|
| アラート受信 | 実行する |
| ログ・メトリクス収集 | 許可された範囲で実行する |
| 変更履歴・Decision Trace参照 | 実行する |
| 類似障害・Runbook検索 | 実行する |
| 原因候補の整理 | 実行する |
| 一次調査報告の作成 | 実行する |
| 本番設定の変更 | 実行しない |
| 再起動・ロールバック | 実行しない |
| 顧客への外部通知 | 原則として実行しない |
| 復旧判断 | 人が行う |
まずは「調べるが、変えない」AIとして導入する。
この境界が明確なら、運用チームはAIの提案を利用しながら、復旧に関する責任と最終判断を維持できる。
結び:AIは復旧担当者より先に、調査担当者になるべきである
障害対応で価値を持つAIは、勝手にシステムを復旧するAIとは限らない。
より現実的で有用なのは、異常を検知した時点で必要な証拠を集め、変更履歴とDecision Traceを結びつけ、オンコール担当者がすぐ判断を始められる状態をつくるAIである。
- 何が起きているか
- どこに影響しているか
- 直前に何が変わったか
- どの証拠が原因候補を支持しているか
- 何が未確認なのか
- 次に何を確認すべきか
これらを根拠とともに示し、判断と復旧操作は人に残す。
Proactive Investigation Agentは、AIに運用を丸投げするための仕組みではない。
人がより早く、より落ち着いて、より説明可能な判断をできるようにするための、AI時代の一次調査基盤である。

Chinoba
Intelligence as Relationship
Research Platform
founded by
Masao Watanabe
AI Systems Architecture
Decision Trace
Human–AI Coordination
Algorithmic Governance
Related Research
この記事は Chinoba Knowledge Base の一部です。

コメント