AIについて語るとき、多くの議論は次のような話に集中します。
-
モデル精度
-
データ量
-
パラメータ数
しかしAIが社会の中で実際に使われ始めると、
重要になる問いは少し変わってきます。
それは
このAIは本当に安定して判断できるのか
という問いです。
平均的に正しいだけではなく、
-
環境が変わったとき
-
データが少し変わったとき
-
想定外の入力が来たとき
でも判断が安定しているのか。
この問いは、実はAI研究というよりも
品質工学
の問いに近いものです。
タグチメソッド
以前、Xeroxで仕事をしていたとき、
品質工学の手法を扱う機会がありました。
そこで使われていたのが
タグチメソッド（Taguchi Method）
です。
複写機のような装置には
非常に多くのパラメータがあります。
例えば
-
温度
-
電圧
-
ドラム回転速度
-
トナー濃度
-
紙の条件
-
湿度
こうしたパラメータが
数十、場合によっては数百存在します。
しかしすべての組み合わせを
実験することは現実的ではありません。
そこで使われるのが
直交表（Orthogonal Array）
です。
直交表を使うことで、
少ない実験回数で
-
どのパラメータが品質に効いているのか
-
どのパラメータが影響しないのか
を効率よく見つけることができます。
つまりタグチメソッドは
多数のパラメータの中から
品質に効くパラメータを見つける方法
なのです。
こうした品質工学の考え方は、複写機の品質と安定性を大きく高め、Xeroxが長年にわたり複写機市場で強い競争力を持ち続ける背景の一つになっていました。
Signal / Noise という考え方
タグチメソッドでは
Signal / Noise 比（S/N比）
という概念を使います。
ここでいう
Signalとは
システムが出すべき出力
です。
複写機の場合、
Signalは
コピーされた画像の品質
になります。
一方でNoiseとは
-
温度変動
-
湿度変化
-
材料ばらつき
-
外部環境
などです。
つまり品質工学では
Signalが
Noiseにどれだけ強いか
を評価します。
タグチメソッドをAIシステムにあてはめる
この構造は、AIにも非常によく似ています。
AIシステムにも
多くのパラメータがあります。
例えば
-
モデル構造
-
学習データ
-
プロンプト
-
前処理
-
推論設定
そしてAIにも
多くのNoiseがあります。
例えば
-
データ分布の変化
-
未知入力
-
ノイズデータ
-
ユーザー行動の変化
ではAIシステムにおける
Signal
とは何でしょうか。
それは
AIの判断
ということができると思います。
例えば
-
不正検知AI → 不正かどうかの判断
-
レコメンドAI → 推薦結果
-
カスタマーサポートAI → 回答
-
信用審査AI → 承認・拒否
つまりAIでは
判断そのものがタグチメソッドでのSignal
になります。
AI品質評価の問題
現在のAI評価の多くは
Accuracy
F1
AUC
など、
平均性能を測る指標
です。
しかし品質工学の視点から見ると、
これは
品質評価としては不十分
です。
なぜなら
平均性能が高くても
-
特定条件で判断が崩れる
-
特定入力で誤判定する
-
データ分布変化で性能が落ちる
ことがあるからです。
そして実際のシステムでは、
こうした例外的な状況が
重大な問題を引き起こすことがあります。
例えば
-
不正検知で正常ユーザーを大量にブロックする
-
レコメンドが極端に偏る
-
カスタマーサポートAIが誤回答を連発する
このようなケースでは、
平均精度は高くても
システム全体の品質は大きく損なわれます。
つまりAI品質の本質は本来、
平均精度ではなく
判断の安定性
であるべきなのです。
AI品質工学
ここで重要になるのが
AI品質工学（AI Quality Engineering）
という考え方です。
AI品質工学とは
AIの品質を
平均性能ではなく
判断の安定性
で評価する方法になります。
ここでは
AIの評価は
次の問いになります。
-
どのパラメータが判断品質に効いているのか
-
どの条件で判断が崩れるのか
-
どのノイズが判断を不安定にするのか
これはまさに
タグチメソッドの問い
です。
具体例：レコメンドAI
例えばレコメンドAIを考えてみます。
レコメンドAIには多くのパラメータがあります。
-
モデル構造
-
ハイパーパラメータ
-
学習データ
-
ユーザー特徴量
-
プロンプト
-
推薦アルゴリズム
そしてノイズも存在します。
例えば
-
ユーザー行動の変化
-
新商品
-
季節変動
-
データ不足
このとき重要なのは
平均精度が高いこと
ではありません。
重要なのは
次のような問いです。
-
新商品が増えたとき推薦は崩れないか
-
ユーザー行動が変化したとき推薦は安定しているか
-
データが少ないときでも判断は極端に崩れないか
つまり評価すべきなのは
平均性能ではなく
判断の安定性
なのです。
具体例：不正検知AI
もう一つ分かりやすい例は
不正検知AI
です。
不正検知AIのSignalは
不正かどうかの判断
です。
しかしこの判断は
次のようなノイズに影響されます。
-
新しい不正パターン
-
取引額の変化
-
ユーザー行動の変化
-
国や地域の違い
このとき
平均精度が高くても
-
新しい不正で崩れる
-
特定条件で誤判定が増える
ことがあります。
つまり重要なのは
判断が
どの条件で崩れるのか
を理解することです。
これもまさに
タグチメソッドの問いです。
AIの未来は品質工学に近づく
AIの第一世代は
モデル競争
でした。
誰が一番賢いモデルを作るか。
しかしAIが社会に入るほど
重要になるのは
安定性
です。
つまりAIは
研究テーマから
品質工学の対象
へと変わりつつあります。
Xerox時代に学んだタグチメソッドは
実はAI時代にも
非常に示唆的な方法論なのかもしれません。
なぜなら
複写機のSignalが出力品質だったように
AIシステムでは
判断そのものがSignal
だからです。
そしてAIの品質とは
その判断が
ノイズに対してどれだけ安定しているか
で決まるのです。
コメント