統計的な仮説検定と機械学習技術について

イントロダクション

統計的な仮説検定(Statistical Hypothesis Testing)は、統計学の中で、ある仮説が真であるかどうかを確率的に評価する手法であり、統計手法の評価に用いられるだけではなく、機械学習においても、予測の信頼性評価やモデルの選択と評価に用いられたり、”説明できる機械学習“でも述べているような特徴選択の評価に用いられたり、”異常検知と変化検知技術“で述べている様な正常と異常の判別性能の検証などで用いられるなど、基本的な技術となっている。ここでは、この統計的な仮説検定に関して、様々な手法とそれらの具体的な実装例について述べている。

統計的な仮説検定の概要

統計的な仮説検定(Statistical Hypothesis Testing)は、統計学の中で、ある仮説が真であるかどうかを確率的に評価する手法であり、主に以下の手順に基づいて行われるものとなる。

1. 仮説の設定： 仮説検定の最初のステップは、研究者が検定を行いたい仮説を設定することから始まる。一般的には、以下の2つの仮説を考える。
   • 帰無仮説（Null Hypothesis, H0）： ある効果や関連性が存在しないとする仮説。例えば、2つの平均が等しい、2つの変数が独立しているなど。
   • 対立仮説（Alternative Hypothesis, H1またはHa）： 帰無仮説に対立する仮説。例えば、2つの平均が異なる、変数間に関連性があるなど。
2. データの収集と要約： 必要なデータを収集し、データを適切に整理して要約する。データの要約方法は、データの種類や目的によって異なる。
3. 統計的尺度の計算： 計算されたデータから、統計的な尺度を求める。この尺度は、帰無仮説が真である場合にどれだけの確率でそのようなデータが得られるかを示すものとなる。尺度の選択は、仮説検定のタイプやデータの性質によって異なるが、例えば、t検定、カイ二乗検定、ANOVAなどがある。
4. 有意水準の設定： 有意水準(Significance Level)は、帰無仮説を棄却する基準となる確率の閾値を意味する。代表的な有意水準としては、通常は0.05（5%）が使われるが、研究の目的や分野によって変えることがある。
5. 結果の解釈と判断： 計算された統計的尺度をもとに、帰無仮説が棄却されるかどうかを判断する。具体的には、計算された尺度があらかじめ設定した有意水準より小さい場合、帰無仮説を棄却し、対立仮説を採用することが一般的となる。逆に、尺度が有意水準以上の場合、帰無仮説を棄却せず、データが帰無仮説を支持していると解釈される。

統計的な仮説検定は、科学的研究や実務的な問題の解決において、データに基づいて客観的な判断を行うために広く用いられる方法となる。しかしながら、検定結果の解釈には注意が必要であり、統計的な有意性と実際の意義の区別を正しく行うことが重要となる。

統計的な仮説検定の種類

統計的な仮説検定にはさまざまな種類があり、それぞれ異なる目的やデータの性質に応じて使い分けられる。以下に代表的な統計的な仮説検定の種類について述べる。

t検定（t-test）

<概要>

t検定は、2つの平均値の間に差があるかどうかを検定するための手法となる。2つのサンプルの平均と分散を用いて、帰無仮説(平均が等しい)と対立仮説(平均が異なる)を検定する。一元配置t検定と対応のあるt検定の2つの主なバリエーションがある。

以下に、一元配置t検定と対応のあるt検定について述べる。

• 一元配置t検定（Independent Samples t-test）: 一元配置t検定は、2つの独立なサンプルの平均値の差が統計的に有意かどうかを検定するものとなる。これは、2つの異なるグループ(例えば、新しい薬と偽薬を受けたグループ)の平均値を比較する際に使用される。ここで用いられる仮説は以下の2つとなる。
  • 帰無仮説（H0）: 2つのグループの平均値は等しい。
  • 対立仮説（Ha）: 2つのグループの平均値は等しくない。
• 対応のあるt検定（Paired Samples t-test）: 対応のあるt検定は、同じサンプルの前後での平均値の変化が統計的に有意かどうかを検定するものとなる。これは例えば、治療前と治療後のデータを比較する際に使用される。仮説は以下のようなものがある。
  • 帰無仮説（H0）: 平均値の差は0である（変化がない）。
  • 対立仮説（Ha）: 平均値の差は0でない（変化がある）。

t検定の手順は以下のようになる。

1. サンプルから平均値と標準偏差を計算する。
2. 2つの平均値の差を計算し、標準誤差を求める。
3. t値を計算する。t値は、平均値の差を標準誤差で割ったものとなる。
4. t値を基に、t分布表や統計ソフトウェアを使用してp値を求める。
5. 計算されたp値を、あらかじめ設定した有意水準(通常は0.05)と比較し、帰無仮説を棄却するかどうかを判断する。

p値が有意水準より小さい場合、帰無仮説を棄却し、対立仮説を採用し、否定的な結果を受け入れるか、さらなる調査を行うかは、研究の目的や文脈によるものとなる。

<実装例>

ここでは、Pythonのscipyライブラリを使用して、独立2群のt検定と対応のあるt検定の実装方法を示す。

独立2群のt検定は、2つの独立したサンプルの平均値が統計的に有意に異なるかどうかを検定するものとなる。

import numpy as np
from scipy.stats import ttest_ind

# ダミーデータの作成
np.random.seed(42)
group1 = np.random.normal(10, 2, 30)
group2 = np.random.normal(12, 2, 30)

# 独立2群のt検定の実行
statistic, p_value = ttest_ind(group1, group2)

# p 値を表示
print("p値:", p_value)

# 有意水準を設定
alpha = 0.05

# p 値と有意水準を比較して仮説を判断
if p_value < alpha:
    print("帰無仮説を棄却：2つの群の平均値は統計的に有意に異なる")
else:
    print("帰無仮説は棄却されない：2つの群の平均値は統計的に有意に異ならない")

対応のあるt検定は、同じ対象に対する2つの測定の平均値が統計的に有意に異なるかどうかを検定するものとなる。

import numpy as np
from scipy.stats import ttest_rel

# ダミーデータの作成
np.random.seed(42)
before = np.array([15, 20, 25, 30, 35])
after = np.array([12, 18, 24, 29, 32])

# 対応のあるt検定（ペアのt検定）の実行
statistic, p_value = ttest_rel(before, after)

# p 値を表示
print("p値:", p_value)

# 有意水準を設定
alpha = 0.05

# p 値と有意水準を比較して仮説を判断
if p_value < alpha:
    print("帰無仮説を棄却：2つの測定の平均値は統計的に有意に異なる")
else:
    print("帰無仮説は棄却されない：2つの測定の平均値は統計的に有意に異ならない")

上記の例では、ttest_ind関数を使用して独立2群のt検定を、ttest_rel関数を使用して対応のあるt検定（ペアのt検定）を実装している。取得した p 値を用いて、帰無仮説を棄却するかどうかを判断する。

カイ二乗検定（Chi-squared test）

<概要>

カイ二乗検定は、カテゴリカルなデータの適合度や独立性を検定するための手法となる。特に、観測されたデータと理論的な予測との間の適合度を検定するために使用され、カテゴリカルデータの観測度数と期待度数の差を用いて、帰無仮説(カテゴリカルデータが理論的な分布に従う)と対立仮説(カテゴリカルデータが分布に従わない)を検定するものとなる。カイ二乗検定には、主に次の2つの検定方法がある。

• 適合度検定(Goodness-of-Fit Test)： これは、与えられたカテゴリカルデータが、事前に仮定された理論的な分布と適合しているかどうかを検定するために使われるものとなる。具体的には、観測された各カテゴリの出現回数と、理論的な分布に基づいて予測される出現回数とを比較し、カイ二乗検定の結果から、観測されたデータと理論的な期待値との間に統計的に有意な違いがあるかどうかを評価する。
• 独立性検定(Independence Test)： カイ二乗独立性検定は、2つ以上のカテゴリカル変数が互いに独立しているかどうかを検定するために用いられる。これは、クロス集計表(連関表)を作成して、観測されたデータと期待される独立の場合のデータとの違いを評価することで行われ、独立性検定は、2つの変数間の関連性や影響を調査する際に役立つ。

カイ二乗検定の手順は、まず観測されたデータと理論的な予測(または別のカテゴリカル変数との関連性)との間の差異を計算し、それを統計的な尺度であるカイ二乗値としてまとめ、その後、カイ二乗値が自由度と有意水準に基づいて、統計的に有意なかどうかを判断するものとなる。

ただし、カイ二乗検定はいくつかの前提条件を満たす必要がある。例えば、各セルの期待度数が一定の閾値を下回らないことなどとなる。また、カイ二乗検定はサンプルサイズが大きい場合に有効であり、小さなサンプルサイズでは適用する際に注意が必要となる。

カイ二乗検定は、カテゴリカルデータの分析や関連性の調査に広く利用される強力な統計手法の一つだが、適切な前提条件と解釈が重要となる。

<実装例>

ここでは、Pythonのscipyライブラリを使用して、カイ二乗検定(カイ二乗適合度検定とカイ二乗独立性検定)の実装方法について示す。

カイ二乗適合度検定は、観測度数と期待度数の差が偶然的かどうかを検定する。例として、サイコロの出目の分布が一様であるかどうかを検定することを考える。

import numpy as np
from scipy.stats import chisquare

# ダミーデータの作成
observed_frequencies = np.array([10, 15, 12, 18, 20, 25])  # サイコロの各出目の観測度数
expected_frequencies = np.array([20, 20, 20, 20, 20, 20])  # 一様分布の場合の期待度数

# カイ二乗適合度検定の実行
statistic, p_value = chisquare(observed_frequencies, f_exp=expected_frequencies)

# p 値を表示
print("p値:", p_value)

# 有意水準を設定
alpha = 0.05

# p 値と有意水準を比較して仮説を判断
if p_value < alpha:
    print("帰無仮説を棄却：出目の分布は一様でない")
else:
    print("帰無仮説は棄却されない：出目の分布は一様")

カイ二乗独立性検定は、2つの変数が互いに独立しているかどうかを検定する。例として、性別と好きなスポーツの選択が独立しているかどうかを検定することを考える。

import numpy as np
from scipy.stats import chi2_contingency

# ダミーデータの作成
data = np.array([[50, 30], [40, 60]])  # 行：性別、列：スポーツの選択

# カイ二乗独立性検定の実行
statistic, p_value, dof, expected = chi2_contingency(data)

# p 値を表示
print("p値:", p_value)

# 有意水準を設定
alpha = 0.05

# p 値と有意水準を比較して仮説を判断
if p_value < alpha:
    print("帰無仮説を棄却：性別とスポーツの選択は独立でない")
else:
    print("帰無仮説は棄却されない：性別とスポーツの選択は独立")

上記の例では、chisquare関数を使用してカイ二乗適合度検定を実装し、chi2_contingency関数を使用してカイ二乗独立性検定を実装している。取得した p 値を用いて、帰無仮説を棄却するかどうかを判断する。

ANOVA（Analysis of Variance）

<概要>

ANOVAは、3つ以上のグループ(または条件)の平均値に差があるかどうかを検定する手法となる。ANOVAは、2つのグループの平均値を比較するt検定を拡張したものであり、複数のグループの比較に適している。ANOVAでは、異なるグループ間の平均値の差を比較し、帰無仮説(すべてのグループの平均が等しい)と対立仮説(少なくとも一つのグループの平均が異なる)を検定する。ANOVAには、一元配置の分散分析や二元配置の分散分析など、主に2つのバリエーションがある。

• 一元配置分散分析(One-Way ANOVA): 一元配置分散分析は、1つの説明変数(グループまたは条件)によって影響を受ける連続的な目的変数を分析するものとなる。それらを複数のグループに適用し、それらのグループ間の平均値に統計的に有意な違いがあるかどうかを検定する。仮説には以下のようなものがある。
  • 帰無仮説（H0）: すべてのグループの平均値は等しい。
  • 対立仮説（Ha）: 少なくとも1つのグループの平均値は異なる。
• 二元配置分散分析（Two-Way ANOVA）: 二元配置分散分析は、2つの説明変数(要因)によって影響を受ける連続的な目的変数を分析するものとなる。これにより、2つの説明変数の影響とその交互作用を同時に評価できる。この手法は、主効果と交互作用効果を検証するために使われる。

ANOVAの手順は以下のようになる。

1. サンプルから各グループの平均値と標準偏差を計算する。
2. 平均値の間の変動（間隔変動）と各グループ内の変動（内部変動）を計算する。
3. 変動の比率を求め、F値を計算する。F値は、間隔変動と内部変動の比率となる。
4. F値を基に、F分布表や統計ソフトウェアを使用してp値を求める。
5. 計算されたp値を、あらかじめ設定した有意水準（通常は0.05）と比較し、帰無仮説を棄却するかどうかを判断する。

p値が有意水準より小さい場合、帰無仮説を棄却し、少なくとも1つのグループの平均値が統計的に有意に異なることを示す。ANOVAの結果が有意である場合、さらに事後検定(post hoc test)を行って、具体的なグループ間の差異を詳しく調査することも一般的なアプローチとなる。

<実装例>

ここでは、Pythonのscipyライブラリを使用して、単純な一因子のANOVAを実装する方法を示す。

前提として、以下のようなデータがあると仮定し、複数の群があり、それぞれの群の平均値が同じかどうかを調べるために、ANOVAを行う。

import numpy as np
from scipy.stats import f_oneway

# ダミーデータの作成
np.random.seed(42)
group1 = np.random.normal(10, 2, 30)  # 平均10, 標準偏差2
group2 = np.random.normal(12, 2, 30)  # 平均12, 標準偏差2
group3 = np.random.normal(15, 2, 30)  # 平均15, 標準偏差2

# 3つの群をまとめてデータとして扱う
data = [group1, group2, group3]

# 一因子のANOVAを実行
statistic, p_value = f_oneway(*data)

# p 値を表示
print("p値:", p_value)

# 有意水準を設定
alpha = 0.05

# p 値と有意水準を比較して仮説を判断
if p_value < alpha:
    print("帰無仮説を棄却：少なくとも1つの群の平均が異なる")
else:
    print("帰無仮説は棄却されない：すべての群の平均は同じ")

このコードでは、3つのダミーデータ群を作成し、それぞれの群の平均値が同じかどうかをANOVAで検定している。結果として得られる p 値を用いて、帰無仮説(すべての群の平均は同じ)を棄却するかどうかを判断する。

f_oneway関数は、複数の群を入力として受け取り、一因子のANOVAの統計量(F値)と p 値を計算し、p 値を通常の有意水準と比較して、帰無仮説を棄却するかどうかを判断する。

回帰分析（Regression Analysis）

<概要>

回帰分析は、変数間の関係性を調べるための手法で、主に説明変数(独立変数)と目的変数(従属変数)の関係をモデル化化し、その関係性を評価する手法するものとなる。単回帰分析は1つの説明変数と目的変数の関係を、重回帰分析は複数の説明変数と目的変数の関係を考察し、係数の有意性やモデル全体の適合度を検定する。

• 単回帰分析(Simple Linear Regression): 単回帰分析は、1つの説明変数と1つの目的変数との間の関係をモデル化する手法となる。線形回帰モデルを使用して、説明変数が目的変数に与える影響を評価し、目的変数の変動を説明変数でどれだけ説明できるかが評価される。
• 重回帰分析(Multiple Linear Regression): 重回帰分析は、2つ以上の説明変数と1つの目的変数との間の関係をモデル化する手法となる。複数の説明変数が目的変数に与える影響を同時に評価し、各説明変数の係数とモデル全体の適合度が評価される。

回帰分析における統計的な仮説検定の主要な要素は、説明変数の係数に関するものであり、通常、以下の仮説が考えられる。

• 帰無仮説（H0）: 説明変数の係数はゼロであり、目的変数に影響を与えない。
• 対立仮説（Ha）: 説明変数の係数はゼロではなく、目的変数に影響を与える。

統計的な仮説検定は、説明変数の係数に対するt検定を通じて行われる。具体的な手順は以下のようになる。

1. 回帰モデルを構築し、説明変数の係数と切片を推定する。
2. 各説明変数の係数に対するt値を計算する。t値は、係数を標準誤差で割ったものとなる。
3. t値を基に、t分布表や統計ソフトウェアを使用してp値を求める。
4. 計算されたp値を、あらかじめ設定した有意水準（通常は0.05）と比較し、帰無仮説を棄却するかどうかを判断する。

p値が有意水準より小さい場合、帰無仮説を棄却し、対立仮説を支持する。つまり、その説明変数は目的変数に統計的に有意な影響を与えることが示される。回帰分析の結果を解釈する際には、p値だけでなく、係数の実際の大きさや意義も考慮することが重要となる。

<実装例>

以下の例では、Pythonのstatsmodelsライブラリを使用して、回帰分析と t 検定を実装している。

前提として、以下のようなデータがあると仮定する。独立変数 X と従属変数 y があり、X が y を予測する効果を調べるための単回帰分析を行う。

import numpy as np
import statsmodels.api as sm

# ダミーデータの作成
np.random.seed(42)
X = np.random.rand(50) * 10
y = 2 * X + 3 + np.random.randn(50)

# 定数項を追加
X = sm.add_constant(X)

# 単回帰モデルの構築
model = sm.OLS(y, X).fit()

# 回帰分析の結果を表示
print(model.summary())

このコードでは、ダミーデータを作成し、単回帰モデルを構築し、その結果を表示している。回帰分析の結果には、回帰係数や t 値などが含まれている。

さらに、回帰分析を通じて得られた結果をもとに、統計的仮説検定を行う。例として、単回帰分析における独立変数の係数がゼロであるか(効果がないか)を検定することを考える。この場合、帰無仮説（H0）は「係数 = 0」、対立仮説（H1）は「係数 ≠ 0」となる。

model.summary() の出力には、係数の t 値や p 値も表示されている。ここから p 値を取得し、統計的仮説検定を行う。

# t 検定を実行
t_statistic = model.tvalues[1]  # 独立変数の係数の t 値
p_value = model.pvalues[1]  # 独立変数の係数の p 値

# p 値を表示
print("p値:", p_value)

# 有意水準を設定
alpha = 0.05

# p 値と有意水準を比較して仮説を判断
if p_value < alpha:
    print("帰無仮説を棄却：係数はゼロではない")
else:
    print("帰無仮説は棄却されない：係数はゼロとは異ならない")

この例では、取得した p 値と事前に設定した有意水準(ここでは0.05)を比較して、帰無仮説を棄却するかどうかを判断している。もし p 値が有意水準より小さい場合、帰無仮説を棄却し、独立変数の係数はゼロではないと結論している。

非パラメトリック検定

<概要>

データの性質について事前の仮定が難しい場合に使用される統計的な仮説検定の手法である非パラメトリック検定(Non-parametric Test)は、データが正規分布を満たさない場合に使用され、データの分布に依存せずに仮説を検定するアプローチとなる。この手法は、こうした特徴により、非正規分布や外れ値の影響に強いとされている。

以下に、いくつかの代表的な非パラメトリック検定について述べる。

• Wilcoxonの順位和検定(Wilcoxon Signed-Rank Test): 対応のある2つのサンプルの平均値や中央値の差が統計的に有意かどうかを評価するための手法となる。データの順位を用いて仮説を検証する。
• Mann-Whitney U検定: 独立した2つのサンプルの平均値や中央値の差が統計的に有意かどうかを評価するための手法となる。データの順位を用いて2つのサンプルを比較する。
• Kruskal-Wallis検定: 3つ以上の独立なサンプルの平均値や中央値の差が統計的に有意かどうかを評価する手法となる。これはANOVAに対応する非パラメトリック検定となる。
• Friedman検定: 3つ以上の対応のあるサンプルの平均値や中央値の差が統計的に有意かどうかを評価する手法となる。この手法はKruskal-Wallis検定に対応する非パラメトリック検定となる。

非パラメトリック検定の手順は、データの順位や順序を計算し、それに基づいて統計的な尺度(例: U値)を計算する。この尺度を使用して、帰無仮説が棄却されるかどうかを判断する。非パラメトリック検定は、特にデータが正規分布に従わない場合や、小さなサンプルサイズの場合に有用なアプローチとなる。

ただし、非パラメトリック検定は情報を失うことがあるため、できるだけ通常のパラメトリック検定を検討した方が良い場合もある。

<実装例>

ここでは、代表的な非パラメトリック検定であるWilcoxonの順位和検定(Wilcoxon Signed-Rank Test)とMann-Whitney U検定(Wilcoxon Rank-Sum Test)の実装例を示す。

以下のコードは、Pythonのscipyライブラリを使用してWilcoxonの順位和検定とMann-Whitney U検定を実行する簡単な例となる。

import numpy as np
from scipy.stats import wilcoxon, mannwhitneyu

# 例：Wilcoxonの順位和検定
# 2つの関連したサンプル（対応あり）
data_before = np.array([15, 20, 25, 30, 35])
data_after = np.array([12, 18, 24, 29, 32])

# Wilcoxonの順位和検定
statistic, p_value = wilcoxon(data_before, data_after)
print("Wilcoxonの順位和検定結果:")
print("統計量:", statistic)
print("p値:", p_value)
print()

# 例：Mann-Whitney U検定
# 2つの独立したサンプル（対応なし）
group1 = np.array([23, 28, 32, 35, 40])
group2 = np.array([18, 25, 30, 33, 36])

# Mann-Whitney U検定
statistic, p_value = mannwhitneyu(group1, group2)
print("Mann-Whitney U検定結果:")
print("統計量:", statistic)
print("p値:", p_value)

統計的な仮説検定の課題と対応策

<課題>

統計的な仮説検定は強力なツールだが、いくつかの課題や制約も存在します。以下にいくつかの主な課題について述べる。

1. サンプルサイズの影響: 小さなサンプルサイズでは、統計的な検定の力が制限されることがある。小さいサンプルサイズでは、真の効果や関連性を検出するための能力が低下し、結果が誤った結論につながる。
2. 多重比較の問題: 多重比較を行う場合、帰無仮説が棄却される確率が増加し、誤った結果を得る可能性がある。これをコントロールするために、ボンフェローニ補正などの手法が使用されるが、それでも全ての誤りを完全に排除するのは難しい場合がある。
3. 正確な分布の仮定: 仮説検定手法は、データが特定の確率分布に従うという前提を基にしている。しかし、実際のデータがその分布に厳密に従っているかどうかは常に保証されない。特に、小さなサンプルサイズや外れ値の影響を受けることがある。
4. 結果の解釈と意義: 統計的な有意性だけでなく、実際の意義も考慮する必要がある。統計的に有意であっても、効果の大きさや実用的な意味について考えることが重要であり、小さい効果が統計的に有意と判定されても、それが実務上重要であるかどうかは別の問題となる。
5. 選択バイアス: 分析者が複数の仮説検定を試し、有意な結果を選んで報告する場合、選択バイアスが生じる可能性がある。これにより、偽陽性(誤った有意性)のリスクが増加する。
6. 効果の不連続性: 実際の現象や効果が連続的である場合に、ディスクリートな帰無仮説との比較によって適切な結論が得られないことがある。連続的な効果を適切にモデル化するためには、別の手法が必要な場合もある。

<対応策>

統計的な仮説検定の課題に対処するための対応策を以下に示す。

1. サンプルサイズの影響に対する対応策: サンプルサイズが小さい場合、効果を検出する力が低下する。大きなサンプルサイズを使用するか、適切な効果サイズを見積もることで、結果の信頼性を向上させることができる。
2. 多重比較の問題に対する対応策: 多重比較による誤りを抑えるためには、ボンフェローニ補正やホルム補正などの手法を使用して、有意水準を修正することができる。また、明確な予測をもとにして特定の仮説検定を行うことで、無作為な多重比較を避ける方法も考えられる。
3. 正確な分布の仮定に対する対応策: 非正規分布のデータに対しては、非パラメトリック検定を使用することで、分布の仮定に頼らずに仮説検定を行うことができる。また、ブートストラップ法を用いて分布を推定することもある。
4. 結果の解釈と意義に対する対応策: 統計的な有意性だけでなく、効果の大きさや実用的な意味を評価するために、信頼区間や効果サイズの計算を行うことが有用となる。また、専門家や関係者との議論を通じて、結果の意義を評価することも重要となる。
5. 選択バイアスに対する対応策: 仮説検定を行う前に、事前に計画された分析プランを作成することで、選択バイアスを減少させることができる。また、結果を正直に報告することや、追加の調査や再検討が必要な場合にはその旨を明記することも重要となる。
6. 効果の不連続性に対する対応策: 連続的な効果をモデル化するためには、回帰分析などの手法を使用することで、より現実的な結果を得ることができる。また、効果の性質に応じて適切な検定手法を選択することも重要となる。

統計的仮設検定の適用事例について