科学的思考(3)確証バイパスと4分割表

科学的思考(3)確証バイパスと4分割表

前回は仮説を推論するための各種推論方法、特に仮説演繹法について述べた。今回はそれら推論した仮説を検証する方法について述べる。

科学的思考のレッスン

前回述べた仮説推論を行った後、単なる言いっぱなしにならない為にも、その仮説が正しいかどうかを検証する必要がある。「検証」という言葉は、詳しく調べるという意味で使われることもあるが、ある仮説が正しいかどうかを確かめる行為がそもそもの意味だ。

検証について考えるために、例として、3つの自然数の列を言い、その列が自分の心の中の規則に当てはまっている場合にイエス、違っていたらノーと答えるケースを考え、答えを推論するために何らかのヒントを出すケースを考える。ここで、ヒントとして「2,4,6」でイエスだと言うものが与えられた場合、全てが同じルールに当てはまる場合(例えば偶数である)には、ある程度推論することが可能だが、3の数字それぞれに異なったルールがある場合には、なかなか答えには到達しないものとなる。

このような場合、正解例の数字だけ与えられるだけではダメで、より良い仮説を見つけるためには、仮説に合わないもの(反事例)を提示しないと、絶対に正解には到達しない。ところが多くの人は、この事例はこうじゃないかと思って確かめるときに、そこに当てはまる例だけを探してしまう(予測している仮説だけを考える)ことに陥る。これは「確証バイパス」と呼ばれる。

この確証バイパスを考える例として「4枚カード問題(ウェイソン選択)」というものがある。これは今目の前に4枚のカードがあり、それぞれ片面にアルファベットが、もう片面には数字がかかれてあるとする。例えば、カードとして「A」「K」「4」「7」があったとき、「片面が母音ならば、そのカードのもう片面は偶数でなければならない」と言うルールが成り立つ為には、最低限どのカードを調べなければならないか?と言う問題となる。

これに対して確証バイパスがかかっている人の場合は、ルールを満たしている「A」「4」のみを調べてしまう。この選択をすると、正しいものは確認できるが、ルールにあっていないものが存在する場合には確認できない。この場合の論理学的正解は、「A」と「7」で、「7」の裏側が母音でなければすべてのルールが当てはまることが確認できる。(このルールでは子音は裏は何であってもよく、「K」の裏は偶数基数どちらでも許容され、「4」の裏も母音、子音どちらでも許容される)

前回述べたアドホック(その場しのぎ)の仮説は正に、この確証バイパスに基づいて立てられている為、検証の確信度が落ちるものであるとも考えられる。

このように仮説検証を行う為には、正例と共に反例も重要となり、仮説を検証するための検証実験はそれらの考え方に基づいて行われる必要がある。ここで、機械学習を行う際に用いる4分割表による評価について述べる。分類のような一般的な機械学習ではテストデータの評価に対して以下に示すような4つに分解した領域での評価を行う。

まずTP(True Positive)は真陽性と呼ばれるもので、機械学習により正しいものとして判定されたもの。TN(True Negative)は真陰性と呼ばれるもので、学習結果により正しいものではないものとして正しく判定できたもの。FP(Flase Positive)は偽陽性と呼ばれるもので、謝って正しいものとして判定されたもの。そして最後はFN(false Negative)偽陰性と呼ばれるもので、謝って正しいものではないとして判定されたものとなる。

これらと同様な4分割表の考え方が仮説の検証にも必要となる。例として、「温泉で湯治をしたノイローゼ患者のほとんどが治癒したというデータ(1000人中999人)があったとすると、確率は99.9%となり「湯治はノイローゼに有効」と判断したくなる。ところがこれに対して湯治にいかなかった人も1000人中999人が自然治癒したというデータがあった場合、4分割の考え方で見ると、以下のようになり

「湯治をしてもしなくても治癒する」(あるいは他の要因がある)ものとなり、最初の仮説である「湯治はノイローゼに有効」という仮説は良い仮説ではないと言うことが確認できる。

このように仮説を検証するには、そうでないもの(反証)を慎重に選んで検証実験を行う必要がある。