p値を極める-2【実践的解釈編】

p値を極める編、第2章です。

前回はp値を開発したFisherと、仮説検定を開発したNeyman-Pearsonの考え方の違いにfocusしました。

今回は、特に「αとp値の違い」「p値とlikelihoodの関連」を説明し、より実践的にp値を解釈することを目指します。

これが理解できれば、あなたもp値マスター!

(そしてBayes統計のスタート地点です)

 

 

p値とαの違い

p値とαの違い

p値は何らかの形でtype 1 errorの確率(type 1 error rate)=αを表すもの、と解釈されることが多いです。

*type 1 errorとは、「本当は帰無仮説が正しいのに、誤って棄却してしまう確率」ですね。

 

でもαとp値は同じなのか????

この違いをはっきり理解されている方は少なく、かつ極めて重要です。

ここではっきりさせましょう!

 

✔αとは何か。

帰無仮説に基づいた分布(例えば正規分布をイメージしてください)の、tailの部分です。

→例えばα=0.05であれば、「tailの面積=0.05となる領域」がαです。

大事なポイントは、今観察されたデータとは完全に無関係だということです。

=帰無仮説にのみ依存する分布だからです。

α、すなわちtype 1 error rateです。

 

✔pとは何か。

データから算出される値で、「帰無仮説に基づいた分布」の境界を示す所です。

例えばp=0.03であれば、「tailの面積=0.03の領域」の境界となる場所に観察されたデータがあることを示します。

つまりtype 1 error rate(tailの面積)という解釈は誤っています。

p値は面積でなくポイントなのです!

 

 

******

具体例を考えるとわかりやすいです:

あるクラスでの成績を考えましょう。

トップX%に入っている生徒を「トップX%以内の成績」と表現するとします。

例えば、

A君はトップ10%だから「トップ10%以内の成績」

B君はトップ20%だから「トップ20%以内の成績」

 

逆に、この「トップX%以内の成績」という表現から、その生徒が実際にトップ何%なのかはわかりませんよね。

でも実はその生徒はトップX%にいるのですが。

 

p値というのは、そういうものです。

p値 = 0.10だったとします。

これをp≤0.10とすれば、それは10percentile 以下の面積を指すので、type 1 error rateという解釈ができます。

しかしp = 0.10というのはポイントなので面積は計算できません。

つまりp値 = 0.10をtype 1 error rateと解釈するのは誤りです。

 

 

p=0.05とp≤0.05

「p=0.05とp≤0.05の違い」というのが超重要ポイントです。

必ず抑えましょう。

 

p≤0.05の解釈は:

帰無仮説が真実だと仮定した時に、5%の頻度でしかおきない事象が観察されていること

つまりαの解釈と同じです。

(もしαが事前に0.05と設定されていたら、ということ)

→なので、「P≤0.05か否か」という仮説検定をすることがOKとなります。

 

ではp=0.05は?

上と同じ解釈をしてしまっていませんか?

繰り返しますが、p=0.05は分布の面積を表さないので、type 1 error rateという解釈は誤りです。

「今」観察されている結果が、α=0.05のポイントにいるデータだ、ということ。

これをよりわかりやすく解釈するとどうなるか?

ここでLikelihoodさんに登場頂きましょう。

 

 

p値とLikelihood

Likelihoodというのは、

「ある元の分布を仮定した時に、今観察されているデータが観察される確率」

を表します。

*これは「その仮定した分布が真実である確率」とは全然異なるので注意

 

ここで、Likelihood ratio

「帰無仮説でのLikelihood÷対立仮説でのLikelihood」

とすると、

その値は「真実がどれくらい(対立仮説でなく)帰無仮説である、ということを支持するか」を表しますね。

 

 

p値とLikelihood ratio

この図をみて考えてきましょう。

左が帰無仮説の分布、右が対立仮説の分布です。

実際得られたデータは一箇所、p=0.05の部分とします。

 

p≤0.05でのLikelihood ratioとは??

分子:帰無仮説の「0.05より先の部分」、つまり赤の部分

分母:対立仮説の「0.05より先の部分」、つまりH1の緑以外の部分

この面積の比となります。

 

p=0.05でのLikelihood ratioとは??

分子:Aというポイントの(yの)値

分母:Bというポイントの値

この比となります。

 

******

ほら、全然違いますよね。

論文では正規分布でsimulationしており、

・p≤0.05でのLikelihood ratio = 0.03

・p=0.05でのLikelihood ratio = 0.33

となりました。

p≤0.05と比較し、p=0.05の方が11倍強く帰無仮説を支持するということ!!

 

ベイズの定理を使うと、検査前確率が50%としたときに、

・p≤0.05での検査後確率 = 25%

・p=0.05での検査後確率 = 3%

となります。

 

*大きな差がありますが、pの値が0.001より低いときにはその差は大したことなくなります

 

 

******

今でこそ、このようにクリアに違いを示すことができますが、それは「対立仮説」という概念あってのこと。

Fisherはp値を考案したものの「対立仮説」という概念がなかったので、彼は上のlikelihood ratioを近似する概念としてp値を考えていたものと考えられます。

なのでp値の解釈が曖昧であった。

 

 

Likelihood ratioこそが欲しい指標

どれくらい帰無仮説っぽいか(対立仮説っぽいか)というのは、p値は直接表さないことがわかりました。

ほしいのはlikelihood ratio。

でもこの値、対立仮説の分布によって変わっちゃいますよね。

 

一つ考案された方法は、「観測された結果を平均とする分布」を対立仮説とおく、という方法です。

これはstandardized likelihoodといわれます。

この方法では、

p=0.05 → LR=6.7

となります。

帰無仮説である検査前確率が80%の場合、検査後確率は38%!!!

結構高い

 

p=0.003なら、検査前確率が80%の場合、検査後確率は5%となります。

 

このあたりに、p値のカットオフを下げるべし、という議論の理論的背景があるのです。

 

 

じゃあどうする??

実践応用するため、ポイントをまとめます。

 

Neyman-Pearsonの仮説検定の枠組み

✔事前にtype 1 error rate = αの値を設定することが味噌です

p値がそれを上回るか下回るか、という結果が、type 1 error rateという解釈を可能にします。

→しかし、p値の実際の値、という情報をそぎ取ってしまいます。

 

・またこの枠組みでは、「p値がそれを上回るか下回るか、という結果を基に、帰無仮説が支持されるかどうかを判断する」行為は、科学的なものとして考えません

(inductive behavior、なのでした:前回記事参照

 

・注意点は、p=0.001の時にα=0.001としてtype 1 error rateとして解釈するのは明らかな誤り、ということです。

→なのでαを事前に決めておく必要があります

*ちなみに「p<0.05を有意とする」という論文での一文は何も表していません。完全に無意味な文章です。

 

 

p値を連続値として解釈したいとき

✔「どれくらい帰無仮説っぽいか」ということを数値化したいなら、likelihood ratioを念頭に置く必要がある。

 

・p=0.03だった時。

「もし本当は関連が無かったとして、今の事象もしくはより極端な事象が観察される確率は3%だ」

これ以上でも以下でもありません。

つまりは、結局何が言いたいかもわからない、ということです(1回しか今のデータは観測されないから)。

 

・p=0.03に対応するGaussian standardized likelihoodは0.10なので、より実践的な解釈は「何かしらの関連性があるという確率は、何も関連がないという確率と比較し、検査前確率の10倍高い」となります。

 

*ポイントは、現実的にp値を「〜の確率」として解釈することはできない、ということです。確率として解釈したいならlikelihoodを用いるしかな=Bayesian methodを使う必要がある、ということです。

 

 

結論

現実的なtake-home messageとしては、

・p値をαと混同してはいけない

・p値を仮説検定に用いる場合は、αを先に決め、p値がαより大きいか小さいかだけで判断する

・p値が0.001~0.05の時、それが与える印象は、実際のlikelihood ratioから算出される「確からしさ」より過大である

 

こんなところでしょう。

ではまた。

-疫学・臨床研究

Copyright© Riklog , 2020 All Rights Reserved Powered by AFFINGER5.