NRI, 最近論文で多用されるようになってきました。
統計ソフトがあれば簡単に計算できるので、意味を知らずとも使ったことのある方、多くいるはず。
そんな方のために、この記事では「NRIの意味」について、わかりやすく解説してきます。
別に難しい話ではありません。
NRIとIDI
NRI: Net Reclassification Improvement
IDI: Integrated Discrimination Improvement
とは、
ある新しいモデルが、古いモデルと比較して、どれほど予測能が良いか
ということを比較する方法です。
特にバイオマーカーを用いる研究で、予測モデルの性能の評価として推奨されている方法です。
つまり、そのバイオマーカーのあるなしで、予測性能がどれほど変化するか、ということ。
これ統計ソフトさえされば簡単に計算でき、
結局、、
・NRIのp値
・IDIのp値
だけみて「有意に予測能の向上がみられた」とする論文が氾濫してきています。。。。
でもp値だけで判断するのは、どんな状況でも全然ダメです。
それぞれが何を意味しているのか、当然知っておく必要があります。
そこで、この記事では、NRIを自分で計算できるようになることを目標とします。
一度この経験をすれば、NRIがどういうことを言っているのか、完全に理解できるはず。
ではいきましょう！
NRIを計算する
心筋梗塞リスク予測について、あなたの古い予測モデルAと、新しいバイオマーカーを入れた新しい予測モデルBを比較したいとしましょう。
予測モデルの結果＝予測リスクが10%を超えるかどうかで、high riskとlow riskの2群に分けるとします。
次がポイントです。
実際に心筋梗塞を発症した人と発症しなかった人に分けて、古いモデルAと新しいモデルBの予測結果を表にまとめます。
Categorical NRI（ふつうのNRI）
＜心筋梗塞発症した人＞
| Model B - high risk | Model B - low risk | |
|---|---|---|
| Model A - high risk | 30 | 10 |
| Model A - low risk | 15 | 45 |
心筋梗塞発症例は全体で100人。
発症例なので、願わくば全員がhigh riskと分類されて欲しい所。
Model BがModel Aに比較して、うまく分類できている人の割合は：
(30 + 15)/100 - (30 + 10)/100 = 5/100 = 0.05
ですね！
＜心筋梗塞発症しなかった人＞
| Model B - high risk | Model B - low risk | |
|---|---|---|
| Model A - high risk | 50 | 90 |
| Model A - low risk | 10 | 850 |
心筋梗塞発症しなかった例は全体で1000人。
願わくば全員がlow riskと分類されて欲しい所。
Model BがModel Aに比較して、うまく分類できている人の割合は：
(90 + 850)/1000 - (10 + 850)/1000 = 80/1000 = 0.08
ですね！
<NRIは？>
0.05 + 0.08 = 0.13!!!
こういうことなんです！
*これをcategorical NRIといいます。
*どちらのモデルでも同じカテゴリーに該当した人は、分子にカウントしないことが重要です。
*実際は、カテゴリー数を自分で設定する必要があります
→1段階でも理想的なカテゴリーに近づいた数が、それぞれの計算の分子となります。
Continuous NRI
カテゴリー分けせずにNRIを計算する方法がこちら。
・それぞれの人の予測されたリスクを用います。
・古いモデルで予測された個人のリスクp1と新しいモデルでの個人のリスクp2について：
✅心筋梗塞発症例では
→ NRI1 = {p2>p1の数 - p1>p2の数} / 心筋梗塞発症者全例
✅心筋梗塞非発症例では
→ NRI0 = {p2<p1の数 - p1<p2の数} / 心筋梗塞非発症者全例
✅Continuous NRI = NRI1 + NRI0
ということです！！
*「カテゴリー数」という恣意的なパラメーターがないので、こちらの方が良い感じです。
Weightつけてみる？
上記のNRI、前提として、
・心筋梗塞になる人を正しくhigh riskと分類すること
・心筋梗塞にならない人を正しくlow riskと分類すること
の双方が同じ重要性としています。
でも、当然心筋梗塞になる人の方が少ない。
ここで出てくるのがweightです。
一番単純なweightは、心筋梗塞の発症率。
上の例だと100/(1000+100) = 0.09
なので、
Weighted (categorical) NRI = 0.09*0.05 + (1-0.09)*0.08 = 0.077
です。
どういうweightが良いのかはQuestionにも依存するため、「一番良いweight」に関するコンセンサスはありません。
実際、weighted NRIが報告されている論文は少ないです。
NRIの解釈・目安
上記のような計算方法なので、NRIとは
「古いモデルと比較し、新しいモデルがより正しくリスク分類できている割合」
です。
英語では
「Net change in the proportion of subjects assigned a more appropriate risk or risk category under the new model」
となります。
***
値の目安ですが、上のような計算方法なので、
NRI = 0.01
だったら、結構少ないな、という印象かと思います。
いくらp<0.001でも。
一方、NRIが0.5とか行っていたら、素晴らしすぎます。
だって、例えばcategorical NRIの場合、対角線のカテゴリーは分子にカウントされないんですから。
こういう感触があるとgoodですね。
NRIの注意点
最後にlimitationです。
一番重要なポイントは、
・categorical NRI：どういうカテゴリーの移動でも
・continuous NRI：どういう予測リスクの変化でも
改善していれば分子が+1、改悪していれば分子が-1にかならない点です。
例えば、心筋梗塞発症の人で
古いモデルでは10%→新しいモデルでは90%
の人も、
古いモデルでは10%→新しいモデルでは11%
の人も、
同じく「分子に+1」としてカウントされる、ということです。
つまりはdiscriminationのmeasureであるということ。
予測モデル全てに共通することですが、calibrationも重要です。
まとめ
NRIの計算方法がわかればNRIの解釈もわかる。
categorical NRIとcontinuous NRIがあり、前者の計算結果はカテゴリー数に依存する。
ではまた。