Net Reclassification Improvement (NRI)の意味と目安【超解説】

NRI, 最近論文で多用されるようになってきました。

統計ソフトがあれば簡単に計算できるので、意味を知らずとも使ったことのある方、多くいるはず。

そんな方のために、この記事では「NRIの意味」について、わかりやすく解説してきます。

別に難しい話ではありません。

 

 

NRIとIDI

NRIとIDI

NRI: Net Reclassification Improvement

IDI: Integrated Discrimination Improvement

とは、

ある新しいモデルが、古いモデルと比較して、どれほど予測能が良いか

ということを比較する方法です。

 

特にバイオマーカーを用いる研究で、予測モデルの性能の評価として推奨されている方法です。

つまり、そのバイオマーカーのあるなしで、予測性能がどれほど変化するか、ということ。

 

これ統計ソフトさえされば簡単に計算でき、

結局、、

・NRIのp値

・IDIのp値

だけみて「有意に予測能の向上がみられた」とする論文が氾濫してきています。。。。

 

でもp値だけで判断するのは、どんな状況でも全然ダメです。

そこで、この記事では、NRIを自分で計算できるようになることを目標とします。

一度この経験をすれば、NRIがどういうことを言っているのか、完全に理解できるはず。

ではいきましょう!

 

*IDIはまたどこかで解説します

 

 

NRIを計算する

心筋梗塞リスク予測について、あなたの古い予測モデルAと、新しいバイオマーカーを入れた新しい予測モデルBを比較したいとしましょう。

予測モデルの結果=予測リスクが10%を超えるかどうかで、high riskとlow riskの2群に分けるとします。

 

次がポイントです。

実際に心筋梗塞を発症した人と発症しなかった人に分けて、古いモデルAと新しいモデルBの予測結果を表にまとめます。

 

Categorical NRI(ふつうのNRI)

<心筋梗塞発症した人>

Model B - high risk Model B - low risk
Model A - high risk 30 10
Model A - low risk 15 45

心筋梗塞発症例は全体で100人。

発症例なので、願わくば全員がhigh riskと分類されて欲しい所。

Model BがModel Aに比較して、うまく分類できている人の割合は:

(30 + 15)/100 - (30 + 10)/100 = 5/100 = 0.05

ですね!

 

<心筋梗塞発症しなかった人>

Model B - high risk Model B - low risk
Model A - high risk 50 90
Model A - low risk 10 850

心筋梗塞発症しなかった例は全体で1000人。

願わくば全員がlow riskと分類されて欲しい所。

Model BがModel Aに比較して、うまく分類できている人の割合は:

(90 + 850)/1000 - (10 + 850)/1000 = 80/1000 = 0.08

ですね!

 

<NRIは?>

0.05 + 0.08 = 0.13!!!

こういうことなんです!

 

*これをcategorical NRIといいます。

*どちらのモデルでも同じカテゴリーに該当した人は、分子にカウントしないことが重要です。

*実際は、カテゴリー数を自分で設定する必要があります

→1段階でも理想的なカテゴリーに近づいた数が、それぞれの計算の分子となります。

 

 

Continuous NRI

カテゴリー分けせずにNRIを計算する方法がこちら。

それぞれの人の予測されたリスクがありますね。

古いモデルで予測されたリスクp1新しいモデルでのリスクp2について

心筋梗塞発症例では

NRI1 = {p2>p1の数 - p1>p2の数} / 心筋梗塞発症者全例

✅心筋梗塞非発症例では

NRI0 = {p2<p1の数 - p1<p2の数} / 心筋梗塞非発症者全例

Continuous NRI = NRI1 + NRI0

ということです!!

 

*「カテゴリー数」という恣意的なパラメーターがないので、こちらの方が良い感じです。

 

 

Weightつけてみる?

上記のNRI、前提として、

・心筋梗塞になる人を正しくhigh riskと分類すること

・心筋梗塞にならない人を正しくlow riskと分類すること

の双方が同じ重要性としています。

 

でも、当然心筋梗塞になる人の方が少ない

ここで出てくるのがweightです。

 

一番単純なweightは、心筋梗塞の発症率。

上の例だと100/(1000+100) = 0.09

なので、

Weighted (categorical) NRI = 0.09*0.05 + (1-0.09)*0.08 = 0.077

です。

 

どういうweightが良いのかはQuestionにも依存するため、「一番良いweight」に関するコンセンサスはありません。

実際、weighted NRIが報告されている論文は少ないです。

 

 

NRIの解釈・目安・注意点

上記のような計算方法なので、NRIとは

「古いモデルと比較し、新しいモデルがより正しくリスク分類できている割合」

です。

英語では

「Net change in the proportion of subjects assigned a more appropriate risk or risk category under the new model」

となります。

 

***

値の目安ですが、上のような計算方法なので、

NRI = 0.01

だったら、結構少ないな、という印象ですね。

いくらp<0.001でも。

 

一方、NRIが0.5とか行っていたら、素晴らしすぎます

だって、例えばcategorical NRIの場合、対角線のカテゴリーは分子にカウントされないんですから。

 

こういう感触があるとgoodですね。

 

*****

最後にlimitationです。

一番重要なポイントは、

・categorical NRI:どういうカテゴリーの移動でも

・continuous NRI:どういう予測リスクの変化でも

改善していれば分子が+1、改悪していれば分子が-1にかならない点です。

 

例えば、心筋梗塞発症の人で

古いモデルでは10%→新しいモデルでは90%

の人も、

古いモデルでは10%→新しいモデルでは11%

の人も、

同じく「分子に+1」としてカウントされる、ということです。

 

つまりはdiscriminationのmeasureであるということ。

予測モデル全てに共通することですが、calibrationも重要です。

 

 

まとめ

NRIの計算方法がわかればNRIの解釈もわかる。

categorical NRIとcontinuous NRIがあり、前者の計算結果はカテゴリー数に依存する。

ではまた。

-疫学・臨床研究

Copyright© Riklog , 2021 All Rights Reserved Powered by AFFINGER5.