論文載せるにはpeer reviewといって、複数の専門家が研究の質をチェックすることになっています。
もはや当たり前のシステムになっており、peer reviewが無い雑誌＝科学的意義なし、という風潮です。
しかし以前から、peer reviewのシステムは理想形からはほど遠い、と言われてきました。
そして最近、COVID-19の不正論文や質の低い論文が有名医学誌にたくさん掲載されている事が問題になっています。
新しいcommentaryを参考に、peer reviewについて考えてみました。
Contents
Peer reviewってシステム破綻してない？
論文を書いて、Journalにsubmitします。
するとEditorがだいたいの方針（acceptするか）を決め、複数のreviewerにreviewを頼みます。
reviewerのコメントをEditorがみて、最終的にどうするか決めます（accept, revision, rejectなど）
それが投稿者に連絡されてきます。
revisionの場合は、reviewerやeditorのコメントに従い、論文を変更します。
そして再度submit→editor達が再度review・・・
最終的に双方納得のいくものとなれば、晴れてそのJournalに掲載されます。
総じて数ヶ月〜1年くらいのプロセス。
一見良さそうなシステムですが、、実は様々な問題が内包されているのです。
実際、NEJMとLancetに載ったコロナ関連の論文はretractとなりましたね（参照こちらとこちら）。
JAMAのcommentary（JAMA 2020 10.1001/jama.2020.11764）を読みつつ、この問題を考えてみましょう。
コロナ関連の論文、どれくらいsubmitされたと思う？
コロナがとても重要な医学的問題であることは間違いありません。
そしてみんな興味がある。最新論文を読みたい。
さらに、コロナは今までの論文が無いので、どうしても質の低い研究になってしまう。
ということで、コロナ論文は質が低くても良いJournalにacceptされる、という現象が生じました。
研究者としては、少ない労力で良いJournalに載るのはチャンス。
さらに国から多量の補助金も出る。
みんなコロナ研究に手を付け始めたのです。
結果、JAMAに投稿された論文（1/1~6/1）は
・例年4000本くらいなのが
・今年は11000本以上もあったのです。
増加分はほぼすべてCOVID-19関連。
普段はEditor→reviewerの順でreviewが行われますが、この多量な論文数に対応するため、そしてなるべく早くpublishするプレッシャーがあるため、JAMAではInternal reviewのみ（editorのみのreview）とすることもありました。
*複雑な論文、もしくは政策に重要な論文については、必ずexternal reviewerをつけていたといいます。
早いものでは、最初のsubmit後12日でpublishまでこぎつけることもあったようです。
reviewerのコメント→revision→再評価→formattingなど、というプロセスを考えると、半端なく早い。
これが可能だったのは、JAMAはかなりの人的資源があるから。
でもJournalの編集室がこれほど忙しくなると、必ずエラーはおきます。
エラーとは、発表した論文に問題点があること。
例えば上記のNEJMやLancetの問題論文も、このような背景があったことが予想されます（JAMAのコロナ関連論文は今の所retractionはなさそうです）。
どう対応したと思います？？
誰でもコメントをつけられるようにした。
論文へのコメントを、JAMAのホームページから投稿できるようにしたのです。
気づいていた方も多いかもしれません。
今までは、Letterという論文形式の形を整えて、submit→→acceptまでやることが必要だったのですが、それだと時間がかかる。
（*Letter形式は今も受け付けています）
コメント可能にして迅速に対応できるようにしたのです。
Peer reviewは論文をpublishするのに必要だが、十分でない。
そのプロセスでは、特にこういう非常事態、不正論文・怪しい論文を検出し切ることはできません。
一番重要なのはAuthorが誠実であること。
こう論文は締めています。
でもそうとは限らないから問題なのです。
Peer reviewって実際どうなの？
まとめると、今回露呈したシステムの問題はこんな感じです：
「多量の論文と社会的プレッシャーによりpeer reviewの質が下がるのは、ある程度やむを得ない。そもそも、authorが（捏造しないなど）誠意をもって研究をする必要がある。そうしないと科学の信用は失われる。でも少数ながら誠意ない科学者がいるので、多様な方法で批判の目にさらすことが重要。」
そもそもpeer reviewは不完全な評価法ですよね。
だってそのeditor、reviewerという数人で論文がacceptされるか評価されます。
彼らは現役の研究者であることが多いので、政治的な要素も関わってきます。
全く公平なシステムではない。
しかも人的エラーも当然生じうる。
その雑誌を代表するeditorが基本的に決定権を有するというのはreasonableな気もしますが、公平にするにはeditorがactiveな研究者ではないべきです。でもそんな事不可能なので、現状のシステムになっています。
そこで「コメント機能」とは・・・！！
面白いですね。
JAMAにコメントを残すという時点でかなりハードルが高いので、コメントの質が自動的に担保される。
論文の質のスクリーニングとして使える。
一方limitationもあります。
やはりLetterという形式がある以上、コメントの役割は限定的。
そして、「いいね」や「フォロワー数」みたいなrewardがないとコメントするモチベーションは倫理観・正義感に頼られてしまいます。実際、全然コメントついていない。
いっそ、Pubmed全体にこの機能をつければ確実に盛り上がると思います（コメントの質は下がると思われますが）。
今後の動向が楽しみです。
結論
peer reviewは完全でない。
コメント機能は面白い取り組み。
ではまた。