＜論文紹介＞専門家の目による論文評価サイト「Faculty of 1000」で高評価を受けた論文は、被引用回数も多くなる？｜両者の相関は弱いとの結果

Journal of the American Society for Information Science and Technology 論文の影響度（インパクト）を評価するための数値指標としては、その論文の「被引用回数」(citation)が最も広く用いられています。一方、それ以外の方法で論文評価を行うサービスのひとつに、出版された生物学・医学論文の中から専門家が重要と考える論文を推薦する論文レビューサイトFaculty of 1000があります。オランダ・ライデン大学の研究グループは、このFaculty of 1000で論文が受けた評価スコアが、その論文の被引用回数とどの程度の相関を示すかをデータで検証し、その結果をアメリカ情報科学技術協会誌Journal of the American Society for Information Science and Technologyで報告しました。

　論文　　⇒　Waltman, L. and Costas, R. (2013), F1000 Recommendations as a Potential New Data Source for Research Evaluation: A Comparison With Citations. J. Am. Soc. Inf. Sci.. doi: 10.1002/asi.23040 （本文を読むにはアクセス権が必要です）

2002年にサービスが始まったFaculty of 1000（以降F1000と略）は、さまざまなジャーナルで発表された生物学・医学論文の中から、「Facultyメンバー」として認定された5千人以上の研究者がそれぞれ注目する論文を選んで、1 (Good) / 2 (Very Good) / 3 (Exceptional) の3段階の評価スコア（F1000スコア）とともに推薦レビューを投稿する論文評価サイトです。（参考リンク：　サンメディア社による日本語解説）　F1000では、これまでに10万報以上の論文が推薦を受けています。被引用回数が不特定多数の論文著者の引用行動を集計した指標であるのに対して、F1000は限られた数の専門家による主観的判断を直接反映する評価サイトだといえます。

今回の研究では、2006～2009年の4年間に出版された生物学・医学論文約170万報を対象に、論文が得た3段階のF1000スコアと出版後3年間の被引用回数との関係を調べました。（同じ論文が複数のFacultyメンバーから推薦された場合は、その中で最も高いF1000スコアを選択）　Facultyメンバーの推薦を受け、何らかのF1000スコアを獲得した論文は38,327報で、全体の2.2%に相当しました。

残りの97.8%を占めた、F1000スコアを得られなかった論文（F1000スコア0）の被引用回数は平均7.2回でした。それに対し、F1000スコア「1」を得た論文の平均被引用回数は20.7回、スコア「2」の論文では平均37.6回、スコア「3」の論文では平均68.6回となり、F1000で高評価を受けた論文ほど多くの引用を獲得したことが確認されました。

しかし、論文のF1000スコアと被引用回数との関係性の高さを示すピアソン相関係数は0.24に留まり、論文の被引用回数と「その論文の掲載誌の一論文あたり平均被引用回数」とのピアソン相関係数0.52をかなり下回りました。これは、ある論文の被引用回数を予測する先行指標としては、論文のF1000スコアよりもその論文の掲載誌の平均被引用回数（言い換えれば「どのジャーナルに載ったか」）を見る方が当てになることを意味します。同様に、被引用回数が上位1%の高引用論文を予測する場合も、論文の掲載誌の平均被引用回数の方がF1000スコアよりも正確に予測できるという結果になりました。

今回の研究を行った著者らによると、このようにF1000スコアと被引用回数との相関が弱くなったのは、F1000が生物学・医学論文全体の2.2%しかカバーしていないというカバレッジの狭さが原因のようです。全体の97.8%もの論文が、また上位1%の高引用論文に限っても73.7%の論文がF1000スコア0となっている状況では、弱い相関しか得られないのも無理はないと著者らは見ています。

今回の結果は、専門家の主観による論文の出版後評価を大規模に実践する上での困難さ・限界を示したものといえるかもしれません。一方、下のブログ記事のコメント欄で議論されているように、注目度の低いジャーナルで発表された優れた論文（hidden gems ＝隠れた宝石）を専門家の目で見つけ出して光を当てることができれば、F1000のような評価ツールは、他にはないユニークな価値を持ちそうです。

　関連リンク　　