不健全な有意差へのこだわりが、科学を駄目にする - VOX記事

http://www.vox.com/
上記のURLにある、VOXという評論サイトに興味深い記事が載っていたので取り上げてみます。

タイトルは、An unhealthy obsession with p-values is ruining scienceというタイトルで、拙訳でこのエントリーのタイトルの通り「不健全な有意差へのこだわりが、科学を駄目にする」としました。p-valueというのは、p値で、有意差の水準を示すものです。

原文のURLは下記です。
http://www.vox.com/2016/3/15/11225162/p-value-simple-definition-hacking

P値は、ある事象とある事象の差が統計的に意味のあるものかを示す統計学的な数値です。わかりやすく言えば、例えば、ある血糖値を下げる効果があるとされる薬が、実際に効くのかを調べる研究をするとします。この時には、様々な影響を排除するために、2つの同じような人で構成されるグループに対して、片方には調べる薬を投与し、もう片方にはプラセボ（偽薬＝ニセの薬）を投与して、その結果どうかを調べます。

この時に、ある期間投与した後の空腹時血糖値などを調べるわけですが、本物の薬のほうが、血糖値が下がっていたとしても、その差が小さければ、たまたま下がっていたのか、薬の効果として意味のあるものと評価のできるものかの判断が必要になってきます。この時に、統計演算をして、p値を算出して、意味があるかを判断するわけです。

このp値は、一般には科学論文で必須のものになっていると思います。

しかし、この記事はp値の違った側面に光を当てています。スタンフォード大学のメタ解析の研究者、John Ioannidesらは、過去25年間に及ぶ385000もの研究論文を調べ、それらの研究論文のうち、９６％の論文が、p値を算出して統計的に有意であったことを示してあったということです。また、どの程度の効果があるのかの度合いを示す効果量＝エフェクトサイズ（Effect Size）を示してあった論文は１０％ほどであったということです。

統計的には、有意差とともに効果量をみるということはより意味があると考えられます。（上記の効果量のリンクを参照）。しかし、このVOXの評論ではそこに言及している論文は少なかったということです。また、上記のような例でも統計的な有意差があっても本当に薬の効果によるものかどうかは、研究のデザインを詳細に検討しなければわからないという側面もあります。

しかし、この批評ではそれに詳細に限局するよりも、有意差を出すということにこだわるがために、有意差があれば論文が出版されやすくなり、有意差がなくても実はそこに真実が隠されている論文が出版されにくくなっているということもしてきています。この点が特に私が共感した点です。

確かに、若い研究者は多くの論文を出すことが、職を得る上で重要になってくるということはあると思います。したがって、論文が通りやすくするために何とか有意差を弾き出そうとする意識・無意識の力が働くということは容易に想像されます。この批評はそうでなく、真実を探り当てる本来の研究の方向をもう一度考えようと言っているようにも思われます。