こんにちは。ロザニカで自然科学・研究を担当している水野玲です。
普段は、生物や自然現象について研究論文や一次資料を確認しながら記事を作っています。そのとき私が気にしているのは、「この研究から、本当にどこまで言えるのか」ということです。
新しい研究結果は面白いものです。「これまでの常識とは違う結果が出た」「ある生物に驚くべき能力が見つかった」「リスクが従来の2倍だった」。こうした話を見ると、どうしても結論そのものに目が向きます。ただ、研究結果は結論だけを切り取ると、実際よりも大きな話に見えることがあります。だから私は、新しい研究を見るときに「対象」「比較」「測定」「差」「限界」の5つをまず確認します。
難しい統計知識がなくても使える考え方です。
1. そもそも「何を調べた研究なのか」
最初に確認するのは、研究の対象です。
たとえば、「ある物質が寿命を延ばす可能性がある」という研究結果があったとします。この一文だけを見ると、人間の寿命にも関係する話のように感じるかもしれません。しかし実際には、特定の種類のマウスだけを対象にした研究かもしれません。あるいは、動物ではなく細胞だけを使った実験かもしれません。人間を対象にしていても、特定の年齢や条件に当てはまる人だけを調べた研究ということもあります。
この違いはかなり重要です。マウスで確認されたことと、人間でも同じことが起きることは同じではありません。特定の条件で起きた現象と、いつでも起きる現象も別です。そのため私は、研究結果を見たらまず、「誰を、何を、どんな条件で調べた研究なのか」を一文にできるか考えます。「特定の条件で飼育したマウスを調べた研究」「ある海域に生息する一種類の魚を調べた研究」「20代から30代の参加者を対象にした研究」というところまで具体的にすると、研究結果の射程がかなり見えてきます。逆に、この一文が作れない状態なら、私はまだその研究を理解したとは考えません。
ニュースのタイトルでは、研究対象が実際より広く見えることがあります。「人間は」「動物は」「○○すると」と大きくまとめられていても、元の研究がそこまで広い範囲を調べているとは限りません。まず対象を確認して、研究が扱った範囲まで話を戻す。私はここから始めます。
2. 「何と比べたのか」を見る
次に確認するのは、比較対象です。
研究結果では「速かった」「増えた」「効果があった」「能力が高かった」といった表現がよく使われます。ただし、こうした言葉は単独ではほとんど意味を持ちません。
たとえば「ある動物の顎が非常に速い」という結果があったとしても、10種類の動物と比較して最速だったのか、過去に同じ種で測定された記録を更新したのかでは意味が違います。「世界最速」という言葉でも、本当に世界中の生物を比較したわけではない場合があります。実際には「今回比較した種の中では最速」「これまで測定された記録の中では最速」という意味かもしれません。
ロザニカでは「最大」「最速」「最強」といった極端な記録を扱うことがありますが、私はこうした強い言葉を見るほど、比較対象を気にします。極端な結果であるほど、何を基準に極端だと判断したのかが重要になるからです。これは「効果があった」という研究でも同じです。何もしなかったグループと比べたのか、別の方法を使ったグループと比べたのか、過去のデータと比べたのか。それによって、同じ数字でも意味は変わります。
研究結果を見るときは、「その数字の隣には何が置かれているのか」を一度確認してみてください。比較対象が分かるだけで、見出しから受ける印象がかなり変わることがあります。
3. 「何を、どうやって測ったのか」を見る
3つ目は、測定方法です。私はここをかなり重視しています。
科学ニュースでは、「知能が高い」「危険性が高い」「耐久性がある」「ストレスが減った」といった分かりやすい言葉に置き換えられることがあります。ただ、研究者が「知能」そのものを直接測っているとは限りません。特定の課題を解くまでにかかった時間や、正解できた回数を指標にしているかもしれません。「ストレス」であれば、行動の変化や特定の物質の量を測っている場合もあります。つまり、研究で使われる大きな概念の裏には、たいてい実際に測定した具体的なものがあります。
私は研究結果を見たら、「結局、この研究では何を数えたのか」「何を測った結果、それを○○と解釈しているのか」を確認します。これはグラフを見るときにも使えます。縦軸に数字が並んでいても、その数字が何を表しているのか分からなければ、グラフを理解したことにはなりません。たとえば「能力が30％高かった」という結果があっても、その能力を何で評価したのかによって意味は変わります。一つのテストで高い成績を出したことと、その生物の能力全体が高いことは同じではありません。研究結果そのものと、その結果を説明するために使われている言葉には、ときどき少し距離があります。だから私は、「知能が高かった」「危険性が増した」といった結論を見ると、もう一段だけ下りて、実際には何を測った研究なのかを見るようにしています。
4. 差があるなら、「どれくらいの差なのか」
4つ目は、差の大きさです。
研究ニュースでは「2倍になった」「50％増えた」「統計的に有意な差があった」といった表現を見かけます。こうした数字は非常に強い印象を与えます。ただ、私は倍率を見ると、できるだけ元の数字も確認します。たとえば、ある現象が起きる割合が1％から2％になった場合、「2倍になった」と表現できます。倍率だけを見ると非常に大きな変化に感じますが、実際の差は1ポイントです。もちろん、だから重要ではないという意味ではありません。1％の差が重大な意味を持つ場合もあります。問題なのは、倍率だけでは実際の大きさを判断できないということです。逆に、「わずか数％しか違わない」と見える結果でも、その数％が現実には非常に重要ということもあります。数字の意味は、その現象や状況によって変わります。「統計的に有意」という表現についても同じです。統計的に差があることと、現実世界で大きな影響があることは別の話です。そのため私は、「○倍」「○％増加」という数字を見たら、「何から何になったのか」を探します。2倍という結果なら、1から2になったのか、100から200になったのか。数字が動いた幅を見ると、研究結果の大きさをもう少し具体的に考えられるようになります。
細かい統計をすべて理解しなくても、元の数字を見るだけで判断できることはかなりあります。
5. 研究者自身は「何がまだ分からない」と書いているのか
最後に確認するのは、研究の限界です。私はむしろ、この部分をかなり大事にしています。
研究論文には、「今回の結果だけでは一般化できない」「対象が限られている」「別の条件では結果が異なる可能性がある」「因果関係までは確認できていない」といった内容が書かれていることがあります。これは、研究者自身が、「今回の研究から言えるのはここまでです」と線を引いている部分です。
科学研究では、分かったことだけでなく、まだ分からないことを明確にすることにも意味があります。ところが研究がニュースになると、この部分はどうしても目立ちにくくなります。「○○が判明した」という結論はタイトルにしやすいですが、「ただし、この条件についてはまだ分からない」という話はタイトルになりにくいからです。だから私は、新しい研究を見るときほど、研究者本人が何をまだ結論にしていないのかを確認します。研究者が慎重に「ここから先は分からない」と書いているところを、読む側が勝手に広げてしまわないためです。
研究に限界が書かれていることを、「信用できない理由」だと受け取る必要もありません。むしろ、どこまで分かっていて、どこから分からないのかが示されている方が、その研究をどう扱えばいいのか判断しやすくなります。
その結論が成立している範囲を確認する
ここまで5つ挙げましたが、科学ニュースを見るたびに論文を最初から最後まで読み込む必要はないと思っています。
私が重要だと思うのは、新しい研究結果に触れたとき、結論だけではなく、その結論が成立している範囲を一度だけ確認する習慣を持つことです。覚えるなら、「対象 → 比較 → 測定 → 差 → 限界」の順番だけで十分です。誰を調べたのか。何と比べたのか。何を測ったのか。実際の差はどれくらいなのか。そして、まだ何が分かっていないのか。
私が研究結果を見るときに考えているのは、「この研究から、どこまでなら言っていいのか」です。研究には、対象があります。条件があります。比較方法があり、測定方法があります。そして、まだ分からない部分もあります。私は、その範囲からはみ出さないように研究結果を読むことが、科学を慎重に扱うということだと思っています。
次に新しい研究結果を見かけたら、結論を信じるか疑うかを決める前に、一度だけ「誰を、何と比べて、どう測ったのだろう」と考えてみてください。
それだけでも、研究結果の見え方はかなり変わると思います。
参考文献
1. Wasserstein, R. L., & Lazar, N. A. (2016). The ASA Statement on p-Values: Context, Process, and Purpose.The American Statistician, 70(2), 129–133. DOI: 10.1080/00031305.2016.1154108.
2. Greenland, S., Senn, S. J., Rothman, K. J., et al. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations.European Journal of Epidemiology, 31, 337–350. DOI: 10.1007/s10654-016-0149-3.