科学的研究はなぜ間違いがちなのか | 街灯効果
研究者は、答えが隠れていそうな場所よりも、見晴らしの良い場所を探す傾向がある。

強調オフ

ビタミンD・紫外線・日光浴(総合)科学哲学、医学研究・不正

サイトのご利用には利用規約への同意が必要です

Why Scientific Studies Are So Often Wrong: The Streetlight Effect

www.discovermagazine.com/the-sciences/why-scientific-studies-are-so-often-wrong-the-streetlight-effect

By David H. Freedman Dec 10, 2010 9:00 AM

1980年代初頭、抗不整脈薬が登場したとき、心臓病学の分野に興奮の光が走った。心臓発作の被害者は、安定した心拍で生存する確率が高いことを研究者は知っていたので、不整脈を抑制する薬剤は当然のことのように思えたのである。この薬は心筋梗塞患者の標準治療となり、すぐに全米の集中治療室で心拍をスムーズにすることができるようになった。

しかし、1990年代初頭、心臓専門医は、この薬が別の働きをしていることに気がついた。心臓発作を起こした患者のうち、薬を飲んでいる人の心臓は、薬を飲んでいない人より規則正しく動いているが、その人が助かる確率は、平均して3分の1である。心臓専門医は、すぐに測定可能な不整脈にばかり気を取られて、より長期的であるがはるかに重要な死亡という変数を見落としていたのである。

この根本的な間違いは、科学者がよく言う古いジョークに要約される。

夜遅く、警官が街灯の下で手と膝をついて這っている酔っ払いを見つけた。その酔っ払いは、警察官に「財布を探しているんだ」と言った。

警察官が、「財布を落とした場所はここで間違いないのか」と尋ねたところ、男は、「通りの向こう側に落とした可能性が高いと思う」と答えた。

困惑した警官は、「それなら、どうしてこっちを見るんだ」と聞いた。

酔っぱらいは「こっちの方が明るいからだ」と説明した。

この男には、いい仲間がいる。科学者の多くは、そしておそらくほとんどの科学者は、真実が横たわっている可能性が高い場所ではなく、光がより良い場所に答えを探すことにそのキャリアを費やしている。しかし、そのような選択肢はあまりない。本当に重要なものを明確に測定することは非常に困難であり、不可能でさえある。そのため、科学者は代わりに、測定できるものをきれいに測定し、それが関連することが判明することを期待する。結局のところ、私たちは科学者が自分たちの観測結果を正確に数値化することを期待しているのである。100年以上前にケルビン卿が言ったように、「あなたが話していることを測定し、それを数字で表すことができれば、あなたはそれについて何かを知っていることになる」のである。

ただ、ひとつだけ小さな問題がある。このような代理測定は、きれいな数値が得られる反面、しばしば結果を狂わせ、時には劇的に狂わせてしまう。この「街灯効果」を私は新著『Wrong』(リトル・ブラウン社)の中でこう呼んでいるが、これは科学のどの分野でも見られるもので、以前に発表された研究と直接矛盾する実験や研究が研究誌を埋め尽くしている。この伝統は、1915年にアルバート・アインシュタインというかなり著名な若い物理学者が主導した重要な実験が発表されたときに、すでに確立されていたものである。アインシュタインは、電子に働く磁力とジャイロスコピックな力の比を発見するために、鉄棒の中の電子が、その活動によって鉄棒を回転させたわずかな回転から何をしようとしているのかを推測しなければならなかった。3年後、より慎重に、しかし同様に推論的な実験を行って修正したところ、彼の答えは2倍もずれていたのだ。(なんという負け惜しみだろう!)。

物理学者が人知れず街灯の下に身を寄せているのには、それなりの理由がある。しかし、この影響は医学研究にも及ぶ。医学研究では、患者のデータは集計のためにあるのだと思うかもしれない。抗不整脈薬の話は、この問題の大きさを示唆しているに過ぎない。2005年、ギリシャのイオアニナ大学のジョン・ヨアニディスは、1990年以降に一流医学雑誌に掲載された最も著名な45の研究を調査し、その約3分の1が最終的に反論されていることを突き止めた。もし、すべての医学研究を対象とするならば、3分の2程度になるであろう、と彼は言う。また、ある種の最先端の研究、例えば、ある病気と特定の遺伝子との関連については、90%以上が間違っていることになる。

科学的理論が頻繁に衝突し、研究者が真実に向かって手探りで進むうちに、時には反証されることも十分予想される。それが科学的なプロセスなのだ。アイデアを出し、それをテストし、薄っぺらいものを捨てていく、その繰り返しである。実際、アイデアを検証することは、多くの科学者のコアコンピタンスであるはずだ。しかし、全く同じアイデアを検証しても、異なる、あるいは正反対の結果が出ることが日常茶飯事だとしたら、我々謙虚な非科学者は何を信じればいいのだろうか?

私は過去3年間、専門家の発表がなぜこれほどまでに誇張され、誤解を招き、あるいは全くの誤りであることが多いのかを検証してきた。その理由の一つは、科学者が、私たちが評価するほどには信頼できる測定を行っていないということだ。科学者のほとんどが無能でズル賢いというわけではない。しかし、中にはそのような人もいる。さまざまな分野にわたるいくつかの機密調査では、10パーセントから50パーセントの科学者が、何らかの研究上の不正行為を行った、または認識していることを告白している。また、多くの研究で、研究助手や技術者に対するモニタリングが著しく甘いことが浮き彫りになっている。しかし、信頼できる研究に対するより大きな障害は、科学者がしばしば測定すべきものに手を出せないことだ。

街灯効果によって研究が軌道から外れてしまう例は、どこにでもある。多くの場合、科学者が本当に定量化したいものの代わりに、代用的な尺度を用いていることが痛いほどよくわかる。恐竜を絶滅させたのが小惑星なのか火山噴火なのか、何十年にもわたって研究が繰り返された結果、鉱床の証拠は間接的で解釈の余地があることが明らかとなった。天文学者は、星に温度計を突き刺したり、他の銀河に巻き尺を巻いたりすることができないので、常に代用手段を用いている。同様に、経済学者は何十億という消費者や投資家の個々の行動を追跡することはできないので、経済指標やデータの抽出に頼ることになる。

その結果、どの程度の信頼性があるのだろうか?1992年、ハーバード大学と全米経済研究所の研究者たちによる古典的な研究が行われ、さまざまな経済学雑誌の論文を調査した結果、一方的に何かを決定的に証明したものはほぼ皆無であることが明らかになった。金融機関や規制に対する経済学者の影響力の大きさを考えると、世界経済のインフラがもっと悪い状態にならないのが不思議なくらいである。(もちろん、科学的知見の問題点を指摘する科学的知見も、再分析の対象となるのは当然である)。

街灯効果の最も身近で厄介な結果は、絶えず変化する医学的知見に現れている。例えば、次のような単純かつ重大な疑問がある。ビタミンDのサプリメントは乳がん、大腸がんなどのリスクを下げることができるのだろうか?しかし、同じようによく知られた他のいくつかの研究では、全く効果がないと結論づけている。2008年だけでも、約380の研究論文が、何らかの形でビタミンDと癌との関連について発表されている。このテーマに関するデータの海は広大で、膨張し、鋭い矛盾に満ちている。

交絡因子の1つは、ビタミンDの摂取量を評価する方法が研究によって異なることだ。研究者たちは、サプリメントがそのレベルに影響を与えるかどうかを追跡することなく、単に被験者の血液中のビタミンDのレベルを調べ、人工的に高いレベルでも自然に高いレベルでも、癌リスクには同じ効果があると仮定したのである。場合によっては、がんが診断される前と後の血中濃度を測定するのではなく、がんが診断された後にのみ、ビタミンの血中濃度を測定することもあった。また、被験者にビタミンDの錠剤を何錠飲んでいるかを尋ねたが、血中濃度は調べなかったケースもある。少なくとも、広く報告されているある研究では、研究者はビタミンDの血中濃度やサプリメントの摂取量を全く調査していない。日光は体内でビタミンDを生成するため、研究者達は被験者の居住地の日照量から血中濃度を推定したに過ぎないのである。

重要なのは、これらの研究を行った科学者が失敗したということではない。彼らは、今あるデータでできる限りのことをしたのだろう。もし、誰かが、大規模な集団において、錠剤の摂取量、血中濃度、癌の発生状況などを何年もかけて注意深く追跡調査すれば、確かに正しい答えが得られる可能性は高いだろう。しかし、このような大規模でクリーンな研究は、計画、資金調達、患者の手配に何年もかかり、さらに実行には10年以上かかる。そのため、私たちはまず、街灯効果に悩まされるような弱々しい研究に何年も振り回されることになるのである。このような研究が話題になったとき、誰かがそれを指摘してくれればいいのだが。

そうなるのを待っている間に、念のためにビタミンDの錠剤を飲んでおいた方がいいかもしれない。もちろん、ビタミンDに関する常識が、アスピリンに関する常識と同じ道をたどらない限り、それは良いアドバイスとなる可能性がある。このコンセンサスは、心臓病の危険因子を持つほとんどの人は、毎日少量のアスピリンを服用すべきであると長い間主張されてきた。しかし、現在では、心臓病の既往歴がない限り、アスピリン療法は役に立つどころか、害になる可能性が高いというのが一般的な見解である。あらら。

ある薬が実際に寿命を延ばすかどうかを判断するには、何十年もかかることがある。癌の腫瘍縮小、糖尿病の血糖値低下、アルツハイマー病の脳垢減少、心臓病の悪玉コレステロール低下や善玉コレステロール上昇など、研究者はより早く開発される健康増進の指標に頼ることが多いのはそのためである。喘息に関する研究だけでも、500種類近い健康状態の測定が行われている。

その結果は?アバスチンは、癌患者の寿命を大幅に延ばすことなく腫瘍を縮小させ(その上、心不全や血栓の発生率を増加させた)アバンディアは、糖尿病患者の血糖値を下げるが心臓発作の平均リスクを43%上昇させ、トルセトラピブは、善玉コレステロールと死亡率の両方を上昇させ、フルリザンは、脳垢は減らすがアルツハイマー病の認知障害を遅らせず 2008年についに臨床試験が停止されたといった、大げさに宣伝する薬剤が出ているのだ。

街灯効果は、科学者が適切な被験者に目を向けなければ、研究結果を狂わせることもある。患者の募集は多くの医学研究において大きな問題であり、研究者はしばしば、学生、貧困層、薬物乱用者、ホームレス、不法移民など、健康状態やライフスタイルの点で集団を適切に代表できない人々の参加費用を負担する羽目になることがある。1990年代の研究では、ホルモン補充療法が心臓病のリスクを50%減少させることが証明されたように見えた。しかし 2002年に行われた大規模な調査では、ホルモン補充療法は心臓病のリスクを29%増加させることが証明されたようだ。女性の年齢がホルモン補充療法に対する反応に影響を与えることが判明し、最初の研究では2番目の研究よりもやや若い女性を対象としていたため、この食い違いが生じたのである。両研究のデータは信頼できるものであるが、すべての女性に適用できるものではない。

さらにもう一つの問題は、科学者が人間の健康について知っていると思っていることの多くが、動物実験からきているということだ。残念なことに、動物実験では安全で有効だと証明された薬の4分の3が、初期のヒト試験で失敗に終わっている。2006年、白血病の実験薬TGN1412が、6人のボランティア患者に投与された。ウサギやサルには500倍まで投与して効果があったのに、6人全員がすぐに多臓器不全で重篤な状態に陥った。

マウスは特に、研究者が文句を言うことなく、あらゆる種類の極めてきれいな測定値を抽出することができる。しかし、マウスを使った研究は、往々にしてヒトでの結果に結びつかないということは、よく知られた事実である。確かに、初期の薬物研究にマウスを使えば、人間の被験者に危害を加える必要がなくなるので、誤解を招きやすい研究結果を正当化できると考える人は多いだろう。しかし、マウスは、無害な生活習慣や行動の研究において、簡単な測定値を得るために常に使われているのである。たとえ、マウスが遺伝子操作によって、より人間に近いものになったとしても、この命題には疑問が残る。2008年にボストン大学で発表された「ウェイトリフティングは有酸素運動よりも脂肪を燃焼させる」という大げさな研究結果は、遺伝子操作によって異様に大きな筋肉を持った、座りっぱなしのマウスを使ったものであったが、あなたはそのアドバイスをどれほど真剣に受け止めたいだろうか?

多くの科学者の宣言に反して、信頼性の低い医学研究の結果は、被験者を治療群とプラセボ群に無作為に割り当てる大規模な無作為化比較試験で消えることはないのである。このような試験は、ある意味では信頼性が高いが、必ずしも街灯効果に対応したものではないし、他の類似の試験で反論されることも多い。祈りの癒しの力についてどのように考えるにせよ、これには首をかしげざるを得ない。1999年、大規模な無作為比較試験で、心臓手術の患者は、会ったこともない人がこっそり祈ってくれると助かる可能性が高いことが「証明」された。それから7年後、別の無作為比較試験で、こっそり祈ると患者が合併症を患う確率がごくわずかに上昇することがわかった。

街灯効果は研究の測定がうまくいかない一つの方法であり、測定の失敗は研究がうまくいかないいくつかの方法のうちの一つに過ぎない。測定方法の間違いは、科学的研究において間違いの最大の原因ですらない。その栄誉は「出版バイアス」、つまり、エキサイティングで驚くべきブレイクスルー結果をもたらすごく一部の研究を熱心に掲載しようとする雑誌の傾向のほうにある。もちろん、ある研究チームが驚くべき結果を出し、他の何人かの研究チームが出版に値しない退屈な結果を出すのは、その1チームがどこかで失敗したからだという説明が最も適切だろう。この現象が研究結果の信頼性に及ぼす悪質な影響については、いくつかの分野で科学雑誌自体に長々と書かれている。しかし、それはまた別の話である。

このような間違いにどう対処したらよいのだろうか?まず手始めに、研究雑誌に掲載されている大半の内容や、主流メディアで読む魅力的でニュース性のある研究結果のほとんどに対して懐疑的であり続けることだろう(メディアは問題を拡大させる傾向がある)。(ただし、DISCOVERは当然ながら信頼できる。そして、私を信じてほしい、この記事が間違っているわけがない。何しろ、この記事のすべてが科学的研究によって裏付けられているのであるから)。

アインシュタイン(電子の実験を失敗させた人)がこの問題に関して言ったことを念頭に置くべきかもしれない。「自分たちのしていることが分かっていたら、それは研究とは呼ばないだろう?」

この記事が役に立ったら「いいね」をお願いします。
いいね記事一覧はこちら

備考:機械翻訳に伴う誤訳・文章省略があります。
下線、太字強調、改行、注釈や画像の挿入、代替リンク共有などの編集を行っています。
使用翻訳ソフト:DeepL,ChatGPT /文字起こしソフト:Otter 
alzhacker.com をフォロー