発表された研究結果の多くが誤っている理由

強調オフ

利益相反医学研究(総合・認知症)科学哲学、医学研究・不正

サイトのご利用には利用規約への同意が必要です

Why Most Published Research Findings Are False

www.ncbi.nlm.nih.gov/pmc/articles/PMC1182327/

John P. A. IoannidisPLOS x

発行日 2005年8月30日

帰結

ほとんどの研究デザイン、ほとんどの分野において、ほとんどの研究結果は偽である。
主張されている研究結果は、多くの場合、一般的なバイアスを単に正確に測定したものである可能性がある

この状況を改善するには?

概要

現在発表されている研究結果のほとんどが虚偽であるという懸念が高まっている。ある研究主張が真実である確率は、研究の力や偏り、同じ問題に関する他の研究の数、そして重要なことに、各科学分野で調査された関係性のうち、真実の関係性と無関係の関係性の比率に依存していると考えられる。この枠組みでは、ある分野で実施された研究の規模が小さい場合、効果量が小さい場合、検証された関係の数が多く予備選択が少ない場合、デザイン、定義、結果、分析方法の柔軟性が高い場合、金銭的その他の利益や偏見が大きい場合、統計的有意性を追いかける科学分野に多くのチームが関与している場合に、研究結果が真実である可能性が低くなる。シミュレーションによると、ほとんどの研究デザインや設定において、研究主張が真であるよりも偽である可能性の方が高いことがわかっている。さらに、現在の多くの科学分野では、主張された研究結果は、一般的なバイアスを正確に測定したものに過ぎないことが多い。本論では、これらの問題が研究の実施と解釈に与える影響について述べている。

発表された研究結果は、後続のエビデンスによって反論されることがあり、その結果、混乱や失望を招くことがある。反論や論争は,臨床試験や伝統的な疫学研究[1-3]から最新の分子研究[4,5]まで,さまざまな研究デザインで見られる。現代の研究では、発表された研究主張の大半、あるいは大部分が偽の発見ではないかという懸念が高まっている[6-8]。しかし、これは驚くべきことではない。主張されている研究結果のほとんどが虚偽であることは証明できる。ここでは、この問題に影響を与える重要な要因とその傍証を検討する。

偽陽性発見の枠組みのモデル化

何人かの方法論学者は、研究発見の非再現性(確認の欠如)の割合が高いのは、形式的な統計的有意性(典型的にはp値が0.05未満)によって評価された1つの研究のみに基づいて決定的な研究結果を主張するという、便利だが根拠のない戦略の結果であると指摘している [9-11]研究はp値で表されたり要約されたりするのが最も適切ではないが、残念ながら医学研究論文はp値だけで解釈されるべきだという考え方が広まっている。ここでいう研究成果とは、正式な統計的有意性に達した関係性、例えば、効果的な介入、有益な予測因子、危険因子、関連性などと定義される。「ネガティブ」な研究も非常に有用である。”ネガティブ “という言葉は実際には誤用であり、その誤解は広まっている。しかし、ここでは無効な知見ではなく、研究者が存在すると主張する関係を対象とする。

主張されている研究結果のほとんどが虚偽であることが証明されている

これまでに示されているように、ある研究結果が実際に真実である確率は、(研究を行う前の)事前の真実の確率、研究の統計的検出力、および統計的有意性のレベルに依存する [10,11]。2×2の表を考えてみよう。この表では、ある科学分野における真の関係というゴールドスタンダードに対して研究結果を比較する。研究分野では、関係性の存在について、真の仮説も偽の仮説も立てることができる。ここで、その分野で検証された「真の関係」の数と「関係なし」の数の比率をRとする。Rはその分野の特徴であり、その分野が可能性の高い関係を対象としているか、あるいは何千、何百万もの仮説の中から1つまたは数個の真の関係だけを探しているかによって、大きく変わる。また、計算を簡単にするために、真の関係が(多くの仮説の中で)1つしかないか、既存のいくつかの真の関係のいずれかを見つけるのに近い力を持つ、外接的な分野を考えてみよう。ある関係が真であるという研究前の確率はR/(R + 1)である。真の関係を発見する研究の確率は、検出力1-β(Type IIエラー率の1マイナス)を反映している。実際には関係がないのに関係を主張する確率は、第一種エラー率αを反映している。c個の関係が現場で調査されていると仮定すると、2×2表の期待値は表1のようになる。形式的な統計的有意性を達成して研究結果を主張した後、それが真実であるという研究後の確率がPPV(positive predictive value)である。PPVは、Wacholderらが偽陽性報告確率と呼んでいるものの補完的な確率でもある[10]。2×2の表によると、PPV = (1 – β)R/(R – βR + α)となる。通常、大多数の研究者はa = 0.05に依存しているので、(1 – β)R > 0.05であれば、研究結果は偽よりも真である可能性が高いということになる。

表1 調査結果と真の関係性

あまり知られていないことであるが、偏りや、世界中の異なる調査チームによる独立したテストの繰り返しによって、この図式はさらに歪められ、研究結果が本当に真実である確率はさらに低くなる可能性がある。ここでは、これらの2つの要因を、同じような2×2の表を使ってモデル化してみる。

バイアス

まず、バイアスとは、設計、データ、分析、発表などの様々な要因が組み合わさって、本来出るはずのない研究結果が出てしまうことと定義しておく。本来ならば「研究成果」ではないにもかかわらず、バイアスのために「研究成果」として発表・報告されてしまうプローブ分析の割合をuとする。バイアスは、研究デザイン、データ、分析、発表が完璧であるにもかかわらず、偶然に誤った発見をしてしまう偶然の変動性と混同してはならない。バイアスには、研究結果の分析や報告における操作が含まれる。選択的で歪んだ報告は、このようなバイアスの典型的な形態である。uは、真の関係が存在するかどうかに依存しないと考えることができる。どの関係が本当に正しいのかを知ることは通常不可能なので、これは不合理な仮定ではない。バイアスがある場合(表2)PPV = ([1 – β]R + uβR)/(R + α – βR + u – uα + uβR)となり、PPVは1 – β ≤ α、すなわちほとんどの状況で1 – β ≤ 0.05とならない限り、uの増加とともに減少する。このように、バイアスの増加に伴い、研究結果が真実である可能性はかなり減少する。このことは、パワーのレベルと研究前のオッズを変えて図1に示している。逆に、逆バイアスのために、真の研究結果が否定されることもある。例えば、測定誤差が大きいと関係性がノイズに埋もれてしまったり [12]、研究者がデータを非効率的に使用したり、統計的に有意な関係性に気づかなかったり、有意な知見を「埋没」させる傾向のある利益相反があったりする [13]。多様な研究分野において、このような逆バイアスがどのくらいの頻度で発生しているかについては、大規模な実証的証拠はない。しかし、おそらく逆バイアスはそれほど一般的ではないと言ってよいであろう。また、分子時代の技術的進歩により測定誤差が減少し、研究者がデータに対して高度な知識を持つようになったため、測定誤差やデータの非効率的な使用は、おそらくそれほど頻繁に起こる問題ではなくなってきている。いずれにしても、逆バイアスは、上記のバイアスと同じようにモデル化することができる。また、逆バイアスは、偶然によって真の関係を見逃してしまう可能性のある偶然変動と混同してはならない。

図1 PPV(ある研究結果が真実である確率)は、様々なレベルのバイアス(u)に対する研究前のオッズの関数として示されている。

パネルは0.20,0.50,0.80の検出力に対応している。

表2 バイアスがかかっている場合の研究結果と真の関係性

複数の独立したチームによるテスト

複数の独立したチームが同じ研究課題に取り組んでいる場合がある。研究活動のグローバル化に伴い、複数の研究チーム(多くの場合、数十チーム)が同一または類似の問題を調査することが事実上、規則化されている。しかし、残念なことに、これまでは1つのチームによる単独の発見に注目し、研究実験を単独で解釈するという考え方が主流であった分野もある。研究成果を主張する研究が少なくとも1つあり、それが一方的に注目されている質問が増えている。同じ質問に対して行われた複数の研究のうち、少なくとも1つの研究が統計的に有意な研究結果を主張する確率は、簡単に見積もることができる。独立した研究が n 件で検出力が等しい場合、表 3 に示す 2 × 2 の表となり、PPV = R(1 – βn)/(R + 1 – [1 – α]n – Rβn) となる(バイアスは考慮しない)。独立した研究の数が増えると、1 – β < a、すなわち典型的には 1 – β < 0.05 でない限り、 PPV は減少する傾向にある。これは図2に異なるレベルの検出力と異なる研究前オッズについて示されている。異なる検出力のn個の研究では、βnの項はi = 1からnまでのβiの項の積に置き換えられるが、帰結は同様である。

図2 PPV(ある研究結果が真実である確率)の研究前オッズの関数として、様々な数の研究が実施された場合、n

パネルは0.20,0.50,0.80の検出力に対応している。

表3 複数の研究が存在する場合の研究結果と真の関連性

帰結

実際の例をボックス1に示する。上記の考察に基づいて、ある研究結果が実際に真である確率について、いくつかの興味深い傍証を導くことができる。

Box 1. 一例。研究前の低い確率での科学

ある研究チームが、10万個の遺伝子多型のどれかが統合失調症の感受性と関連しているかどうかを調べるために、全ゲノム関連研究を行ったとしよう。この病気の遺伝性の程度についてわかっていることに基づけば、テストされた遺伝子多型のうち、おそらく10個前後の遺伝子多型が本当に精神分裂病と関連していると予想するのが妥当であり、10個前後の多型については比較的似たようなオッズ比が得られ、それらのいずれかを同定する力もかなり似たようなものである。そうすると、R = 10/100,000 = 10-4となり、ある多型が統合失調症と関連する研究前の確率もR/(R + 1) = 10-4となる。また、α=0.05でオッズ比1.3の関連性を見出す検出力が60%であったとしよう。そうすると、p値が0.05のしきい値をかろうじて超えて統計的に有意な関連性が認められた場合、それが真実であるという研究後の確率は、研究前の確率に比べて約12倍になるが、それでも12×10-4にすぎない。

ここで、研究者がデザイン、分析、報告を操作して、より多くの関係がp = 0.05のしきい値を超えるようにしたとしよう。ただし、当初の研究計画に厳密に従ったデザインと分析、そして結果の完璧な包括的報告があれば、しきい値を超えることはなかったであろう。このような操作は、例えば、特定の患者または対照の偶然の包含または除外、事後的なサブグループ分析、当初は指定されていなかった遺伝的対照の調査、疾患または対照の定義の変更、および結果の選択的または歪んだ報告の様々な組み合わせによって行うことができる。市販されている「データマイニング」パッケージは、データの浚渫(しゅんせつ)によって統計的に有意な結果が得られることを誇りにしている。u=0.10のバイアスがある場合、ある研究結果が真実であるという研究後の確率は、わずか4.4×10-4である。さらに、偏りがない場合でも、独立した10の研究チームが世界中で同様の実験を行った場合、そのうちの1つが形式的に統計的に有意な関連性を見つけたとしても、その研究結果が真実である確率は1.5×10-4に過ぎず、このような大規模な研究が行われる前の確率よりもほとんど高くはない。

帰結1:科学分野で行われた研究の規模が小さければ小さいほど、研究結果が真実である可能性は低くなる。

サンプルサイズが小さいということは検出力も小さいということであり、上記のすべての関数において、真の研究結果に対するPPVは検出力が1 – β = 0.05に向かって減少するにつれて減少する。したがって、他の要因が同じであれば、分子予測因子のほとんどの研究(サンプルサイズは100倍小さい)のような小規模な研究を行う科学分野よりも、心臓病学におけるランダム化比較試験(数千人の被験者をランダム化)[14]のような大規模な研究を行う科学分野の方が、研究結果が真実である可能性が高くなる[15]。

帰結2:科学分野における効果量が小さければ小さいほど,その研究結果が真実である可能性は低くなる.

パワーもエフェクトサイズに関連している。したがって、喫煙ががんや心血管疾患に与える影響(相対リスク3~20)のように効果が大きい科学分野では、多遺伝性疾患の遺伝的危険因子(相対リスク1.1~1.5)のように仮定された効果が小さい科学分野よりも、研究結果が真実である可能性が高くなる[7]。現代の疫学では,より小さな効果量を目標とすることがますます義務付けられている[16]。その結果、真の研究成果の割合が減少することが予想される。同じ考え方で、ある科学分野で真の効果量が非常に小さい場合、その分野はほとんど偏在する偽陽性の主張に悩まされることになる。例えば複雑な病気の真の遺伝的または栄養的決定要因の大部分が1.05未満の相対リスクを与えるならば、遺伝学や栄養学の疫学はほとんどユートピア的な試みとなるであろう。

帰結 3: 科学分野において、テストされた関係の数が多く、選択の幅が狭いほど、研究結果が真実である可能性は低くなる。

上に示したように、ある発見が真実であるという研究後の確率(PPV)は、研究前のオッズ(R)に大きく依存する。したがって、研究成果は、仮説生成型の実験よりも、大規模な第3相ランダム化比較試験やそのメタアナリシスなどの確証型デザインの方が真実である可能性が高い。マイクロアレイやその他のハイスループットな発見志向の研究[4,8,17]のように、収集され検証された情報が豊富であることから、情報量が多く創造性に富んでいると考えられる分野は、PPVが極めて低いはずである。

帰結4.科学分野におけるデザイン、定義、結果、分析方法の柔軟性が高いほど、研究結果が真実である可能性は低くなる。

いくつかの研究デザイン、例えば、無作為化比較試験[18-20]やメタアナリシス[21,22]では、その実施と報告を標準化する努力がなされている。共通の基準に従うことで,真の発見の割合が増加する可能性がある.アウトカムについても同様である。多種多様なアウトカムが考案されている場合(例:統合失調症のアウトカムの尺度)よりも、アウトカムが明確で普遍的に合意されている場合(例:死亡)の方が、真の知見が得られる割合が高いかもしれない[23]。同様に、一般的に合意された定型的な分析方法(Kaplan-Meierプロットやlog-rank検定など)[24]を用いる分野は、分析方法がまだ実験中であり、「最良」の結果のみが報告される分野(人工知能の方法など)よりも、真の発見の割合が大きくなる可能性がある。いずれにしても,最も厳格な研究デザインであっても,バイアスは大きな問題であるようである。例えば,無作為化試験であっても,報告される結果や分析を操作することによる選択的結果報告が一般的な問題であることを示す強力な証拠がある[25].選択的公表を廃止するだけでは、この問題は解消されない。

帰結5:科学分野における金銭的その他の利害関係や偏見が大きいほど、研究結果が真実である可能性は低くなる。

利益相反と偏見は,バイアス,uを増加させる可能性がある.利益相反は,生物医学研究では非常に一般的であり[26],一般的に報告が不十分であり,まばらである[26,27].偏見の根源は必ずしも金銭的なものではないかもしれない。ある分野の科学者が、科学理論に対する信念や自分の研究成果へのこだわりから、純粋に偏見を持つこともある。一見、独立しているように見える大学での研究の多くは、医師や研究者に昇進や在職の資格を与えること以外の理由で行われているかもしれない。このような非金銭的な対立は、報告された結果や解釈を歪めてしまう可能性もある。著名な研究者は、自分たちの研究結果を否定するような研究結果の出現や普及を査読プロセスによって抑制し、その結果、自分たちの分野が誤ったドグマを永続させることになるかもしれない。専門家の意見に関する経験的な証拠は、それが極めて信頼性の低いものであることを示している[28]。

帰結6: 科学分野がホットであればあるほど(より多くの科学チームが関わっていればいるほど)研究結果が真実である可能性は低くなる。

この一見逆説的な結論は、上述したように、多くの研究チームが同じ分野に関与していると、孤立した知見のPPVが減少するからである。注目されている分野で、大きな盛り上がりを見せた後、すぐに大きな失望を味わうことがあるのは、このためだと思われる。同じ分野で多くのチームが活動し、膨大な実験データが作成されると、競争に勝つためにはタイミングが重要になる。そのため、各チームは、最も印象的な「ポジティブ」な結果を追求し、それを広めることを優先するであろう。「負」の結果は、他のチームが同じ問題で「正」の関連性を発見した場合にのみ、普及のための魅力的なものとなる。その場合、権威あるジャーナルに掲載された主張に反論することは魅力的かもしれない。このように極端な研究主張と極端に反対の反論が交互に繰り返される現象を、プロテウス現象という言葉で表現している[29]。経験的に、このような極端な対立の連続は、分子遺伝学では非常に一般的であることが示唆されている[29]。

 

これらの傍証は、各要因を個別に考慮しているが、これらの要因はしばしば互いに影響しあっている。例えば、真の効果量が小さいと思われる分野で働いている研究者は、真の効果量が大きいと思われる分野で働いている研究者よりも、大規模な研究を行う可能性が高いかもしれない。あるいは、注目されている科学分野では偏見が蔓延し、研究結果の予測価値がさらに損なわれる可能性がある。偏見の強い利害関係者は、反対の結果を得て普及させるための努力を中断させる障壁となることさえある。逆に、ある分野が注目されていたり、強い利害関係者がいることで、大規模な研究や研究水準の向上が促進され、研究結果の予測価値が高まることもある。あるいは、大規模な発見志向の試験の結果、有意な関係が大量に得られ、研究者が報告したり、さらに調査したりするのに十分な情報を得ることができ、データの掘り起こしや操作を控えることができるかもしれない。

ほとんどの研究結果は、ほとんどの研究デザインとほとんどの分野で偽りである。

上記の枠組みでは、50%を超えるPPVを得ることは非常に困難である。表4は、特定の研究デザインや設定に特徴的な様々なタイプの状況について、検出力、真偽関係の比率、バイアスの影響について開発した式を用いてシミュレーションした結果を示している。介入が有効であるという試験前の確率が50%で開始された、十分に実施された動力付き無作為化対照試験から得られた知見は、最終的に約85%の確率で真となる。質の良い無作為化試験の確証的メタアナリシスでも、かなり似たようなパフォーマンスが期待される。潜在的なバイアスはおそらく増加するが、単一の無作為化試験と比較して、検出力と試験前のチャンスは高くなる。逆に,単一の研究の低い検出力を「補正」するためにプーリングを用いた,結論の出ていない研究からのメタ分析結果は,R≦1:3の場合,おそらく誤りである。パワー不足の初期段階の臨床試験から得られた研究結果は、約4回に1回、あるいはバイアスが存在する場合はさらに少ない頻度で真となるであろう。探索的な性質を持つ疫学研究は、特に力不足の場合にはさらに悪い結果となるが、力のある疫学研究であっても、R = 1:10であれば、5回に1回の確率でしか真とならないかもしれない。最後に、大規模な試験を行う発見志向の研究では、試験された関係が真の関係の1,000倍を超える場合(例えば、30,000個の遺伝子が試験され、そのうち30個が真の原因かもしれない)[30,31]、バイアスを最小化するために実験室および統計的手法、結果、およびその報告をかなり標準化したとしても、主張された各関係に対するPPVは極めて低い。

表4 パワー(1 – ß)、真偽関係の比率(R)、バイアス(u)の様々な組み合わせに対する研究結果のPPV

主張された研究結果は、多くの場合、一般的なバイアスを単に正確に測定したものである可能性がある

このように、現代の生物医学研究の大部分は、研究の前後で真の知見が得られる確率が非常に低い分野で行われている。仮に、ある研究分野では、真の発見が全くないとしよう。科学の歴史を振り返ると、過去には、少なくとも現在の理解では真の科学的情報が全く得られない分野で、科学的努力を無駄にしたことがよくある。このような「null field」では、バイアスがかかっていない状態では、観測されたすべての効果の大きさがnullの周辺で偶然に変化することが理想的である。観察された結果が偶然に期待されるものからどの程度逸脱しているかは、偏りがあるかどうかを純粋に測ることができる。

例えば、特定の腫瘍の発症リスクを決定する重要な栄養素や食事パターンが実際にはなかったと仮定してみよう。また、科学文献では60種類の栄養素が調査され、そのすべてがこの腫瘍の発症リスクに関連しており、摂取量の多い層と少ない層を比較した場合の相対リスクが1.2から1.4の範囲にあると主張しているとしよう。そうすると、主張されている効果の大きさは、単にこの科学文献の作成に関与した正味のバイアスを測定しているに過ぎないことになる。主張されている効果の大きさは、実際には正味のバイアスの最も正確な推定値なのである。さらに、「無効な分野」の間で、より強い効果を主張する分野(多くの場合、医学的または公衆衛生上の重要性を伴う)は、単に最悪のバイアスを維持してきた分野であるということになる。

PPVが非常に低い分野では、少数の真の関係はこの全体像をあまり歪めないであろう。たとえ少数の関係が真実であったとしても、観察された効果の分布の形は、その分野に関わるバイアスの明確な尺度となる。この概念は、科学的結果の見方を完全に覆すものである。従来、研究者は、大きくて有意性の高い効果を、重要な発見の兆候として興奮して見てた。しかし、現代のほとんどの研究分野では、大きすぎる効果や高すぎる有意な効果は、実際には大きなバイアスの兆候である可能性が高い。研究者は、自分たちのデータ、分析、結果のどこに問題があったのか、注意深く批判的に考える必要がある。

もちろん、どの分野の研究者であっても、自分がキャリアを積んできた分野全体が「無効な分野」であることを受け入れることには抵抗があるであろう。しかし、他の証拠や技術・実験の進歩により、最終的には科学分野が解体されてしまう可能性もある。ある分野の正味の偏りを測定することは、同じような分析方法や技術、対立が存在する他の分野では、どの程度の偏りがあるのかを知るためにも有効である。

状況を改善するには?

研究成果の多くが虚偽であることは避けられないのか、それとも改善できるのか。大きな問題は、どのような研究課題であっても、何が真実なのかを100%確実に知ることができないということである。この点で、純粋な「ゴールド」スタンダードは達成できない。しかし、研究後の確率を向上させるためのアプローチはいくつかある。

大規模な研究やバイアスの少ないメタアナリシスなど、より強力なエビデンスがあれば、未知の「ゴールド」スタンダードに近づけることができるかもしれない。しかし、大規模な研究にもバイアスがある可能性があり、それを認識して回避する必要がある。さらに、大規模な証拠は、現在の研究で提起されている何百万、何兆もの研究課題のすべてについて入手することは不可能である。大規模な証拠は、研究前の確率がすでにかなり高く、重要な研究結果が得られればテスト後の確率がかなり決定的だと考えられるような研究課題を対象とすべきである。また、大規模な証拠は、狭い範囲の特定の質問ではなく、主要な概念をテストできる場合に特に有効である。否定的な発見は、特定の提案された主張だけでなく、分野全体またはそのかなりの部分を否定することになる。特定の医薬品の販売促進などの狭義の基準で大規模研究の成果を選択することは、ほとんど無駄な研究である。さらに、極めて大規模な研究では、ヌルとは実際には意味のない些細な効果について、形式的に統計的な有意差を見出す可能性が高いことにも注意する必要がある[32-34]。

第二に,ほとんどの研究課題は多くのチームによって取り組まれており,単一のチームの統計的に有意な結果を強調するのは誤解を招く恐れがある.重要なのは,証拠の全体像です.研究基準の強化や偏見の抑制によってバイアスを減らすことも有効である。しかし、そのためには科学者のメンタリティを変える必要があり、実現は難しいかもしれない。研究デザインによっては,無作為化試験などの研究を前もって登録しておくことで,取り組みがより成功する場合もある[35]。登録は、仮説生成型の研究にとっては課題となるであろう。ある種の登録や,分野内のデータ収集者や研究者のネットワーク化は,仮説を生み出す実験を一つ一つ登録するよりも実現性が高いかもしれない。いずれにしても、他の分野の研究の登録に大きな進展が見られないとしても、プロトコルを作成し、それを遵守するという原則は、ランダム化比較試験からより広く借用することができるであろう。

最後に,統計的有意性を追求するのではなく,研究努力が有効に働くR値の範囲(研究前のオッズ)についての理解を深めるべきである[10].実験を行う前に、研究者は、真実ではない関係ではなく真実の関係をテストしている可能性がどの程度あるかを検討する必要がある。推測される高いR値を確認することもあるであろう。以上のように、倫理的に許容される場合は、比較的確立されていると考えられる研究結果について、バイアスを最小限に抑えた大規模な研究を行い、実際にどのくらいの頻度で確認されるかを確認する必要がある。私は、いくつかの確立された「古典」がこのテストに失敗するのではないかと考えている[36]。

とはいえ,新しい発見のほとんどは,研究前の確率が低い,あるいは非常に低い仮説生成型の研究から生まれ続けるであろう。我々は、単一の研究の報告書における統計的有意性の検定は、報告書の外や関連分野全体でどれだけの検定が行われたかを知らずに、部分的な情報しか得られないことを認識する必要がある。多重検定の補正に関する大規模な統計文献があるにもかかわらず[37]、通常、報告された研究結果の前に、報告者や他の研究チームがどれだけデータを掘り起こしたかを解読することは不可能である。仮にこれを判断することが可能であったとしても、それでは研究前のオッズについて知ることができない。したがって、関連する研究分野や研究デザインにおいて、調査対象となった関係のうち、どれだけの関係が真であると予想されるかについて、概算で仮定することは避けられない。この確率を単独の研究プロジェクトで見積もるには、より広い分野からの助言が必要になるかもしれない。また、隣接する他の分野で検出されたバイアスの経験も参考になるであろう。これらの仮定はかなり主観的なものになるとはいえ、研究の主張を解釈したり、文脈の中に置いたりするのに非常に役立つであろう。

この記事が役に立ったら「いいね」をお願いします。
いいね記事一覧はこちら

備考:機械翻訳に伴う誤訳・文章省略があります。
下線、太字強調、改行、注釈や画像の挿入、代替リンク共有などの編集を行っています。
使用翻訳ソフト:DeepL,ChatGPT /文字起こしソフト:Otter 
alzhacker.com をフォロー