Contents
lack of evidence is not equivalent to evidence of lack
統計分析におけるよくある落とし穴。”効果の証拠がない “対 “効果がない証拠”
Common pitfalls in statistical analysis: “No evidence of effect” versus “evidence of no effect”
www.ncbi.nlm.nih.gov/pmc/articles/PMC4314850/
2015 Jan-Mar
Priya Ranganathan, C. S. Pramesh,1 and Marc Buyse2
要旨
この記事は、生物医学研究における統計解析における共通の落とし穴を探るシリーズの第1回目である。臨床試験の力とは、そのような違いが存在する場合に、治療法間の違いを見つける能力である。研究の最後には、治療法間の差がないからといって、治療法が同等であると考えられるわけではない。効果の証拠がない」と「効果の証拠がない」の区別を理解する必要がある。
キーワード 生物統計学、バイアス、統計学
公表されている文献では、2つの治療法の同等性を主張する著者を見つけることは珍しくない。しかし、このような結論は時として不正確な場合があり、慎重に解釈する必要がある。優越性試験は、一方の治療法が他方の治療法よりも効果的であることを証明するために治療法を比較するものである。このような試験の結果を解釈する際には、2つの可能性がある
タイプIエラー（実際には差が存在しないのに治療法間の差を見つける）と
タイプIIエラー（差が存在するのに治療法間の差を見つけない）
である。研究の検出力は、そのような効果が存在する場合に治療効果を発見する能力として定義される[1] 、検出力は(1 – Type II error)として計算され、通常は80-90%に設定される。これは、治療効果が存在する場合、研究は80-90%の確率でそれを検出することを意味する。しかし、これはまた、真の治療効果が研究によって検出されない可能性が10～20%あることを意味する[1]。
優越性試験では、3つの理由で治療群間の差を示すことができない場合がある（「陰性」試験）。
- (a) 2つの治療法の間に差が本当にない、
- (b) 治療効果がサンプルサイズの計算で説明されているよりも小さい、
- (c) 臨床的に重要な有益性を検出するために必要とされるサンプルサイズよりも小さい。
試験のサンプルサイズは、検出力、タイプI誤差、および期待される治療効果に基づいて計算される[1] 。 治療効果の推定値は、通常、同じトピックに関する文献をレビューするか、パイロット研究を行うか、または最後の手段として、期待される治療効果またはその分野の専門家が臨床的に関連する有益性と考えているもののいずれかを「推定」することによって得られる。サンプルサイズは治療効果の二乗に反比例するため、多くの研究者は、サンプルサイズを小さくして募集目標を現実的なものにするために、期待される治療効果を膨らませている。他のケースでは、正式なサンプルサイズの計算をしているにもかかわらず（あるいは同様に、正式な計算をしていない場合も多い)研究者はロジスティックな理由から、より少ない患者をリクルートすることを選択するかもしれない。
上記のいずれかの結果として、真の治療効果が存在するにもかかわらず、治療効果を検出できなかった、つまり「効果の証拠がない」ということになる。しかし、これは多くの著者や読者によって、「効果のない証拠 」と同じものであると誤って解釈されている。例えば、Sungらは静脈瘤出血に対する緊急硬化療法とオクトレオチド点滴の有効性を比較する研究を行った[2]。予想通り、この研究はグループ間の転帰の差を示すことができなかった;しかしながら、著者の（誤った）結論は、「我々はオクトレオチドが急性静脈瘤出血に対する安全で効果的な治療法であることを示し、その使用を推奨している」というものであった。..。不慣れな読者にとっては、この論文は2つの治療法のいずれかが静脈瘤出血に適切であると誤解される可能性があり、利用可能なデータから導き出すことは非常に危険な結論である。ポストホック分析によると、この研究では推定された差を検出する力は5%しかなかった[3] 。急性静脈瘤出血のような臨床状況（効果的な治療を行わないと非常に高い死亡率を示す）では、この勧告を採用することは多くの命を犠牲にする可能性がある。
ある治療法の有効性の欠如（または2つの治療法の「同等性」）は、優越性試験の否定的な結果から安易に導き出すことはできない-この結論を得るためには、「同等性」デザインと定義された同等性マージンを持つ試験が必要だ。
「効果の証拠の欠如 」は、「効果の欠如の証拠 」ではない。
「証拠の欠如」が「欠如する証拠」となっている場合
When Lack of Evidence Is Evidence of Lack
pubmed.ncbi.nlm.nih.gov/26631232/
2015年12月
ニールピッカリング
要旨
Levy、Gadd、Kerridge、Komesaroffは、彼らの最近の論文「ホメオパシーの優しい倫理的防衛」において、「証拠の欠如は欠如の証拠と同等ではない」という主張を、ホメオパシーの倫理的防衛の構成要素として使用している。これに対して、この記事は、彼らの倫理的な主張を補強するためにこの主張を使うことはできないと主張している。なぜなら、それは虚偽だからだ。
「ホメオパシーの優しい倫理的擁護」と題した彼らの最近の記事では、Levy、Gadd、Kerridge、およびKomesaroff（2015）は、ホメオパシーの気合の入った擁護を前面に打ち出している。彼らは多くの指摘をしており、それに対する反論も多いと感じている。
ホメオパシーの場合、証拠がないことは証拠がないことの証拠にはならないという主張である。この主張はLevyらの議論において重要な役割を果たしており、また、より広い関心事であるため、この主張の妥当性を検討する価値がある。
ここに文脈での主張がある（文脈が合理的に明確になるように、長々と引用し、無言で参照を省略している）。
すべての分野の実践は、ある状況では効果的であるかもしれないし、他の状況では何の利益もないかもしれないし、他の状況では実際に有害であるかもしれない。骨髄移植は急性白血病には効果があるかもしれないが、乳がんには有害であるかもしれないし、証明されていないかもしれない。いずれの場合も、診療分野や診療倫理を損なうことになるのは、診療分野全体の有効性、すなわち「骨髄移植が効く」「ホメオパシーが効く」という主張や、「骨髄移植が乳がんに効く」「ホメオパシーが大腸がんに効く」というように、根拠のない状況での有効性の主張であろう。しかし重要なことは、この種の主張は証拠を必要とするが、あらゆる治療法や介入の場合と同様に、証拠がないということは、その治療法が効かないということではなく、効くという証拠がないということでしかないということである。
では、「lack of evidence is not equivalent to evidence of lack」（『証拠の欠如』は『欠如の証拠』と同等ではない）というフレーズをどのように適用すべきなのだろうか。おそらく、最初のフレーズでは “evidence “は “evidence of efficacy “を意味し、”lack “は “lack of efficacy “を意味すると読むべきであろう。つまり、「有効性の証拠がないことは、有効性がない証拠と同等ではない」ということである。これとおそらく密接に関連していると思われる一般的な主張は、「証拠がないことは欠如する証拠の証拠にはならない」というものである。これは真実の響きを持っているように思えるフレーズの一つであり、私自身もこのフレーズを使うことに罪を認めるだろう。これが普遍的な真理であると主張する限り、それはどんな反例によっても改竄されてしまう。しかし、私には1つだけではなく、多数の反例があるように思える。しかし、1つの反例から始めよう。
例えば、地球内惑星ヴァルカンの存在を考えてみよう（Fontenrose 1973; Baum and Sheehan 1997を参照）。この惑星の存在は、1859年にウルバン・ル・ヴェリエによって提唱された。そして偶然にも、アマチュアの天文学者であるレスカルボー博士が、同じ時期にこの惑星を発見したと考えていた。しかし、その後、多くの人々がこの天体を探したが、誰もこの天体が存在するという説得力のある証拠を提示することはできなかった。これは驚くべきことではない。しかし、どうやって存在しないことを知っているのであろうか？それには二つの理由が考えられる。第一に、もし存在していたとしても、他の惑星への影響はそれで説明できるので、存在しないことがわかっている。しかし、最初は水星の軌道上のいくつかの奇妙な現象が説明を必要としているように見えたが（これが最初にル・ヴェリエがヴァルカンの存在を仮定した原因でした)その後のポストニュートン物理学の理論では、これらは別の方法で説明されていた。要するに、ヴァルカンには説明できるものは何もないことが判明したのである。ル・ヴェリエがその存在を正確に予測した海王星とは対照的である）。
第二の理由の種類は、それが存在しなかったという最も明確な証拠であり、それは存在したという証拠がないことである。もし存在していたならば、それは検出されたかもしれないと仮定することができる。それは観測で明らかになったであろう。これらの観測によって、バルカンがあるはずの場所には何もなかったことが明らかになったのである。証拠の不在は、この場合、不在の証拠と同等である。
ヴァルカンのケースはユニークなものではない。それは2つの教訓を教えてくれる。第一に、「証拠がないことは欠如する証拠と同等ではない」という主張には、ヒューリスティックな価値があるということである。人々は信頼できる証拠がなくても 何年もバルカンを探し続けた そして、これは理由の範囲内では、良いことである。太陽の近くにある小さな物体を発見するのは難しいし、他にも発見するのが難しく、発見するのには努力と忍耐と時間が必要なものがたくさんあるのは間違いない。第二の教訓は、「証拠がないことは、証拠がないことの証拠と同じではない」という主張には、普遍的な真理や一般的な真理はないということである。
さて、ヴァルカンの場合は証拠がないのではなく、むしろ証拠がないことの証拠であると主張されるかもしれない。その議論は次のようなものである：何かが存在するとしたら、それが存在すると仮定した場所を見て、その場所でそれが目に見えるという合理的な仮定のもとに、その場所でそれを見なかった場合、あなたが持っているのは、証拠がないという証拠である。要するに、「証拠がない」というのは、そのような場合には適用されないということである。
この場合、本当に状況に合った一般的な言い回しは、「証拠の不在は不在の証拠と同等である」ということになる。これは何かが欠けている（もちろん真実ではないが）。しかし、この些細な真理を利用することは可能である。ホメオパシーの場合の問題は、「証拠がない」のか「証拠がない」のか、それとも「証拠がない」のか、ということである。あるいは、Levyらが使っている言葉で言えば、有効性の証拠がないのか、それとも有効性がないという証拠があるのか、ということである。
ホメオパシーの場合、後者の「有効性の欠如の証拠」とは具体的にどのようなものなのであろうか？バルカンの場合に例えるならば、効果があったはずの場所で、あったとしても検出できると仮定して観察したが、そこには何もなかったということである。不在の証拠があるということだ。これまで述べてきたように、「証拠の不在は不在の証拠である」という表現は、「証拠の不在は不在する証拠ではない」という表現が間違いなく持っている修辞的な華やかさを欠いている。しかし、それは真実であり、もしそれがヴァルカン人にとって真実であるならば、おそらくホメオパシーにとっても真実なのだろう。
しかし今、私が想像するに、Levyらは言うであろう。「しかし、あなたは正しい場所を見ていないし、正しいものを探してもいない。こことこれを探せば、探しているものが見つかるだろう」と言うのではないであろうか。具体的に言えば、このような思考になるだろう：無作為化比較試験（RCT）で、無作為に選択された群と別の無作為に選択された群を比較して特定の変化を探すのではなく、「傾聴……と治療的関係」が「患者に大いに評価されている」領域であり、「文脈と臨床設定が患者の経験とその治療成績から切り離すことができない」領域に注意を払うべきである（Levy er al 2015, 205）。そして、腸がんの症例ではなく、筋肉痛や線維炎の症例が注目されるべきである。そのような場合に有効性のエビデンスが発見されたとすれば、そのエビデンスの存在は有効性のエビデンスとしてカウントされる。
しかし、それが主張であるならば、なぜそうしないのだろうか。ホメオパシーの、あるいはあらゆる治療的介入のための謝罪者たちは、「証拠の欠如は欠如する証拠と同等ではない」というヒューリスティックな意味合いを持つ権利がある。しかし，彼らにはその真実を知る権利はない。