Realist RCTs of complex interventions – An oxymoron
pubmed.ncbi.nlm.nih.gov/23850482/
Bruno Marchal a, *, Gill Westhorp b, Geoff Wong c, Sara Van Belle d, Trisha Greenhalgh e, Guy Kegels a, Ray Pawson f
a Department of Public Health, Institute of Tropical Medicine, Nationalestraat 155, B-2000 Antwerp, Belgium
b Community Matters Pty Ltd（オーストラリア
c プライマリーケア・集団の健康センター（ロンドン大学クイーン・メアリー校、ロンドン、英国
d 英国ロンドン大学衛生・熱帯医学大学院公衆衛生・政策学部政治・政策グループ
e 英国バーツ・アンド・ロンドン医科歯科大学ブリザード研究所プライマリーケア・公衆衛生センター グローバルヘルス・ポリシー・イノベーションユニット
f リーズ大学社会学・社会政策学部（LS2 9JT）（英国）（School of Sociology and Social Policy, University of Leeds, Leeds LS2 9JT, UK
ランダム化比較試験 リアリスト評価 方法論
概要
Bonellらは，公衆衛生における複雑な介入を評価するために無作為化比較試験（RCT）を実施することの難しさを論じ，このデザインを強化するためのリアリスト評価の役割を考察している（Bonell, Fletcher, Morton, Lorenc, & Moore, 2012）。彼らは，「リアリスト評価と無作為化評価の間には対立関係ではなく相乗関係がある」とし，「介入の因果関係を検証する最良の手段としてRCTを放棄することなく，リアリスト評価が提供する洞察から利益を得ることが可能である」と主張している。我々は、リアリスト評価に関する彼らの分析と、リアリストRCTに対する彼らの提言に対する反論を提示する。
Bonellらが，複雑な公衆衛生介入をよりよく評価するために，（準）実験デザインを改善できるかどうか，またどのように改善するかを問うのは正しい．しかし、この論文では、基本的に実証主義の存在論と認識論に基づいて構築された研究デザインが、リアリストのパラダイムの中で使用できるように、どのように意味を持って適応されるのかが説明されていない。リアリストRCT」の推奨は、RCTデザインに大きな課題をもたらす複雑性の重要な要素を十分に考慮していない。また、リアリスト評価アプローチの主要な考え方を無視している。
我々は、「リアリスト」という形容詞は、リアリストの哲学に基づき、その分析アプローチがリアリスト分析の確立された原則に従っている研究にのみ使用し続けるべきであると提案する。Bonellらが提案したアプローチは，「理論に基づいたRCT」と呼ぶ方が正しいように思われる。
はじめに
Bonellらは，公衆衛生における複雑な介入を評価するために無作為化対照試験（RCT）を実施することの難しさを論じ，リアリスト評価がどのように役立つかを検討している（Bonellら，2012）．著者らは，何が効くかだけでなく，誰にどのように，どのような状況で効くかを検証するというリアリストの呼びかけに同意している。彼らは、コンテクストの影響とプログラム理論の開発に注意を払うべきであることに同意している。その上で、「無作為化対照群は、社会的因果関係の複雑さを排除するのではなく、実際に適切に考慮しているので、メカニズムや文脈の影響を評価するにはRCTが最適である」と主張している（1ページ）。彼らは、「現実主義評価と無作為化評価の間には、対立関係ではなく相乗関係がある」と主張している。つまり、RCTは複雑な介入の現実主義評価の一部として用いることができるし、実際に用いるべきであるとしている。この論文では、リアリスト評価に関する彼らの分析に対する反論と、リアリストRCTに対する彼らの提言を紹介する。
著者が、複雑な公衆衛生介入をよりよく評価するために、（準）実験デザインが改善される可能性があるかどうか、またどのように改善されるかを疑問視しているのは正しい。これらの疑問はすべて、公衆衛生における重要な現在の関心事である（Forss, Marra, & Schwartz, 2011; McDaniel, Lanham, & Anderson, 2009; Webster et al 2010; Zimmerman et al 2012）。しかし、この論文では、著者の中心的な前提が明確になっていないと考えられる。それは、基本的には実証主義の存在論的・認識論的立場に基づいて構築された研究デザインを、現実主義のパラダイムの中で使用できるように有意義に適合させることができるというものである。例えば、Bonellらは、臨床試験で対照群を使用することで、再調査者が単に文脈をコントロールするのではなく、文脈を考慮に入れることができることを説明していない。RCT’s use of control groups actually reflect the opposite: how interventions interact with contextual factors in order to produce an outcome」（15ページ）という記述は、RCTがどのように介入が文脈上の要因と相互作用するかを特定するのかという疑問を投げかけている。彼らの提案する「リアリストRCT」は、複雑性理論とリアリスト評価の両方の重要な要素の誤った解釈に基づいていると思われ、RCTデザインにとって大きな課題となっている。
複雑な介入のRCTの問題点
RCTと実験的手法は、医学における因果関係調査のゴールドスタンダード戦略であると広く考えられている。RCTと実験的手法は、医学における因果関係調査の金字塔として広く知られており、公衆衛生の介入評価においても提案されることが多くなっている。RCTやその他の準実験的デザインは、因果関係を観察することはできず、特定の介入と特定の結果との間に規則性があることを証明するのが最善であるとする客観主義（または「実証主義」）の仮定に基づいて構築されていることが一般的に認められている。これはヒュームの「一定の接続」という概念を指している。因果関係は観察できないと仮定しているので、RCTがやろうとしていることは、「観察された結果を介入に帰すことができるか」という帰属の問題である。方法論的には、これは様々な準実験的デザインに反映されており、帰属を証明するために反実例の使用に焦点を当て（「介入がない場合には何が起こっただろうか」)定量的なデータ収集と線形回帰やクラスター分析などの統計的手法を好む傾向がある（Fiss, 2010）。
Bonellら（14ページ）は、RCTが実証主義の存在論的・認識論的基盤に基づいていることに必ずしも同意していないことを示しているが、本稿ではこれ以上の議論をしないことにしている。なぜなら、Bonellらが言及しているRCTの実際的な課題（利害関係者の抵抗、コンタミネーション効果、盲検化、情報バイアス）のほかに、複雑な介入に適用する場合にRCTの有用性を制限するのは、存在論的な立場とその認識論的な結果だからである。因果関係に関する方法論的な選択の結果、RCTのデザインにリアリスト評価の原則を吹き込むことが難しくなる。Sanderson (2000)は、「安定性と平衡性、変数間の関係における線形性、および因果関係の影響に対する変化の比例性の仮定に基づいたアプローチは、複雑性を示す社会システムを理解しようとする際には適切ではない」と述べている。RCTのデザインは、まさにこのような仮定に基づいている。
現在、RCTの中には「純粋な」実験を超えて、研究者がコントロールできない文脈上の変数を考慮した様々な手段を含むものがある。文脈の影響は、例えば、文脈が大まかに比較可能な研究サイトを含めることで平準化される。また、無作為化設計では、通常、層化されたサンプルを定義し、グループ間の性別、民族、年齢のベースラインの違いを統計的に補正する。実際、近年のRCT手法の進歩の多くは、このような技術の改良によるものである。しかし、このような手法を用いて内的妥当性を厳密に維持しようとすると、どのような条件で、どのような要因の組み合わせによって目的の結果が得られるのかを判断することができなくなってしまう。
RCTの議論の中で、Bonellらは研究や評価における複雑性の影響を軽視している。彼らは、複雑な介入を単に複数のコンポーネントで構成されていると考えているようであり、観察されたアウトカムに対する介入コンポーネントの寄与を確認することに主眼を置いている。この見解は、複雑性の他の要素を無視している。例えば、
- [a]非線形性の原理（すなわち、入力の小さな変化が、ある条件の下では結果に大きな変化をもたらすかもしれないが、他の条件の下ではそうではない)
- [b]局所的な適応性とフィードバックループの重要な貢献、
- [c]創発の現象、
- [d]経路依存性の重要性 （特定のコンテクストは複雑な歴史的理由によって生じたものであり、介入は現在の現実を「フリーズフレーム」として見るのではなく、歴史の経路を考慮に入れる必要があるということ)および
- e) 人間の主体性の役割（複雑な介入は、アイデンティティ、価値観、スキル、信念、目標などを持つ人々によって導入、提供され、時には抵抗されるということ）。
実験デザイン、特にRCTは、人間の願望、動機、行動をコントロールする必要があるものと考えている（Fulop, Allen, Clarke, & Black, 2001; Pawson, 2006）。さらに、線形回帰のような分析技術は、通常、結果に対する各変数の効果を分離しようとする。そのために、線形回帰では、「変数がどのように組み合わさって結果を生み出すかを示すのではなく」、他のすべての変数を一定に保つ(Fiss, 2007, p. 1182)。このようなデザインは、統計学的にありえないことをすることで、「無限の仮説をコントロールしようとしているが、その仮説が何であるかは特定されておらず」（Campbell, 2009)因果関係のメカニズムを検証する手段を提供していない（Mingers, 2000）。非現実主義の学者も同様の主張をしている。彼らは、RCTや同様のデザインは、時間をかけた社会的変化を考える際には不適切であり、そのような変化に関連した変化の理論を解明することはできないと主張している（Barnes, Matka, & Sullivan, 2003; Berwick, 2008; Victora, Habicht, & Bryce, 2004）。
これは、リアリスト評価とは全く対照的である。複雑性理論に共鳴するリアリストのアプローチでは、人間の主体性と社会的相互作用が変化の核心であると考える。行動、出来事、社会的状況の変化は、社会的関係のシステム全体の働きによってもたらされる」。したがって、リアリスト評価の重要な要件は、プログラムを構成し、取り巻く社会的現実のさまざまな層に配慮することである」(Pawson & Tilley, 2004)。Clark, Whelan, Barbour, & Macintyre (2005)による心臓リハビリテーションプログラムの長期的有効性に関するリアリスト評価は、介入、個人、文脈の相互作用をどのように検討するかの一例である。著者らは、心臓病患者がプログラムの予防活動に参加し続けるためのメカニズムとコンテクストの要素を明らかにすることで、このようなプログラムが機能するかどうかだけでなく、どのように機能するかを明らかにすることを目的とした。患者とのフォーカスグループ考察を基に、患者が自分の体の能力に対する信頼を取り戻すなど、プログラムによって引き起こされる心理的なメカニズムと、camara-derieやソーシャルキャピタルの構築などの社会的なメカニズムを特定した。彼らは、このプログラムがどのような状況で効果を発揮するのかを調査し、患者が安心して参加できる地域密着型の環境（有能なフィジカルトレーナーが常駐しているなど）で効果を発揮することを明らかにした。
「CR（心臓リハビリテーション）が健康に及ぼすプラスの効果は、主に社会的な自信の向上と、身体の境界線を推測し判断する能力の向上から生じたものである。コミュニティの運動環境の安全性の認識は、長期的な健康行動に影響を与える最も形成的な文脈的要因であった」（Clark er al 2005）。本研究の結果は、この種のCRプログラムがどのように機能するかを示しており、プログラムデザイナーがターゲットグループにそのような反応を引き起こし、行動に変化をもたらすような介入策を開発するのに役立つ。
RCTでは、このようなプログラムの様々なバリエーション（期間、接触頻度、対象グループなど）の効果を比較することができるが、そのための方法論的要件として、プログラムの実施、対象となる個人、プログラムの文脈、より広い社会的文脈の間の相互作用を拾い上げることができない。実施、プロセス、コンテクストの評価が追加されたとしても、それらは、実施の強度、忠実性、実際のプロセス、介入が行われたコンテクストなどを明らかにすることができるだけである。実際には、このような追加研究は、個人が継続して参加する理由となるメカニズムには焦点を当てていない。このような情報は、RCTに力を与えるために必要な集計プロセスで失われてしまう。RCTとその派生デザインは、単純で単一の介入の効果を比較するために使用されたときにその真価を発揮するが(Berwick, 2008; Eccles, Grimshaw, Campbell, & Ramsay, 2003; Grimshaw, Wilson, Campbell, Eccles, & Ramsay, 2001)、それ自体では根本的な因果メカニズムを証明することはできない。
リアリスト原理の解釈
また、Bonell氏らは、リアリスト評価の重要な原則を誤解しており、RCTや実証主義的アプローチ全般に対する批判を行っていると考えている。
第一に、Pawson and Tilley (1997)が15ページで、現実主義者は介入が効果を持つかどうかには関心がないと述べているのを誤解している。確かに、実在論者の分析（「文脈、メカニズム、結果」）を行う際には 実際、結果を考慮せずにリアリスト分析（「文脈、メカニズム、結果」）を行うことはできない。また、25ページでは、現実主義者は実験的手法を完全に拒否すると（誤って）述べているなど、従来の現実主義的アプローチをやや極端に描いている。彼らは「コントロール」と「比較」という言葉を混同しているように見え（例えば17ページ)それによってPawsonとTilley（1997）が試験における文脈のコントロールが役に立つとは考えていないような印象を与えている。
第二に、Bonellらは、リアリスト評価の可能性を過小評価しているように見える。特に、「反事実を無視することで、介入がなかったら何が起こったかについての仮説を検証することができず、PawsonとTilleyが提案した『リアリスト』評価のモデルは極めて限定的である」（16ページ）と述べている。(と述べている（16ページ）。)
我々は、リアリスト・アプローチは本質的に仮説検証を目的としていると考えている。しかし、現実の性質（存在論）と、その現実をどのように知るか（認識論）についての哲学的前提が異なるため、仮説の性質も仮説の検証方法も実験計画とは異なる。現実主義的なアプローチは、評価であれ統合であれ、目の前の問題について「現実主義的な仮説」を立てることから始まる。その仮説とは、特定のメカニズ ムが特定の文脈の中で作用し、特定の結果を生み出すというものである。その結果、特定のメカニズムが特定の結果を生み出す文脈をより詳細に理解するための「文脈-メカニズム-結果」の図式ができあがる。
このプロセスの例として、Byng, Norman, Redfern, & Jones (2008)の研究を紹介する。著者らは、長期的な精神疾患を持つ患者のケアを共有するための複合的な介入のクラスターRCTの結果を理解することを目的としたリアリスト評価を行った。この介入は、(1)プライマリ・ケアをベースとした患者登録、リコール、レビューのシステム、(2)教育と監査、(3)プライマリ・ケア・チームと専門家とのリエゾン関係の構築、で構成されていた。介入策を実施するためにファシリテーターがトレーニングを受け、ツールキットが導入され、少額の金銭的インセンティブが設けられた。研修、ツールキット、インセンティブは固定された要素であるが、ファシリテーターの実際の仕事は柔軟に行うことができた。つまり、ファシリテーターは、関係者のニーズ、環境、健康上のニーズに応じて、さまざまな関係者と連絡を取ることになっていたのである。この多面的な介入の有効性を評価するために、クラスターRCTが実施された。その結果、再燃率が減少し、施術者の満足度が向上したことがわかった。しかし、身体的および精神的ケアプロセスの再記録では改善が見られず、患者のアンメットニーズは減らず、患者の満足度も向上しなかった。リアリスト評価は、これらの発見を理解することを目的としている。この評価は、介入の理論モデル（リアリスト仮説、リアリスト評価者は「プログラム理論」とも呼ぶ）を構築することから始まった。研究者たちは、「シェアードケア」（重複を抑え、満たされていないニーズに対応するために、さまざまなレベルのプロバイダー間で調整を行う必要性）と「慢性疾患管理」（タイムリーなレビュー、専門家の投入、患者の関与、情報提供システムを含むサービスの再設計）の原則が、介入のデザインの根底にあることを発見した（詳細はByng & Jones, 2004を参照）。実施者が中心的な役割を果たすことを認識し、研究者は介入の両群においてサービスマネージャーとプロバイダーに焦点を当てた。12のケーススタディが作成され、それぞれ1つのプライマリーケアの現場に焦点が当てられた。介入の本質的な要素と、プログラムとコンテクストの相互関係を明らかにするために、これらの幹部に対してインタビューが行われた。
従来のプロセス/コンテキスト評価との違いは、データの分析方法にある。リアリスト・アプローチに従って、分析は初期プログラム理論に基づいて行われた。最初のケース分析では、研究者は、介入の実際の実施、プライマリ・ケア診療所の組織的背景とその一般的な環境、重要な外部事象、成功の条件に関する回答者の認識を評価した。これにより、計画された介入が各環境で実際にどのように行われたかを明確にするケース記述が得られた。
続いて行われたクロスケース分析では、規則性が見出された。例えば、ほとんどの実践者は、ツールキットは重要ではなく、金銭的なインセンティブは単なるトークンであると考えてた。肯定的な結果が得られたケースでは、リンクワーカーをプライマリーケアチームに統合したことで、肯定的なフィードバックサイクルが始まったことがわかった。異なるサービスの提供者が顔を合わせて接触することを可能にし、最終的に貢献した効果のない実践を批判的に検討することで、信頼の雰囲気が生まれ、さらなる連携の機会が生まれた。否定的な結果となったケースでは、リンクワーカーが患者の記録のレビューに参加していないことが判明した。これは、メンタルヘルス信託の経営陣がリンクワーカーの仕事をサポートしていなかったという、好ましくない状況であった。
最終段階では、リアリスト評価の結果をRCTの結果と比較した。GPの満足度については同様の結果が得られ、インターベンションの促進、診療システム、リエゾン、メンタルヘルスの結果、再発については異なる結果が得られた（Byng et al 2008,7ページの表を参照）。リアリスト研究は、介入の固定的な要素（ツールキット、ファシリテーターのトレーニング、インセンティブ）が柔軟な部分（ファシリテーション）と組み合わさって、観察された結果（ケアのプロセスの変化、患者の満足度、再燃など）を生み出すパターンを特定できただけではない。また、ファシリテーターの仕事の重要な要素（リエゾン、ケース考察、レビュー）と、必要な背景条件（上級管理職によるサポートや安定した人材など）も特定されている。
以上の議論から、ボネルらが示したリアリストがIMAGEプロジェクトの評価をどのように行うかという例は、リアリスト評価のアプローチを過度に単純化し、根本的に誤った形で表現していることがわかる。
第3に、Bonellらは、リアリスト評価は「介入の効果の妥当性の感覚を養うことができるだけで、その確率を養うことはできない」と主張している（16ページ）。リアリストは、複雑な介入の特定の結果を予測することは範囲外であり、複雑な介入は半予測的な性質しかないため、必然的にそうなると主張している。したがって、我々が提供できる最善の方法は、もっともらしい説明をすることである。これらの違いを、「実験的研究は確率的で、リアリストの説明はもっともらしい」という二極化した言葉で表現するのではなく、よりニュアンスのあるバージョンを提案する。現実主義者は、本当に複雑な問題は、確率論的な法則を生み出せるほど完全に知ることはできないと考えているので、現実主義者の研究は、それに応じて確率論的な記述を抑制している。
欠陥のある提言
上記の複雑性理論とPawson and Tilley (1997)の研究の両方に対する欠陥のある解釈は、Bonellらが「リアリストRCT」に対して行っている提言を支えている。4番目と5番目の提言はリアリストの論理となんとか両立するが、最初の3つは両立しない。
まず、定量的手法と定性的手法の混合使用を提唱している第4の提言から始める。これは、方法にとらわれないリアリスト評価に沿ったものである。研究デザインと方法は、仮説を検証できるようなデータの収集を可能にするものでなければならない。また、5つ目の推奨事項である、「理論を構築し検証する」という点も、実際に理論を構築し検証するリアリストのアプローチと完全に一致している。しかし、著者らは、理論駆動型評価の概念（Weissへの言及を参照）と変化の理論の概念（Connell & Kubischへの言及を参照）およびリアリスト評価の概念を組み合わせている。他の箇所では、「プログラム理論」や「変化のメカニズム」など、同様の用語の混同が見られた。このような用語は、理論主導型調査の各流派で異なる意味を持っているので、これらの用語の正確な定義が必要である。
最初の3つの提言については、さらに問題がある。1つ目は、「介入成分の効果を個別に、また組み合わせて」理解するために、2つの介入と4つのグループでデザインを行うことである。このようなアプローチは、4つのグループのコンテクストがすべての重要な側面において同一である場合にのみ機能する。これは、研究者がコンテクストの何が本当に重要なのかを事前に知っていることを意味するが、複雑性理論の観点からすると、これはしばしば不可能である。この仮定により、「リアリストRCT」の適用領域は、そのような知識がすでに利用可能であり、プログラム理論の一部として研究デザインに組み込むことができる介入に限定されることになる。このため、複雑な介入には使用できない。
2つ目の提言は、「リアリストRCT」は変化のメカニズムを実証することであり、そのために論理モデルと媒介分析を基本的に提案している。これらの方法は、介入の重要な要素を特定し、中間的なアウトプットと観察されたアウトカムに対する介入要素の寄与を推定しようとするものである。これは、いくつかの非相互作用的なコンポーネントから構成される複雑な介入では機能するかもしれないが、人間のエージェンシーや介入コンポーネント間の非線形な相互作用、そしてコンテクストが結果に影響を与える可能性が高い複雑な介入には不適切なものである。媒介分析は、リアリストのアプローチで定義されるメカニズムを解明するものではない。現実主義者にとって、介入の要素はメカニズムではない。現実主義者は、プログラムのメカニズムを、特定のコンテクストにおけるアクターの側の推論の変化（プログラムが提供する資源と参加者の推論との間の相互作用と表現されることもある）を伴うものと考えており、これは単に調停分析では検証できない。
現実主義の観点からは、仮説構築時と実証段階の両方で、コンテクストにもっと注意を払うべきだという彼らの3つ目の提言には、これ以上ないほど同意できる。しかし、介入が本当に複雑であれば、介入とそのコンテクストの間の相互作用を予測することは難しく、したがって検証することも難しいであろう。Bonellたちは、「リアリストRCT」がどのようにそれを行うのかを明確にしていない。
結論
我々はBonellらがRCTにリアリスト評価を統合するための不十分なケースを作ったと信じている一方で、我々は複雑な公衆衛生の介入の領域で洞察を提供する可能性がより高い妥協を提案したいと思う。我々は、「リアリスト」という形容詞は、リアリストの科学哲学に基づいており、その分析アプローチがリアリスト分析の確立された原則に従っている研究にのみ使用され続けるべきであると提案する。さらに、「リアリストRCT」という言葉を「理論に基づいたRCT」に置き換えることを提案する。これには、Bonellらが提案した論理モデルや媒介分析などの方法を用いることが含まれ、完全に実証主義的な科学哲学に合致する。このようなアプローチは、複雑な介入のための理論に基づく影響評価を提案しているInternational Initiative for Impact Evalu-ation (3ie) (White, 2009)のアプローチと共鳴するものである。また、複雑な介入策を開発・評価するための最新のMRCガイドラインも、大まかに言えば、この種のアプローチを提案している（Craig er al)。 しかし、MRCのガイドラインは、当然のことながら、現実主義的なアプローチであるとは主張していない。
複雑な介入を評価するためにRCTを使用する科学は急速に進歩しており、異なるアプローチの位置について、より多くの学術的な議論が必要である。我々は準実験的デザインを慎重に支持しているが、これらのデザインには長所だけでなく固有の制限もあると考えている。介入が本当に複雑な場合、影響を一貫して予測できる範囲は限られている。その代わり、リアリスト評価は、蓄積と仕様を用いて、何が起こったかについてのもっともらしい説明を作成する方法論を提供する。これは、「ハード」な事前予測確率を求める人々の野心とは一致しないかもしれないが、逆説的に、隠れた説明を発見する勇気が必要であり（Astbury & Leeuw, 2010)これははるかに挑戦的な仕事である。