無作為化比較試験を超えて 社会科学における実験的研究手法の地平を広げるために

強調オフ

EBM・RCT

サイトのご利用には利用規約への同意が必要です

Beyond Randomised Controlled Trials – expanding the horizon for experimental research techniques in the social sciences

…blogs.lse.ac.uk/impactofsocialsciences/2020/01/21/beyond-randomised-controlled-trials-expanding-the-horizon-for-experimental-research-techniques-in-the-social-s

実験的研究手法は、社会科学や行動科学の多くの分野で主流となっている。デジタル技術、機械学習、理論のイノベーションを採用した新しい実験手法の適用を強調して、Jonathan BreckonとAlex Sutherlandは、社会科学者が自分の方法論のレパートリーにもっと多様な実験手法を加えることを奨励すべきだと主張している。

 

2019,国際開発における無作為化実験の先駆者であるEsther Duflo、Abhijit Banerjee、Michael Kremerの3人がノーベル経済学賞を受賞したことで、いわゆる「Randomistas」が後押しされた。彼らはAbdul Latif Jameel Poverty Action Lab(またはJPAL)という組織を立ち上げ、貧困削減の方法を理解するために1,000件以上の無作為化比較試験を実施し、国際的にこの手法の使用を支持していた。

しかし、一部の例外を除いて、実証的社会科学の他の分野では、これらの手法の受け入れや採用という点で遅れをとっている。この遅れの一部は、実験的手法とその応用に対する誤解に起因している。ベストセラーとなった社会科学の研究方法の教科書は、無作為化比較試験に対する時代遅れの見解を示し、最新の技術的・理論的進歩を見落としていることが多い。方法論的な作業は非常に複雑で、特定の文脈に限定されるものもあるため、これは理解できる。

評論や専門用語を超えて、Nestaは「The Experimenters’ Inventory」を作成した。これは、11種類の無作為化実験をわかりやすくカタログ化したものである。この目録には、新しいアイデアの有効性を検証すると同時に、それを現実の世界でどのように実施すべきかを検証するハイブリッド試験、機械学習アルゴリズムを使用して対照群に選ばれる人を改善するマルチ・アームド・バンディット試験、エール大学のディーン・カーラン教授や世界銀行が提唱する、より迅速で安価な実験であるnimble-RCTなどの技術が含まれている。いずれも、社会科学実験のツールボックスに、より広く加えられる可能性のある手法である。

デジタル実験:新しいカテゴリー

民間企業では、ケイ素バレーがオンライン製品を改良するために実験を行うのが一般的である。GoogleやAmazonなどの企業では、年間に何万もの実験が行われている。 因果関係のルールを見直すようなビッグデータがもてはやされているが、これらの企業ではいまだにシンプルな実験が求められている。

オーストラリアの政治家で元経済学教授のアンドリュー・リーが著書『Randomistas』で述べているように、グーグルは世界のどの組織よりも多くのデータ(約150億ギガバイト)を持っており、その数は急速に増加しているが、それでも無作為化実験を行っている。Googleをはじめ、eBay、Chrysler、United Airlines、Uberなどの企業が行っているA/Bテストは、インターネットを基盤とする企業の日常業務の中心となっている。

このようなビジネスやテクノロジーにおける実験は、社会科学者にとって興味深い分野ではないであろうか。 これらの実験の中には、ウェブサイトのクリック数やマーケティングの到達率といった表面的な問題だけを対象としているように見えるものもあるかもしれない。しかし、ペンシルバニア大学のDamon Centolaのような実験的社会学者は、社会運動や政治キャンペーン、健康的な行動の採用といった「複雑な伝染」を研究している。2012年にコーネル大学が行ったFacebookの70万人のユーザーを対象とした「感情の伝染」実験に対する反発があったが、ソーシャルメディアのユーザーから資料を「隠す」ことの倫理的問題を理解し、対処する限り、デジタル実験は探求すべき豊かな分野である。

デジタル実験の利点の一つは、実験を行うためのコストを劇的に削減できることである。英国では、Government Digital ServiceとBehavioural Insights Teamが、臓器提供の促進からHMRCの納税申告書の記入まで、あらゆることを改善するために実験を行っている。このような実験は、実際に行われていること(例:手紙の送付)を利用し、それに手を加えることで、コストをほとんどかけずに実施でき、行政データを用いた評価も安価に行うことができる。

デジタル化のもう一つの利点は、オンラインでより多くのサンプルを得られることによる統計的な力の向上である。オンライン調査は過去20年間で飛躍的に成長しており、オンラインで参加者を募集するクラウドソーシング市場であるMTurk(Amazon’s Mechanical Turk)のようなアクセスしやすいリソースの出現により、その勢いは衰える気配がない。

これらは、社会心理学、政治学、社会学、人文地理学、経済学など、さまざまな分野の研究者にとって貴重なプラットフォームである。プリンストン大学の社会科学者であるMatthew Salganik氏は、著書『Bit by Bit: Social Research in the Digital Age』の中で、「オンライン実験のユニークさは、どこで、どのように実験を行うかという、もう一つの次元を教科書に加えることができることを意味する」と述べている。「デジタル実験」は、従来の「実験室での実験」と「現場での実験」という区分に加えて、独自のカテゴリーに値するものである。

従来の無作為化試験の再考

実験の技術的な革新だけでなく、従来の試験を再考する試みも行われている。例えば、「リアリスト・トライアル」は、「ブラックボックス」問題を克服しようとするもので、なぜ、あるいは個人や環境によって効果がどのように異なるのかを明らかにしようとするものである。

また、無作為化がどうしてもできない場合は、準実験的な手法を用いるのも一つの方法である。これらの手法は、回帰不連続法や差延法など、かなり専門的なものになる。 しかし、これらの手法は評価者のレパートリーとして価値があり、複雑なケースでも使用することができる。例えば、英国の住宅・コミュニティ・地方政府省による「Troubled Families」の評価では、100万件以上のケースと3,000以上の変数からなるデータセットを作成した。

批評家を受け入れる

実験的(および準実験的)手法の強みのひとつは、物事を批判したり、より良くしようとする膨大な文献があることである。 昨年のJPALノーベル賞受賞経済学者の祝賀会では、実験に懐疑的なAngus Deaton教授がノーベル経済学賞を受賞したのがわずか数年前であったことを忘れがちだ。ディートン教授は、RCTの限界について多くのことを書いている。

このような批判は歓迎されるべきである。RCTの手法の透明性は、何が起こっているのかを掘り下げる私たちの能力を助ける。他にも、優れた実験を行うことの難しさに直面し、内的・外的妥当性という長年の課題に答える方法を見つけた文献がたくさんある。例えば、世界銀行の「development impact blog」では、興味深い記事への毎週のリンクや、厳選された手法のリストが掲載されており、開発経済学の内外を問わず、手法研究者の必読書となっている。しかし、直面している課題はこれだけではなく、試験運用などの重要な準備段階にも大きく左右される。

このような批判を受け入れることで、実験はそのアプローチをさらに洗練させ、医学、ビジネス、経済学からより広い社会科学へと進化させ、適応させることができるのである。

著者について

ジョナサン・ブレコン(Jonathan Breckon):NestaのAlliance for Useful Evidence(有用な証拠のための同盟)のディレクター。人文科学研究評議会(Arts and Humanities Research Council)の政策担当ディレクターを経て、王立地理学協会(Royal Geographical Society)英国学士院(British Academy)英国大学(Universities UK)で政策担当を務めた。What Works Centre for Children’s Social Careのディレクター、ストラスクライド大学の客員教授、キングスカレッジロンドンの政策研究所の客員上級研究員を務める。

アレックス・サザーランドは、BITの研究・評価部門のチーフサイエンティスト兼ディレクターとして、プロジェクトや政策分野で活躍している。最近では、警察の身体装着型カメラに関する研究成果を発表しているほか、教育分野における大規模な無作為化比較試験を数多く主導していた。BITに入社する前は、ランド・ヨーロッパに5年半在籍し、ケンブリッジ大学で3年間、リサーチデザイン/定量的手法のコーディネートと指導を行っていた。ケンブリッジ大学以前は、オックスフォード大学の犯罪学センターに勤務し、同じくオックスフォード大学で社会学の博士号を取得している。

 

この記事が役に立ったら「いいね」をお願いします。
いいね記事一覧はこちら

備考:機械翻訳に伴う誤訳・文章省略があります。
下線、太字強調、改行、注釈や画像の挿入、代替リンク共有などの編集を行っています。
使用翻訳ソフト:DeepL,ChatGPT /文字起こしソフト:Otter 
alzhacker.com をフォロー