Wrong: Why experts* keep failing us–and how to know when not to trust them *Scientists, finance wizards, doctors, relationship gurus, celebrity CEOs, … consultants, health officials and more
目次
- 著作権ページ
- はじめに
- 1. 専門家による考察
- 2. 科学者の悩み、その1
- 3. 確実性の原則
- 4. 群衆の愚かさ
- 5. 科学者の悩み、その2
- 6. 専門家・団体
- 7. 専門家とメディア
- 8. インターネットと専門家の技術
- 9. 専門家に惑わされないためのシンプルな11の失敗しないルール
- 付録1:専門家の間違い、葛藤、混乱の小さなサンプリング
- 付録2: 専門性の進化
- 付録3:現代の高性能な見かけ倒しの科学的不正の簡単なサンプリング
- 付録4:この本は間違っているのか?
- 謝辞
- ソースノート
各章の短い要約
はじめに:
専門家の知恵はしばしば間違っており、特に注目を集める研究結果の多くが後に否定される。医学研究の3分の2が誤っているという研究もある。専門家の間違いの原因は、データの不足、測定の問題、バイアス、出版圧力など多岐にわたる。専門家の知恵を完全に無視することはできないが、すべてを信じることも危険である。研究者やメディアは、専門家の知見の不確実性について十分な説明を怠っている。この問題を理解することで、より賢明な判断が可能になる。
第1章:
専門家のアドバイスの多くは間違っている。医療、経済、教育など様々な分野で専門家の見解は頻繁に変更され、互いに矛盾している。これは専門家のデータ収集と分析が不十分であることが主因である。特に非公式な専門家は、偏見や腐敗、無能さ、監督不行き届きなどの問題を抱えており、自動的な判断に依存しがちである。
第2章:
医学研究の多くは測定の問題を抱えている。研究者は重要でないものを測定したり、間違った哺乳類で実験したり、不都合なデータを捨てたりしている。代理測定の使用は特に問題で、本当に測定したい対象の代わりに関連する別の指標を測定することで誤った結論に至っている。
第3章:
専門家のアドバイスは、シンプルで、明確で、普遍的で、実行可能で、口当たりの良いものが好まれる傾向がある。これは「確実性の原則」と呼ばれ、専門家は聴衆の期待に応えようとしてこのような特徴を持つアドバイスを出す。しかし複雑な問題に対する単純な解決策は通常間違っている。
第4章:
集団による意思決定は必ずしも個人の判断より優れているわけではない。むしろ集団は非効率で、支配的な個人に左右され、間違った合意に至りやすい。科学者のコミュニティでさえ、党派的な考えに陥り、誤った方向に進むことがある。集団は個人の誤りを増幅させる傾向がある。
第5章:
科学者は研究結果を歪める様々なバイアスを持っている。出版バイアス、資金提供者へのバイアス、確証バイアスなどが存在し、これらが研究結果の信頼性を損なっている。査読制度も完璧ではなく、誤った研究結果を見逃すことがある。研究者は自身のキャリアのために結果を操作する誘惑に駆られる。
第6章:
ビジネス本の多くのアドバイスは信頼性に欠ける。企業の成功は偶然や一時的な要因によることが多く、その成功パターンを他社に適用することは困難である。また、企業研究では、失敗した企業や消滅した企業のデータが考慮されず、生存企業のみを分析する生存者バイアスが存在する。成功企業の戦略を模倣しても成功する保証はない。
第7章:
メディアは専門家の研究結果を歪めて伝えることが多い。記者は科学的な研究を評価する能力が不足しており、センセーショナルな見出しを作るため結果を誇張する。また、否定的な研究結果は報道されにくく、肯定的な結果のみが強調される。科学報道には構造的な問題がある。
第8章:
インターネットは必ずしも専門知識へのアクセスを改善していない。検索エンジンは信頼できる情報と誤った情報を区別できず、ソーシャルメディアでの情報共有も問題を抱えている。オンラインコミュニティでの専門知識の共有は、参加者の動機付けの欠如や質の管理の難しさに直面している。
第9章:
信頼できる専門家のアドバイスには、シンプルすぎない、多くの研究による裏付けがある、利害関係がない、反論に対して率直である、といった特徴がある。一方、単純で普遍的な解決策を提示したり、ブレイクスルーを主張したりするアドバイスは疑わしい。専門家の主張を評価する際は慎重な判断が必要である。
膝の弱い人は、坂を険しいと言わないようにしよう。
- ヘンリー・デーヴィッド・ソロー(Henry David Thoreau)
はじめに
成功とは、失敗から失敗を繰り返すことである。
熱狂の喪失
- ウィンストン・チャーチル
私はボストンの小児科病院のコーヒーショップで、身長1.5mのブロンズテディベアに固唾を呑んで、これから驚くべきトリックを披露してくれる男性と一緒に座っている。私は最近一流の医学雑誌に掲載された論文を考えている。研究結果を報告する論文で、彼はその研究が正しいか間違っている可能性が高いかどうかを教えてくれるのだ。このような研究は、医師が読むかもしれないし、新聞やウェブサイト、朝のテレビのニュース番組で知るかもしれない。心臓病のリスクを下げるために特定の食品を食べたり避けたりするように説得されたり、癌を克服するために特定の薬を飲んだり、精神疾患にかかりやすい遺伝子を持っているかどうかを知るように説得されたり、この研究の結果があなたの人生を変えることになるかもしれないのである。しかし、この男は偉業を成し遂げるために、研究の詳細を聞く必要はないだろう。一流誌に掲載された研究であることだけを知っていればいいのだ。
彼の予測:それは間違っている。それは、専門知識とそれに対する私たちの信頼の根幹を揺るがす予測である。
ジョン・ヨアニディスは、研究結果が誤りである可能性を計算することを専門とする医師であり研究者である。同僚のライフワークの不備にスポットライトを当てることに専念している割には、ヨアニディスは気さくで礼儀正しく、物腰も柔らかい。しかし、一日に多くのことを詰め込むのが常の人の、気弱なエネルギーを控えめに発散している。小柄な体格にウェーブのかかった細い黒髪、薄い口ひげと、40代半ばにさしかかる男性にしては若く見える。また、ヨアニディスについて少し意外だったのは、彼が仲間から高く評価されていることだ。しかし、医学研究の世界では、並外れた才能と努力によって、最低の評価を得ることができるのである: 世界有数のタフツ・ニューイングランド・メディカルセンターや母国ギリシャのイオアニナ大学医学部をはじめとする名門校での勤務、同僚による彼の研究の頻繁な引用(その一部はこの分野のトップジャーナルに掲載)、学会での講演への招待の数々、これらは一般に彼の大きな魅力となっている。
ヨアニディスは、迂遠な道を歩んできたのである。1965年、米国で医師の両親のもとに生まれた彼は、アテネで育ち、数学に並外れた才能を発揮してギリシャの学生数学賞を受賞した。大学卒業時には、数学者としてのキャリアを歩んでいるように見えた。しかし、医学の世界に惹かれるようになった彼は、数学に背を向けたくないという思いから、この2つを組み合わせて医学数学者になることを決意した。「でも、医学の中に数学的な重要な要素があることは確かだと思ったのである」アテネ大学医学部を首席で卒業した彼は、ハーバード大学で内科の研修医になり、その後、タフツ大学で感染症の研究と臨床を担当することになった。しかし、1993年、タフツ大学在学中に、「数学は後回しでいい」と思うようになった。エビデンスに基づく医療」という新しい分野への関心が高まっていたのだ。つまり、医師が単に患者のためになると教えられてきたことだけではなく、患者のためになると研究によって厳密に証明されたことを実行できるようにしようということである。ヨアニディスは、「驚くべきことに、ほとんどの医療は、きちんとした定量的な証拠に裏打ちされていない」と言う。混沌とした患者のデータからこのような知識を引き出すには、臨床研究者以上に統計解析の力が必要で、ヨアニディスの活躍の場が広がっている。
1990年代半ば、米国立衛生研究所とジョンズ・ホプキンス大学で共同研究を始めたヨアニディスは、ある治療を受けた患者がどうなったかを調べる医学雑誌の研究の中から、興味深いパターンを探し始めた。このような研究は、治療効果に関する確かな証拠を医師に伝える上で、本質的に重要な役割を担っている。優秀な医師は、医学雑誌に掲載されたこれらの研究結果に目を通し、どの患者に何が効き、何が効かないのか、どの程度の効果があり、どのようなリスクがあるのかを確認し、それに応じて診療を変更すると考えられている。耳の感染症にかかった子供に抗生物質を処方するのは意味があるのだろうか?心臓病の兆候のない中年男性に、少量のアスピリンを毎日服用するように言うべきか?ある外科手術の潜在的な効果は、リスクを上回るのだろうか?その答えを教えてくれるのは、おそらく研究である。ヨアニディスは、何百もの研究を調査する中で、あるパターンを発見したのである。それは不穏なものだった。ある研究が発表されても、数ヶ月、長くても数年後には、その研究結果を完全に否定したり、その研究結果が「誇張」されていると断定したりする他の研究が発表され、後の論文では、研究中の治療法の利点が著しく低いことが明らかになったのだ。その結果、「気にするな」と言わざるを得ない結果が、「気にするな」と言わざるを得ない結果を2対1で上回ったのである1。
何が起こっていたのだろうか。研究を実施することの意義は、確かなデータを得ることができるツールやテクニックを使って、疑問を厳密に検証し、それまでの推測や仮定、ずさんな評価に代わる、慎重かつ決定的な分析を可能にすることだった。データは真実への道であるはずだった。しかし、これらの研究、そしてヨアニディスが調べた多くの種類の研究は、間違った答えを導き出すことが圧倒的に多い。最先端の医学研究よりも、流行りのダイエット法、有名人のゴシップ、政治評論を連想させるような、間違った答えを導き出す率が高かったのである。
ヨアニディスが発見した3分の2の誤答率は、想像以上にひどいものだった。ヨアニディスは、最も権威のある医学雑誌に掲載された医学研究の10分の1以下しか調査していない。また、大学や企業の広報部やジャーナリストによって、研究結果が捏造されたり、誤解されたりすることを考慮すると、ヨアニディスがこれらの雑誌で偶然発見した専門家の間違いが何であれ、間違い率はそこからさらに悪化することは明らかだ。
ヨアニディスは、医学の常識の根幹に関わる謎に直面したと感じた。研究者たちは、自分たちがやっていることを理解し、大きな進歩を遂げていると主張することができるのだろうか。まるで、海軍の戦闘力を向上させようとしたところ、ほとんどのボートが浮いていないことに気づいたようなものである。化学、物理学、心理学など、他の科学分野を見ても、同じようなことが言える。「化学、物理学、心理学など、他の科学分野でも同じようなことが起こっている。おそらく、『大多数』だろう」と彼は言う。
医学やその他の科学的専門知識は、専門家の知恵という点では、必ずしも底辺のものではない。確かに、前評判の高い医薬品が市場から消えてしまったり、食事について相反するアドバイスを受けたり、有害な化学物質が家庭に入ってきたりすることはある。しかし、他の多くの分野でも、同じような、あるいはもっとひどい失敗の数々を目にすることができる。医学だけでなく、物理学、金融、子育て、政府、スポーツ、エンターテインメントなど、さまざまな専門知識が間違っている例を挙げれば、この本全体を埋め尽くすことができるだろうし、もう何冊も作ることができる。(実際、専門家の知恵というのは、よく言えば論争が多く刹那的であり、悪く言えば完全に間違っていることが判明する。
もちろん、専門家について逸話をまとめたり、専門家の言葉を引用したりしても、専門家が通常私たちを欺くことを証明することはできない。実は、専門家の間違いを証明することは、この本の目的ではない。私は、ほとんどの人が、専門家はたいてい間違っているということを、それほど説得する必要はないと考えている。私たちがそう思わないわけがない。ダイエット、ハリケーン対策、優れた経営者になるための秘訣、株式市場、コレステロールを下げる薬、子供の寝かしつけ、大統領候補の必然性、住宅価値の方向性、強い結婚の秘訣、ビタミン、アルコール、アスピリン、魚の効用、大量破壊兵器の存在などなど、さまざまな問題について、専門家が互いに矛盾し、自分自身さえ否定するのを常に耳にする。2008年から2009年にかけて、世界の金融機関や経済が揺れ動き、場合によっては崩壊するのを見ながら、多くの人が、国家元首に助言する人から社会人に助言する人に至るまで、大多数の金融専門家が問題を予見できなかったばかりか、多くの場合、特に心配する必要はないと電波に乗り、問題に関して一貫して有益なことを何も言えなかったことに憤慨していた。肥満が蔓延していることは誰もが認めるところだが、過剰な体重を減らすために何が有効かについては、2人の専門家の間で意見が一致していないように思えることがある。また、子供たちの学校の改善を願う私たちは、カリキュラムを厳格でテスト重視のものにする必要があると言う専門家と、まったく逆のことを言う専門家のどちらかを選ぶことができる。むしろ、私たちの多くは専門家に依存し、そのアドバイスに耳を傾け続けているにもかかわらず、私たちは専門家に対して強い不満を抱いている時代なのである。
間違っているであろう専門家を信頼することは、問題の一部でしかない。その一方で、多くの人が、専門家から適切なアドバイスを受けることを諦めてしまっていることも事実である。専門家の結論が、現代生活のバックグラウンドノイズのように聞こえることがある。私たちの多くは、このようなことを考えたり、周囲から聞いたりしたことがあるのではないだろうか: 専門家たちよ!ビタミンX、コーヒー、ワイン、薬Y、大きな住宅ローン、赤ちゃんの学習ビデオ、シックスシグマ、マルチタスク、きれいな家、口論、投資Zは良いことだと言い、次の瞬間には悪いことだと言うのである。なぜわざわざ注意を払う必要があるのか?自分がやりたいと思うことをやるだけでいいかもしれない。このように、私たちは本当に専門家を見限りたいのだろうか。たとえ専門家が私たちが必要とする明確で信頼できる指針を与えてくれないとしても、これから説明するように、彼らのアドバイスに従わないことが自滅を招き、命取りになるような状況もある。
だから私は、専門家がしばしば、そしておそらくは通常、間違っていることを納得させるために多くの時間を費やすつもりはない。その代わり、本書では、専門知識がなぜ間違っているのか、そして、より信頼できる専門家のアドバイスを求めるにはどうすればいいのか、について説明する。そのために、科学者やビジネスの達人など、私たちが信頼する知恵の源である専門家が、どのようにしてさまざまな測定誤差の餌食になるのか、どのようにして深い偏見を持ち、駆け引きや明らかな不誠実にさえ陥るのか、そして専門家同士の交流が、これらの問題を修正するのではなく、悪化させる傾向にあるのかを見ていく。また、メディアが疑わしい専門家の発表を選別し、さらに歪曲する方法、私たち自身がこのような粗悪な情報に引き込まれ、インターネット上でさらに惑わされてしまう方法についても検討するつもりである。最後に、私たちが発見したすべての事柄から、最も疑わしい専門家のアドバイスと、より適切なアドバイスとを区別するのに役立つ、大まかなガイドラインを抽出することにする。
先ほど申し上げたように、ほとんどの人は、専門家には本当に問題があるという考え方に納得している。しかし、専門家の中には、実際にその主張に異論を唱える人もいる。ここでは、私が最も多く遭遇した3つの反論と、それに対する簡単な回答を紹介する。
(1)もし専門家がそんなに間違っているなら、なぜ私たちは50年前や100年前よりずっと良くなっているのだろう?ある著名な教授は、電子メールのメモにこう書いている。「私たちの寿命は過去75年間でほぼ2倍になったが、それは専門家のおかげだ」実は、その寿命の大部分は、20世紀の早い時期に、ごく少数の急激な改善、特に禁煙運動によってもたらされたものなのである。1978年から2001年までの間に、米国の平均寿命は3年未満しか伸びていない2。新型不況に見舞われ、離婚率は約50%、エネルギー価格は高騰し、肥満率は上昇し、子どもたちのテストの点数は低下し、テロや核攻撃の心配もしなければならず、抗うつ剤3は米国で年間1億1800万処方され、食糧供給の一部が定期的に汚染され、まあ、お察しの通りだが、私たちはさまざまな専門家からの素晴らしい効果的アドバイスを受けていると言いがたいのだ。つまり、専門家は普段は私たちを誤解させるが、たまに本当に役立つアドバイスをすることがある、ということだ。
(2) 確かに、専門家は過去にほとんど間違っていたが、今は物事の頂点にいる。2008年半ば、専門家たちは、銀行やその他の金融機関が破綻する直前、1920年代後半にはなかった広範で確実な管理体制について、列を作って話していた。がんの専門家たちは、何世代もの先人たちが何十年もかけて、ほとんどのがんの根源は環境かウイルスにあるという神話を追い求め、その後、がんは少数の遺伝子の変異によって引き起こされるという最新の理論を確実なものとして発表してきたことに今日、首をかしげている。地球温暖化とその人為的な原因について、今日のような絶対的な理解を得るまでは、ほとんどの人が気候に起こっていることを見逃し、地球規模の冷却の危機を口にしたものだ。私たちはどうしてこんなに愚かだったのだろう。そして、今日の専門家の信念を疑うような愚か者がいるだろうか?いずれにせよ、「間違った考えから正しい考えに変わった」という主張は、「正しい考えとは何か」ということについて、現在の専門家のコンセンサスがあることを示唆している。しかし、そのようなコンセンサスにはほど遠いことが多い。専門家の信念がぶつかり合えば、誰かが間違っているはずで、真実への収束が間近に迫っている証拠とは言いがたい。
そして最後に、(3)専門家がたいてい間違っているとしたらどうだろう。それが専門家の知識の本質であり、難しい問題を感じながらゆっくりと進歩していくのである。確かに、私たちは簡単な答えのない複雑な世界に生きているのだから、専門家が真実に近づいていく過程で、何度も間違いを犯すことは十分に予想される。私は、専門家が何の進歩もしないとか、とっくにすべてを解明しているはずだと言っているのではない。専門家のアドバイスのうち、どれだけの割合で欠陥があるのかを十分に認識すること、専門家が頻繁に道を踏み外す理由が「そういうものだ」以外にもっと不愉快なものがないかどうかを調べること、そして、より良い専門家のアドバイスと怪しいものを見分ける手がかりがないかどうかを調べることに、わざわざ時間をかけるべきであるということである。ところで、もし専門家が、自分たちの努力の結果、ほとんど間違った答えを出すことが予想されるという考え方に満足しているのであれば、自分たちの間違いに直面したときだけでなく、朝のニュース番組や新聞記事でインタビューを受けたときに、この役に立つ情報を私たちに伝えるためにもう少し努力してはどうだろうか。
というわけで、「専門家」なる言葉を連発したところで、この言葉の意味するところを確認しておこうと思う。ピアニスト、スポーツ選手、泥棒、鳥、幼児、コンピュータ、裁判の証人、企業経営者などの「専門性」を学問的に研究している。しかし、私が「専門家」と言うときは、マスメディアがある話題について信頼できる権威として引用するような人物のことを指している。「専門家によると…」などと言うときは、通常このような人物を指している。このような専門家は、「大衆」あるいは「公共」と呼ばれ、多くの人が耳にし、生活に影響を与えるような決定をする際に考慮することを選択するような意見や発見を発表する立場にある人たちである。科学者は特に重要な例だが、例えば、ビジネス、子育て、スポーツの専門家など、その経験や見識が世間に認知されるような人にも興味がある。また、ポップの達人、有名人のアドバイス、メディアの評論家、そして私が「ローカル」な専門家と呼ぶ、研究熱心でない医者、株式仲買人、自動車整備士などの日常的な実務家についても、言いたいことがある*。
冗談半分で、「気象予報士は、間違っていることでお金をもらっている唯一の人たちだ」と言われたことがある。その意味で、私たちの専門家のほとんどは、間違っていることを報酬として受け取っており、気象学者よりもはるかに高い割合で間違っているだろうと主張したいのである。複雑なテーマから有用な洞察やアドバイスを引き出すプロセスは、確かに本質的に時間がかかり、不安定なものだろうかもしれないが、専門家が道を誤る理由は他にもたくさんあり、あまり穏やかではない。実際、専門家の発言は間違った方向に強く押し出されるため、結局のところ、なぜ正しいことがあるのかを説明するのは難しいのだと思う。しかし、だからといって、私たちが間違ったアドバイスの沼に絶望的にはまり込んでしまうわけではない。適切なコンパスがあれば、出口を見つけることができる。まずは、泥沼の一部を探ってみよう。
ヨアニディスは、反論の余地のない研究群を発見した。一流誌に掲載され、他の研究者の論文に1000回以上引用されたランダム化比較研究(詳細は後述)である。このような研究は極めてまれで、医学研究のピラミッドの頂点に立つものである。しかし、これらの研究の4分の1は後に反論されており、残りの半分近くは誰も確認や反論を試みていないという事実がなければ、この割合はもっと高かったかもしれない。
ジョン・ヨアニディスや、私が本書で引用する他の多くの専門家も、他の専門家と同様に信頼できないのだろうか。短い答え:専門知識の専門家は、専門家が陥る罠について十分に知っているため、頻繁に、あるいは遠くまで陥ることを避けることができるかもしれない。しかし、この重要で興味深い疑問と、この本全体が間違っているかもしれない方法についての私の探求は、付録4を見てほしい。
私は、企業経営者や政治家など、専門家のアドバイスに大きく依存する意思決定者やリーダーにはあまり興味がない。また、エンジニアやデザイナーは、アドバイスよりも具体的なものを与えてくれる傾向があるので、ほとんど無視している。
第9章 専門家に惑わされないためのシンプルな11の失敗しないルール(皮肉)
章のまとめ
第9章では、信頼できる専門家のアドバイスと疑わしいアドバイスを区別する具体的な指針を示している。
信頼性の低い専門家のアドバイスには、以下のような特徴がある。単純で普遍的な解決策を提示する、たった1つの研究や小規模な研究のみに基づいている、画期的なブレイクスルーを主張する、利害関係者から資金提供を受けている、最近の危機への直接的な対応として提示される。
一方、信頼できる専門家のアドバイスには次の特徴がある。研究の限界や不確実性について率直である、否定的な研究結果も含めて包括的に報告する、反論の可能性について明確に言及する、研究の背景や文脈を十分に説明する、結果の実践的な意味や適用範囲について具体的な示唆を与える。
重要なのは、専門家のアドバイスを評価する際に常にこれらの指針を念頭に置くことである。すべての主張を詳細にチェックする必要はないが、特に重要な意思決定に関わるアドバイスについては、慎重な評価が必要である。
専門家の正確性を完全に判断することは不可能だが、これらの指針を活用することで、より信頼性の高いアドバイスを見分けることができる。また、時間をかけて専門家のアドバイスを評価する習慣をつけることで、直感的に質の高い情報を識別する能力も向上する。
惑わされないための専門家によるルール
人生の経験によって、これほどまでに深く教え込まれた教訓はないように思う。
専門家を信じてはいけないということだ。
- サルスベリ卿
アレックス・トレベックが頭脳派ゲームショーの司会者というイメージなら、ハリー・コリンズはいかがだろう。ウェールズのカーディフ大学にあるちょっとくたびれたオフィスでゲームを仕切るコリンズだが、華やかさには欠けるものの、それを補って余りある魅力的なトークを披露してくれる。おそらく世界で最も有名な専門家であるコリンズは、一流の頭脳と傑出した人格の間の壮絶な確執、アフリカの専制君主の悲惨な科学的愚行、大勢の人々の健康を損なう危険性のある政治的駆け引きなどの逸話を巧みに操る。それは、高度なソープオペラとしての専門知識である。
そして、「イミテーション・ゲーム」のおかげで、競技スポーツとしても楽しめるようになった。ゲームのルールは簡単だ。あるメインプレイヤーは、特定の分野の「暗黙の」専門家とは別の場所に置かれる。「暗黙の」とは、コリンズの広範な専門知識の類型にあるように、ある領域で何年も積極的に没頭して初めて到達できるような能力を意味する。その領域は有機化学であったり、中世ドイツ文学であったりするが、学術的な分野に限らず、料理や車のレストアなど、ケーブルネットワークの番組レベルの専門知識であってもよいのである。例えば、大学生であること、親であること、女性であること、などである。
私がプレイしたときは、その専門家が人生の大半を英国で過ごしたという、英国生活に関する専門知識がテーマだった。しかし、このゲームにはもう一人の「専門家」が隔離されており、その人は非英国人というニセモノだったのである。プレイヤーである私の仕事は、2人の候補者に質問を投げかけ、どちらが本物かを見極める「審査員」である。
専門家のいる部屋で、コンソールにつながったパソコンに向かい、私は最初の質問を出した: お茶に合う食べ物は何だろうか?
1分後、画面に答えが表示された:
専門家1:アフタヌーンティーという意味での紅茶なら、ケーキやクッキーがふさわしいだろう。
エキス第2部 サンドイッチと、できればケーキ。
2つ目の質問である: サッカー観戦の際、ホームチームを応援するために何を持っていくか?
専門家1:私は地元のチームのシャツを着ていく。
専門家2:私がアウェイファンかどうかにもよるが。
3つ目の質問: ダイアナはなぜ王室に馴染めなかったのか?
専門家1:彼女の社会的背景が、馴染むことを難しくしていた。
専門家2:夫も義母も彼女のことをそれほど好きではなかったようだ。
うーん。専門家でない者が、専門家であるはずの人を評価しようとするときの典型的な例だが、私は、自分が尋ねた質問に対して、何が確かで正当な答えになるのか、実はわかっていなかった。本物の専門家から返ってくる答えは、驚くほど詳細で権威のあるもので、疑う余地はないだろうし、偽者の答えは、曖昧でありえないと思うだろう。ホームゲームとアウェイゲームを区別することで、イギリスのサッカーの試合では、時に暴力的なファンの中でアウェイチームを応援するのは危険なことだという私の考えを利用したのだ。コリンズは、ゲームショウの司会者らしく、自分の答えに自信があるかと聞いてきた。と聞かれたので、「まあまあです」と答えると、「本当は答えがわかるはずのものを見落としていた」と言われた。その時、コリンズ氏はスクリーンに映し出された「クッキー」という文字に指を突き立てたのである。どーん!私だって、「クッキー」は厳密にはアメリカの言葉で、イギリスでは「ビスケット」だと知っている。しかし、この遠吠えは専門家1号が発したもので、私が正しかったということである。コリンズは、2人の「専門家」に降りてくるよう指示を出し、東ドイツの大学院生で偽ブリット人のマーティン・ワイネルと、コリンズの同僚で専門知識の研究で緊密に協力している徹底したイギリス人のロバート・エヴァンスが登場した。ワイネルは、「クッキー」の不適切さを知って驚いたが、数年のイギリス生活、あるいはウェールズの勤勉な大学院生が時間を見つけて吸収できる程度のイギリス生活を誇っているにもかかわらず、私を受け入れてくれたと聞いて喜んだ。実際、私よりもずっと自分の専門分野に精通しているプレイヤーは、ゲーム中、「専門家」ではない「専門家」にいつも騙されている。例えば、盲目の人が視覚の「専門家」になりすましたり、コリンズ自身も有名な話だが、物理学者たちのパネルを騙して、自分が重力波物理学の専門家であると信じ込ませることに成功した。この分野は、一般に困難な科学分野の中でも特に厄介で難解な部分であり、その実践者はコリンズのような社会学者を見下す傾向がある。
コリンズは、ある専門分野を本当にマスターしている人と、体裁を整える程度の知識しかない人との境界線が少し曖昧になることを示すために、このゲームを開発した。つまり、専門家だろうかのように見せかけようとする人がいたとしても、実はその人が何を言っているのか全くわかっていないことを確認するのは非常に難しいということである。もし、50パーセントの確率でニセモノだとわかっていても、あからさまな専門外を見抜くのが難しいなら、一流の研究雑誌や一流新聞、信頼できるニュース番組で肯定された、信頼性の高い本物の専門家の中から、どうやって良いものとそうでないものを見分けたらいいのだろう?例えば、「住宅価格はまもなく回復する」「食事は遅い時間より早い時間の方が健康的」「おもちゃのコンピュータで遊ぶと幼児の教育上良い」という専門家の主張を前にして、私たちはそのアドバイスが信頼に値するかどうかを判断する材料がほとんどないように思える。
哲学者、社会学者、その他の学者からなる小さくも強力なコミュニティは、専門知識の信頼性を評価する問題にかなり長い間取り組んでおり、魅力的な洞察と場合によっては印象的な解決策を打ち出してきた。しかし、残念ながら、その洞察はしばしば問題を解決不可能なものとし、解決策は互いに直接矛盾する傾向がある。18世紀、イマヌエル・カントは「自分の頭で考えろ」という名言を残し、専門家の意見に左右されないよう促した。しかし、哲学者のジョン・ハードウィグは、このシンプルなアドバイスを「徹底的に非現実的で、実際には合理的な信念や判断が少なくなるロマンチックな理想」と呼んでいる。とはいえ、自分で考えるより専門家のアドバイスを受けた方がうまくいくと認識することと、誰が専門家として信頼できるかを見極めることは、まったく別のことだと彼は認めている。専門家がどのようにしてアドバイスに至ったのか、特別な知識がなければ、私たちの多くは「その人が本当に専門家なのかどうかを判断する立場にない」と彼は書いている1。
コリンズの『イミテーション・ゲーム』は、非専門家を煙に巻くことに正当な機会を与えてくれるが、非現実的な条件下での話である。少なくとも原理的には、専門家の思考が主張するように鋭いかどうかを、一般人が現実の状況でテストできる方法があるのだろうか。ノースウェスタン大学のWojciech Olszewski教授とAlvaro Sandroni教授は、「いや、原理的にさえない」と結論づけている。また、学部と大学院の学位をすべて偽っていた女性が、学術界で昇進し、長年にわたり広く尊敬されてきたMITの入試部長となり 2007年に正体が明らかになるまで、学生の履歴書の水増しに対する批判者として全国的に引用されていたことも説明できるだろう。
本物の専門家の発言と、全くの捏造者の発言を見分けるのが難しいのであれば、たとえ専門家の発言であっても、その善意が善意でない複数の専門家からの矛盾した発言に直面したとき、その絵がより鮮明になるとは思えない。タスマニア大学の哲学者デビッド・コーディは、素人は群衆に従うだけで、より信頼できる専門家を選び出すことができるかもしれないと主張する。ラトガース大学で哲学と認知科学を教えるアルビン・ゴールドマン教授は、「そんなことはない」と反論する。ゴールドマンは、ある主張に対して多くの支持者がいることは、ほとんど意味をなさないと主張する。(少なくとも2000年代半ばは、群衆に従うことが金融の健全性にとって有害であったことは、今振り返っても確かである)。ゴールドマンは、専門家の主張の正当性を評価するには、その専門家の仲間の専門家のうち、何人が独立してその考え方を支持することにしたかを見る必要があるという。ハーバード・ロースクールのスコット・ブリュワー教授は、「素人がどの専門家を信じるべきかを見極めるのは、どんな手法を使っても無理だ」と結論付けている。(さて、専門知識に関する専門家の意見を聞いたところで 2008年末のWashington Postの記事から何を読み取るだろうか?この記事では、アメリカ心臓病学会の会長が、新しい研究結果は、コレステロール値が正常な患者の多くが、心臓病のリスクを減らすためにコレステロール値を下げるスタチン剤を直ちに服用することを明らかに示していると述べているが、その直前にスタンフォード大学の著名な心臓研究者が、この方法でスタチン剤を処方すると危険であると警告したことを引用している)
ジョン・ヨアニディスは、冗談半分に、専門家の正しさを評価する必要があるのではないかと私に提案した。さて、それはそんなに悪い考えなのだろうか?もちろん、どのような「正しさ」が得点になるかをまず決める必要がある。自分の発表した研究が反論されなければ、点数がもらえるのだろうか?しかし、ほとんどの研究が反論されないのは、単に誰もそれを試してみようとしないためであることを考えると、反論されないことはあまり意味がないかもしれない。また、ある論文が反論を得たからといって、それが間違っているとは限らない。反論の後には、反論に対する反論が続くことが多い。専門家は、一部しか反論されていない発見を部分的に評価する必要があるのだろうか?ある研究者が「正しい」と言えるのは、その主張があまりに曖昧で、間違っていると断定できないからだとしたらどうだろう。(占い師や星占い師が得意とする手口だ(子育ての専門家が「子どものニーズに応える」親に良い結果を約束することを思い浮かべてほしい)。専門家の結論が、誰もが信じているようなものであれば、加点されるのだろうか。(運動し、健康的な食生活を送り、タバコを吸わない方が良いという結論は、多くの研究で出されている) 最終的に間違っていることがわかったが、非常に難しい問題に挑戦し、その問題をよりよく理解できるようになったという結論はどうだろうか。(がんを治すための新しいアプローチの大半がうまくいかないことは、歴史を見れば明らかだが、研究者には、途中で行き詰まることなく、挑戦し続けてほしいものである)。あるいは、他の研究者がその研究をどれだけ有用だと感じたかによって、ポイントを与えることもできるかもしれない。そういえば、専門家はすでに引用数によって自分たちの間でスコアをつけている。
少なくとも、投資の知恵の分野では、勝ち負けを集計するのは簡単だと思うだろう。バーナード・マドフというヘッジファンドの運用者は、そのデータに何らかの測定上の問題がなかったことを前提に、あらゆる面で比類なき安定した投資収益を上げている。しかし、残念ながら、投資判断は必ずしもそう簡単にはいかない。例えば、ジム・クレイマーが選んだ銘柄の仮想リターンを多くのアナリストが検証した結果、それぞれ明確な結論を出しているが、その結論は、彼の天才性を裏付けるものから、クレイマーが推奨するものとは全く逆のことをすれば成功することを証明するものまで、激しく対立している。このような分析には迷いがある: どのようなアドバイスが、その場しのぎのポジティブなコメントではなく、本物の「買い」推奨となるのか、明確に判断する適切な方法がない; つまり、クレイマーのような専門家は、彼の提言が平均して投資家を儲けさせるという意味では「正しい」かもしれないが、その戦略が許容できないほど大きな損失をもたらすリスクを伴うという意味では「間違っている」かもしれない。もし私がすべての老夫婦に、貯蓄をすべて宝くじに投資するよう勧めたとしたら、そのうちの何人かは私に感謝することになるだろう。
この問題は、バークレー校の政治学と心理学の教授であるフィリップ・テトロックが、政治的専門知識に関する広範な研究を行った際に、真っ先に直面することになったものである。学者であるテトロックは、正しさの正確な定義だけでなく、その正しさを定性的に測定できるような定義も考えなければならなかった。(結局、専門家全員に、当時流行していたさまざまな政治状況の結果を明確かつ具体的に予測するよう求めるアンケートを実施し、後日、現実の政治結果が出たときに、誰が正しかったかを確認することにした。テトロック自身は、それが正しさを評価するための定義的な手段とはほど遠いものであることを明らかにすることに苦心している。ある専門家が、結果は正しくても、その理由がまったく間違っていれば、「正しい」と言えるのだろうか。(例えば、オバマが大統領になると予想した人がいたとして、その理由は、オバマがマケインよりも国家安全保障に強いと思われたからにほかならない) 特に複雑で曖昧な状況において、他の専門家が困惑するようなかなり正確な予測をすることが知られているにもかかわらず、アンケートでありきたりな予測課題を何度も破ってしまうような人は、専門家として失格だろうか。
「専門家に惑わされないための、失敗しない11のルール」なんていうのは警鐘を鳴らしているようなものである。結局のところ、専門知識に関する正式なスコアカードや、少なくとも効果的であると広く認められるスコアカードができる可能性は低いと思う。そして、それ自体が、専門知識が失敗しがちな理由の、少なくとも部分的な説明となるかもしれない。サンディエゴ大学の法学教授フランク・パートノイは、ビジネスの世界との関連で、「業績に関係なく報酬が支払われる会社は、いずれ業績が悪化する会社である」と表現している。つまり、専門家のキャリアアップやステータスをその正しさと結びつけることを怠ることで、その正しさが彼らにとってやや軽視される結果になることを事実上保障することになるのかもしれないのである。その代わり、専門家は、より直接的で明確な利益をもたらすもの、例えば、出版されること、引用されること、注目されること、そうした成果を最大化しようとする動きが伴うあらゆる正しさ劣化のバイアスの中で、非常に優れたものになりやすい。
もし、どの専門家が正しいのかがわからないのであれば、この実験に何の意味があるのだろうか。専門家の間違いの大きさと原因を探ることで、私たちは少しはマシになるのだろうか?実際、そうだと思う。私は、より良い専門家のアドバイスを得るためのヒントがないとは言っていない。
私は以前、別の種類の専門家のゲームショーを見ていたことがある。1900年に始まったこのゲームショーは、おそらく世界で最も長く続いているもので、今でも同じ場所で開催されている。ボストンのマサチューセッツ総合病院の講堂で、誰でも気軽に参加でき、時には大勢の熱心な観客の一員となる。(まあ、熱狂的な人もいるが。参加者の中には、非常に過労で睡眠不足のインターンや研修医もいて、舞台上で死者を蘇らせるようなことをしても起きないような顔をしている)。1924年以来、ほとんどの週刊誌にこのショーの説明が掲載されている『New England Journal of Medicine』では、このショーは「マサチューセッツ総合病院の症例記録」と題されているが、ほとんどの医師にとって非公式にマサチューセッツ総合病院の「グランドラウンド」と認識されているようだ。より説明的で素人にもわかりやすいタイトルはこうかもしれない: 「不可解な死の病人チャレンジ」だ。もしXゲームに医療知識の要素があるとしたら、これはそのようなものだろう。
プレゼンの冒頭、医師がステージに登場し、マサチューセッツ工科大学の患者の実話を説明する。その内容は、身の毛もよだつような症状、明らかにならない検査結果の数々、絶望的で効果のない治療の数々、そして、多くの場合、患者の死という結末を伴う、恐ろしいものである。(この記事を書いている時点で、最も新しく発表されたケースを調べてみた。それはこう始まる: 「79歳の女性が、水ぶくれのような皮膚発疹のため、この病院の熱傷病棟に入院した」と始まり、その後、事態は急速に悪化していく) このような苦しみと医療上の混乱を引き起こした奇妙な病気は何だったのだろうか。その答えを推測するのが、この番組のゲストスターである著名な医師研究者の仕事であり、彼はきちんとステージに導かれて診断に挑み、その後病理医が登場して正しい答えを明らかにする。この番組は、「ハウス」と「億万長者になりたい」を掛け合わせたような内容になっている。(ほとんどの大学付属病院(マスジェネラルはハーバード大学の教育病院)では、診療科単位でグランドラウンドを実施しているが、マスジェネラルのようなステータスとショーアップを実現するものはない)。
ゲストスターは、しばしば正しい判断を下す。私が行った日のゲストスターは、致命傷になりかけた子供の苦悩を、珍しい喘息に起因するものと断定していた。このような診断は、疑いなく驚くべき専門知識の披露である。しかし、グランドラウンドは、私たちが頼りにしている専門家が、いかに大きな存在だろうかを知らしめるものだとも思う。マサチューセッツ工科大学のグランドラウンドのプロデューサーが番組のために特定の症例を選んだという事実は、そのデータのどこかに明確な答えが隠されていることをほぼ保証するものであり、症例が本当に解読不能であれば、番組は啓発されないだろうからだ。一方、一般の専門家は、このような多肢選択式のオープンブックテストを受けることができない。彼らは通常、これまで明確に理解されたことがなく、場合によっては特徴さえもよく分かっていないような事柄や、たとえ正解があると言えるとしても数百年は正解が分からないような複雑な事柄について、洞察を深めようとしている。しかも、正しい結論を得ても、その結論が他の有力な専門家や専門家のコミュニティにとって退屈、魅力的でない、あり得ない、脅威的であると見なされれば、認知も報酬も得られず、罰せられる可能性さえあることを承知でこの難題に挑む。
大衆の専門家と信頼できるアドバイスの間に立ちはだかるすべてのものを十分に理解することは、惑わされないための最初の、そしておそらく最も強力な武器となる。医療や子育て、金融の専門家の主張を『Today』番組で見たり、『New York Times』で読んだりしたときに、「ああ、食事や子どもとの会話、クレジットカードの使い方を真剣に変えたほうがいいな」と思うのではなく、「うーん、このアドバイスに従う価値があることがわかるのは、どのくらいの確率だろう」と思えるなら、すでにゲームの先を行っていると言えるだろう。
一方、専門家が完全に間違っているわけではないにせよ、少なくとも部分的には間違っている可能性があるということを強く意識することは、危険な騙されやすさから私たちを守ってくれるかもしれないが、一方で、専門家のアドバイスをすべて受け流してしまうという誘惑もある。仮に、専門家が少なくとも部分的には間違っていたり、強い反対意見を持っていたりすることが大半であるという考えに私たちが納得したとしても、専門家がほとんど同意しており、正しい可能性が高いと思われるケースが何十、何百と残っており、そのようなケースでは、私たちはそのアドバイスに従わないことで大きな代償を支払うことになる。政治学の博士であり、MITやカリフォルニア大学バークレー校での研究活動に加え、ソフトウェア会社を設立して大成功を収め、さまざまなテーマで数冊の本を執筆し 2007年に受賞したドキュメンタリー映画『No End in Sight』では、ブッシュ政権がイラク侵略後の再建で直面する課題について、知るべき立場にある専門家から十分な警告を受けていたと主張する、恐ろしいほど多才なチャールズ・ファーガソンとこの専門知識の問題の側面について議論したよ。ファーガソン氏は、ブッシュ政権が問題に陥った主な原因は、こうした優れた助言を無視したことにあると主張する。「専門家の言うことを聞けということではなく、専門家の意見を聞かずに大きな決断をすることは、本当に愚かなことなのだ」とファーガソンは言う。
世界のリーダーたちに当てはまることが、私たちの日常生活にも当てはまることは間違いないだろう。少なくとも、魚を食べる(あるいは魚油を摂る)、飽和脂肪酸を大量に摂らない、運動をする、節税貯蓄に回す、子供には叱るより励ます方がいい、高齢になっても頭を使う、ゴルフボールから目を離さないなど、専門家の合意に基づいて、十分な裏付けがあって実行が難しくなく、しかもデメリットの少ないアドバイスにもっと従うべきだろう。しかし、私たちの多くは、さまざまな専門家によって支持されているだけでなく、あまりにも基本的でよく証明されているため、不信感を抱くことはすべての論理を無視するように思われるアドバイスに従わないようにしている。これは、単に無教養で反社会的で機能不全に陥った人たちの行動というだけではない。私の住む小ぢんまりとした町では、最近、3人の母親が交通事故で亡くなったことに衝撃を受けた。事故当時、彼女は運転中にテキストメッセージをしていたようで、習慣としてシートベルトをしていなかった。専門家を盲目的に信じてはいけないのは確かだが、信じるべき、あるいは信じなければならない状況も多々あり、そうでない場合は無謀な行動としか言いようがない。
しかし、専門家のアドバイスに従おうとする私たちでさえ、ダイエット、日光浴、不動産投資、ビデオゲームが子供の心に与える影響など、専門家の間で新たな論争が起きたり、二転三転したりすると、途方に暮れてしまうことがある。このような場合、私たちは何かを選択することを避けることはできない。そのような手がかりを得るには、本書の中で専門知識の問題点について述べてきたことが必要だと思う。そこで、本書では、これらの観察結果をいくつかまとめて、専門家のアドバイスという厄介な状況を乗り切るための、大まかではあるが実用的なガイドラインを抽出できないか考えてみることにする。
信頼に値しない人の典型的な特徴
専門家のアドバイス
専門家のアドバイスで、平均よりも高い確率で間違っているものは、多くの場合、様々な示唆を与えてくれる。以下の項目に当てはまる場合は、特に注意が必要である:
単純で、普遍的で、断定的である。専門家が取り組む複雑で微妙な問題と、私たちが専門家に求める単純明快な結論との間にミスマッチがあることは、これまでにも述べてきたとおりである。「コーヒーを飲むと寿命が延びる!」というような、広範な効果を約束するようなアドバイスが、サウンドバイトや見出しで表現される場合、測定ミスや誤った分析、偏見によって道を踏み外した専門家のものだろうか、研究誌やマスメディアを通過する際に何かが訳されなかった可能性が高い。また、最も慎重な研究の結論は、一般的に平均値に基づいており、その結果がほとんどの人にきれいに当てはまらないことがほぼ確実であることを忘れないでほしい。
たった1つの研究、あるいは多くの小規模で慎重さに欠ける研究、あるいは動物実験によって裏付けられている。1つの研究に基づくアドバイスは、その研究がいかに優れていても、極めて暫定的なものであると考えるべきだろう。大まかなルールとして、研究は多ければ多いほど良いのだが、大規模で厳密な一連の研究であっても、時には間違った結論を出すことがある。数十人規模の研究(ただし、数千人規模の研究でも統計的な偶然はあり得る)、コントロールされたランダム化されていない研究(つまり、交絡因子が作用する)、学生や重病人など特定のタイプの被験者に限定した研究(つまり、結果が他の人に関係しない可能性がある)では、誤りのリスクが高くなる。また、このような誤りは、多くの低級な研究の結果を組み合わせても修正できないことが多く、逆に、いくつかの悪いデータのプールをまとめると、本当に大きな悪いデータのプールができてしまうことがある。私は、人間の健康や行動に関する主張が、すべて動物実験に基づくものである場合は、興味深い空想として扱うことをお勧めする。また、動物実験がヒトに「適応」することが示されたのは、1つか2つの小規模または正式でないヒトの研究によって裏付けられたからだ、などという台詞は使わないでほしい。
それはブレイクスルーことである。一つには、斬新で意外に思える専門家の洞察のほとんどは、少数の厳密でない研究に基づいており、多くの場合、たった一つの小規模または動物実験に基づいている。もし、このエキサイティングな発見を裏付ける研究がすでにいくつも行われていたなら、おそらくその時に聞いたであろうし、今となっては斬新とは感じないだろう。ヨアニディスや他のベイズ研究者が主張する、直感的ではないにせよ、単純な論理を考えてみよう。新しい発見とは、これまで明確に観察されていないものであると定義され、これまで明確に観察されていないものの典型的な理由は、それが実在しないことなのである。
新発見とは、これまで明確に観察されていないものであり、これまで明確に観察されていないものの典型的な理由は、それが実在しないからだ。もちろん、すべての専門家は、自分の研究が多くの人の目に触れることで利益を得る立場にあり、それは十分に覚えておく価値があるが、場合によっては、潜在的な利益相反がより腐敗しやすくなる。特に、研究結果が利益に影響を与える可能性のある企業や業界団体から直接資金提供を受けている場合、その傾向は顕著である。企業のスポンサーシップがあるからといって、その研究が間違っているわけではないが、深刻なバイアスのリスクが高まることは間違いない。例えば、タバコ会社は、喫煙が悪い評判になっているかもしれないという「証拠」を提示してくれる医師や研究者を常に見つけることができた。また、多くの潜在的な利益相反が専門家の報告書では明確に示されず、時には積極的に隠蔽されることが、次々と研究によって明らかになっていることを忘れてはならない。ジョージ・W・ブッシュ政権下では、研究費をイデオロギー的なアジェンダを推進するための手段と見なしていた(すべてではない)ため、研究費の腐敗が広く指摘されたことがある。一方、高給取りのコンサルタントは、自分たちのサービスを売り込むための手段として、大量のアドバイスを用いる傾向があるため、アドバイスの信頼性は他の広告とほぼ同じだ。
そして、そのアドバイスは、最近起こった著名な失敗や危機を、将来起こさないようにするためのものである。これは「納屋の扉に鍵をかける」効果であり、私たちは何か問題が起こったときに、そのことに腹を立てたり、トラウマになったりするため、その問題を回避するために以前できたかもしれないことを今やろうとする。これは、ブラックジャックで、2回連続でバストしたからといって、ディーラーがフェイスカードを見せているときに、12番で立っているのと同じくらい賢い戦略である。しかし、専門家は、例えば、食品を媒介とする細菌が発生した後に、食品の取り扱いに細心の注意を払うように勧めたり(抗菌クリーナーの使いすぎで薬剤耐性菌の問題が悪化したことを念頭に)、国民が借金を重ねて景気が悪化した後に貯金を積み立てるように勧めたり(貯蓄への転換が回復を妨げることを念頭に)、すでに陳腐化したアドバイスを提供することで義務を果たす。
専門家のアドバイスの特徴
私たちは無視するべきだ
専門家の主張は、私たちの注意を引きつけ、信用を得るために、実際には信用できないような要素を含んでいることが多い。専門家のアドバイスがこのような要素を含んでいたとしても、それを否定するのではなく、その情報がどちらか一方に偏っているというだけなのである。
マイルドに響く。私たちの世界観に合っている、常識に訴えている、面白い、生活が楽になる、緊急の問題に対する解決策を提示しているなど、専門家のアドバイスの中には、私たちにとって正しく聞こえるものがあることが分かっている。しかし、専門家の結論が真実である可能性を高めてくれるものは何もない。実際、これらの要素は、どちらかというとアドバイスの信頼性の低さを物語る傾向があり、共鳴させるために結論を捻じ曲げたり、出版バイアスを指摘したりする誘惑となる。
挑発的である。私たちは、専門家が従来の見解を覆すのを聞くのが大好きです: 脂肪は体に良い!雑であることは良いことかもしれない!私たちは、その驚きに心をくすぐられると同時に、これまで正しいと信じられてきたことが実は間違っていることを発見することに慣れているため、真実味を帯びるかもしれない。従来の見方は確かに間違っていることが多い、あるいは少なくとも限定的である。しかし、その見方を捨てる前に、良い証拠を探してほしい。
多くのポジティブな注目を浴びる。マスコミ、ネット上の人々、あなたの友人、彼らは何を知っているのだろうか?専門家の主張は、その信頼性よりも、いかに巧みに紡ぎ出され、宣伝されたか、またその反響や挑発性に関係することがほとんどである。2009年5月、4,700万年前の化石が発見されたが、その化石は原始的なキツネザルのような霊長類のもので、Google Newsによれば、数日のうちに750以上のニュース記事を生み出した。そのほとんどは、発見した科学者とその学術機関がマスコミに歌った曲を忠実に再現したもので、「Ida」という愛称が付いたその化石は、原始的な霊長類と人間を含むより現代的なものとの間の長年の「ミッシングリンク」だとした。(アイダは一日だけグーグルのトップページのロゴに採用され、ノーベル賞に相当するインターネット上の賞となった)。カーネギー自然史博物館で脊椎動物古生物学の責任者を務める科学者をはじめ、信頼性の高い専門家たちが、アイダが主張するほど重要なつながりを明確に示しているようには見えないと訴えていたのである。アイダは擁護者の主張通りのものになるかもしれないが、慎重に二足歩行する十分な理由があったのだ。
他の専門家はそれを受け入れている。さて、この件に関しては、無視するのではなく、注意深く視点を変えてみるべきだろう。前述したように、ある状況下で専門家同士の幅広い支持を得ることは、専門家の主張の信頼性を高めることにつながるというのは、十分な根拠がある。しかし、専門家のコミュニティは、政治、バンドワゴン効果、資金調達に関連するバイアス、その他の腐敗現象に屈する可能性があることも分かっている。また、ある分野の専門家の多くが実際に特定の主張を支持しているかどうかを素人が判断するのは難しい場合が多く、報道では専門家の偏ったサンプリングが紹介されている可能性がある。興味深いことに 2009年にウォートンで行われた研究では、米国とフランスにおけるファーストネームの人気に関する1世紀以上のデータを調査した結果、ある名前が広く急速に人気を集めるほど、その人気も広く急速に失墜する可能性があることが判明しており、同じ基本原則がアイデアの採用にも当てはまることが示唆されている3。このように考えると、新しい主張が専門家のコミュニティから即座に広く支持されることは、推奨というよりむしろ警告のサインとして捉えられるかもしれない。より信頼できるのは、長い時間をかけて専門家の間で徐々に積み重ねられていく支持である、というわけだ。
権威ある雑誌に掲載されている。もう二度と騙されることはないだろう。
大規模で厳密な研究によって裏付けされている。確かに、大規模なランダム化比較試験は、一般的に他の多くの種類の専門家による研究よりも信頼性が高いのだが、これまで見てきたように、それはそれほど重要なことではない。しかし、これまで見てきたように、それはあまり意味がない。どの研究、あるいは研究グループも、銀行で使えるような証明には程遠いのである。しかし、出版バイアス(反対研究がどこかで削除された可能性がある)、スポンサーによる不正(製薬会社が製品を強化するためにすべての研究を支援している場合)、測定の問題(疑わしいマーカーを使用している場合)、分析の欠陥(原因と結果が混乱する恐れがある場合)などを理由に、疑う理由がまだたくさんあるかもしれない。
また、その裏付けとなる専門家は、素晴らしい経歴を誇っている。アイビーリーグの大学、世界的な病院、伝説的な工業研究所から、不正行為の露骨な事例が出てくるのを、私たちは見ていた。優秀な専門家が不正を働くことができるのであれば、偏見や駆け引き、ずさんさ、エラーに陥ることもあるはずだ。そして、彼らは常にそうしている。高度な資格を持つ専門家とそうでない専門家が対決する場合、私たちは大きなレップを持つ人たちを支持すべきだろうか?なぜなら、科学者や巨大コンサルタント、政府のトップアドバイザーなど、立派な資格を持つ専門家がどんな偏見や誤り、歪みを抱えていても、ポップで自称・素人の「専門家」の方が、問題はより深刻である可能性が高いからだ。親が自閉症の子供を、善意のセレブママが宣伝するエキゾチックな食事療法を受けさせる代わりに、自閉症に関するほぼすべての学術専門家*が推奨する集中行動療法をすぐに受けさせるのは、アドバイスのジャングルの中で安全な道を切り開くことに致命的な失敗をしている。
しかし、たとえ正式な専門家と対立する場合でも、非公式な専門知識を頭ごなしに否定すべきではないだろう。正式な専門家の多くは、正確なデータを収集し、その情報を厳密に分析して自分の主張をすることに集中せざるを得ないが、その過程で専門家が真実から遠ざかってしまうこともある。しかし、インフォーマルな専門家は、それほど綿密ではないが、より適切な実世界の観察に頼ることができ、それを評価するために経験や常識を自由に活用できるという事実が、時として有利に働くことがある。2004年のPhysicians’ Desk Referenceでは、アナボリックステロイドは運動能力を向上させないと勧告されている。これは、この主張を効果的に検証できる倫理的な研究を誰も計画できなかったという事実と、おそらくこれらの薬物を気軽に使うことに強い偏見があったためだ。一方、コーチやアスリートたちは、アナボリックステロイドがパフォーマンスに大きな影響を与えるという真実を知るために必要なすべての証拠を長い間持っていたのである。
より信頼される人の特徴
専門家のアドバイス
次のような要素は、専門家の発表の作成と報告において、特別な注意、誠実さ、視点が払われていることを示唆するものであることが多い。これらの要素の中には、アドバイスの内容そのものよりも、むしろそれが提示された情報に関わるものもある。
他のアラームを作動させない。このように、信頼性の低いアドバイスの特徴を知れば、そのような特徴を持たない専門家のアドバイスは、より信頼できる可能性が高いと考えることができる。つまり、単純化されていない、多くの大規模で慎重な研究によって裏付けられている、私たちが真実だと信じていることと一致している、利益相反を回避している、最近の危機に対する反応ではない、といった専門家のアドバイスをより重要視する必要がある。
これは否定的な発見である。これまで見てきたように、興味深い仮説や有用な仮説を確認できない発見に対しては、あらゆる段階で重大なバイアスがかかっている。期待はずれの結論が出たとしても、それを公表したり報告したりする人は、読者を驚かせるために真実を妥協することにあまり関心がないのだろう。
修飾語が多い。専門家が研究成果を発表し、その研究成果が私たちの手に渡るまでのプロセスは、欠点や弱点、限界を覆い隠すことに偏っている。専門家も、その研究成果を発表する雑誌も、それを喧伝する新聞やテレビも、その研究が失敗した可能性のあるあらゆる方法を私たちの頭に叩き込んで、何を得ようとするのだろうか。しかし、雑誌の記事やメディアの報道には、研究の方法論やデータ分析の信頼性、あるいは調査結果の適用範囲に疑問を抱かせるようなコメントや情報が含まれていることがある。専門家の知見の信頼性や適用可能性には常に疑問を持つべきであり、このような疑問を明確に提起し、私たちに同じように疑問を持つよう促す専門家、編集者、記者の信頼性を示すものである。
反論のための証拠については率直である。専門家の主張が無批判に支持されたり、利用可能なすべてのデータから支持されたりすることはほとんどない。(学問の世界では、「博士号があれば、同じように反対の博士号がある」ということわざがある。しかし、「バランス」の名の下にマスコミの報道に投げ込まれた形だけの懐疑的な引用文や、雑誌論文の簡潔で歯抜けな、形式的な「研究の限界」セクションで、軽度の誤りの可能性があるいくつかの原因を無気力に投げ出すこと、反論する機会を与えるためだけに導入されたような矛盾する証拠の挿入には、感心しない方がよい。専門家の主張を「一方的に」「他方的に」扱うことのもどかしさは、明確な答えがないことだが、時にはそれが正しい場所であることもある。また、否定的な証拠が最善の努力をするのを見ると、肯定的な証拠が実際に生き残り、従う価値があることを認識することもある。
研究の背景を知ることができる。専門家の発見は、突然現れることはほとんどない。通常、主張と反論の歴史、先行研究、賛否両論、代替理論、進行中の新しい研究などが存在する。一種のスナップショットとして提示されたときには信憑性が高いと思われる発見も、このような豊かな背景を踏まえて提示されたときには、遠回しに見たほうがより明確になることもある。巨大なハイテクコンサルタント会社であるアクセンチュアのコンピュータサイエンティスト、アンドリュー・ファノは、私にこのように言った: ”専門知識は、1回の短い蒸留に反映されるのではなく、長い期間にわたる専門家グループの行動として見るのがコツです」
視点を提供してくれる。専門家の主張は、「これが私にとって何を意味するのか?」という単純な質問に対して、良い答えを導き出すのが難しい形で提示されることが多い。私たちはしばしば、単に事実を知るだけでなく、それについてどう考え、どう感じるかについての助けを必要とする。例えば、ある治療法が動物や健康な人にしか試されていないとか、不動産価格の変動が明らかに観察されたのは高級住宅地や国内のある地域だけだとか、信頼できる発表には関連性の限界があることはすでに述べたとおりである。しかし、専門家やその知見を伝える人々は、さらに踏み込んで、ある主張に対して、明確な、実用的な、最終的な意味を示唆することができるし、そうすべきなのである。このようなメタファインディングは、「効果は興味深いものの、非常に小さなものであり、偶然の産物でないとしても、行動を変えるほどの価値はないだろう」「これがあなたに当てはまる可能性は低い」「重要な観察と思われるが、それを取り巻く不確実性は非常に高いので、もっと良い証拠が出るまでは真剣に考えない方が良い」「これはこの目標を達成するためのいくつかの戦略の一つにすぎず、他のものよりも明らかに優れているとは言えない」という形で表現することができるだろう。専門家、雑誌の編集者、ジャーナリストは、聴衆にこのような注意喚起は必要ない、事実は自分で語るべきだ、このような半主観的なコメントを挟むのは自分たちの立場ではない、と合理的に主張するかもしれない。しかし、私は、専門家の主張が持つ潜在的な影響力を犠牲にしてでも、私たちがその主張を理解するのを助けるという意味で、それを実行する人は、より高いレベルの信頼を得てしかるべきであると主張している。このような説明の必要性は、一般の人々が(多くの専門家がそうであるように)解釈するのに苦労する、確率やリスクに関する記述が研究に含まれる場合に特に顕著である。ワシントン大学の研究によると、2人に1人は日常の天気予報を十分に理解しておらず、それに基づいて十分な情報に基づいた意思決定ができないことが分かっている。雨の確率が30%というのは、その地域の30%に雨が降るという意味だと考える人もいれば、1日のうち30%雨が降るという意味だと考える人もいる4。また、リスクに関する記述は医療や金融に関するアドバイスにとって基本だが、専門家の主張を報告する際にその重要性や欠如が十分に明らかになることはまれである。
率直で露骨なコメントも含まれる。私たちは、優れた政治記者が、役人に準備された発言やトーキングポイントを捨てさせ、本当に信じていることを言わせるために懸命に働いていることを知っているが、優れた科学や金融のジャーナリストも同じように苦労しているし、そうすべきである。専門家の主張の信頼性や重要性を本当に理解するには、その専門家自身や他の十分な知識を持った専門家が疑問や懐疑を表明するのを聞かない限り、自信を持つことはできないと思う。私の経験では、このようなコメントを探すのに最適なのは、長い雑誌の記事や雑誌への手紙、時にはラジオのインタビューなどである。(インターネットには、このような率直な評価がたくさんあるが、誰の主張に対しても論争的な苦情が殺到する傾向があり、信頼できる洞察力の源として推奨することは困難である)。メディアのインタビューや雑誌の記事などは、それ自体が非常に偏っていることが多いので、真実の道しるべとするつもりはないが、少なくとも、専門家の発表の本当の姿や隠された裏側を知るためには、考慮する価値があると思う。
そのためには努力が必要である。私は、専門家の主張が紹介されるたびに、補足情報を探しながら、長いチェックリストに目を通すことを、すべての人に期待しているのだろうか。いいえ、ほとんどの人が、そしてほとんどの場合、そうではない。専門家がいることの意義のひとつは、このような問題で本当に宿題をしなければならないという責任から私たちを解放してくれることである。エモリー大学の脳画像研究によると、専門家のアドバイスと思われるものが提示されると、そのアドバイスがどれほど悪いものであっても、意思決定を司る脳のセクションの活動が著しく低下することがわかったのである5。
しかし、すべての人がそうではない。2009年、ワシントン州サンマミッシュの高校3年生が、自分のひどい消化不良がクローン病(治療可能な病気)によるものではないと言う医師を疑うことを決意した。そして、自分の腸の組織を学校に持ち込んで顕微鏡で観察したところ、クローン病特有の炎症である肉芽腫を発見し、後に専門医に診断された。私たちの多くは、正式な専門医に立ち向かうために、そこまで進取の気性に富むことはできないだろう。しかし、少なくとも、専門家の主張を評価するためのチェックリストを頭の片隅に置いておくという手間を惜しまないことで、説得力のないアドバイスをすぐに除外することができるだろう。そして、健康増進、ライフスタイルの変化、組織の改革、子供の発達の変化、401K口座の大幅な増減などにつながるアドバイスを採用することを考えるとき、多くの人がもう少し詳しく調べる努力をする価値があると思うに違いない。
もしあなたが科学の正式な訓練を受けていない、あるいは他の方法で科学の多くを吸収していないのであれば、おそらく研究誌は厳しいと思うだろう。私は、2人のノーベル賞受賞者を含む何十人もの高名な科学者から、自分の専門分野でありながら自分の専門外のジャーナル記事の多くを理解するのに苦労すると聞いている。一方、狭い集団から抽出した少数の被験者や、精神医学の研究で動物の感情状態を推測するために使用されるような、疑わしい代用指標を使用するなど、ジャーナル研究の潜在的な欠点を見つけるのは必ずしも難しいことではないのである。
さらに、専門家の主張を吟味する方法を学ぶ努力をすることで、ある発見が特別に疑われるべきものである場合、より直感的な感覚を身につけることができるようになるという期待も常にある。私たちの脳は驚異的なパターン認識装置であり、優れた医師が少ない情報でも正確に病気を診断できるようになるように、私たちの多くも、常に研究に没頭しなくても、専門家の発表を適切に評価できるようになれると思う。2007年、『ニューイングランド・ジャーナル・オブ・メディシン』誌は、ロードアイランド州プロビデンスにある老人ホームの猫が、死期が近い患者を見分けることができたという話を掲載した。患者のそばで突然丸くなろうとすると、その患者はたいていこの世にほとんどいないことがわかり、医師が死期を認識した患者とは限らないらしい6。私たちは自分の常識を常に信じることはできないし、良いアドバイスを聞けば必ずわかるわけではないが、十分な情報を得た上で取り組めば、ほとんどの人が少なくともその方向に進むことができると思う。
彼らは、一流の専門家の賢明な予測でさえもそれに合格しないかもしれないほど手強いテストが行われない限り、インチキ、非常に偏った、あるいはそれ以外の劣った専門家のお粗末な予測は、誰もが思いつくどんなテストにも合格する可能性があることを証明するために、形式論理の長く、濃い列車を参加させられた。
テトロックはデータから、ある政治的予言者が当たりやすいのは、「ハリネズミ」ではなく「キツネ」であることが大きい、と結論づけた。この比喩はもともと古代ギリシャの詩に遡り、キツネ人間は柔軟で適応力があり、複雑さを認識しているとする。しかし、テトロックの本は、認知バイアスという世界的な権威の一人であるテトロックの広範で啓発的で楽しい研究であり、必読の書である。
少なくとも、フランスを除く西欧諸国では
もちろん、この本自体がほとんど間違っていて、あなたを惑わせたのでなければの話であるが。この可能性については、付録4で検討したことを、あらためて思い出していただきたい。
付録4 この本は間違っているのか?
長く生きれば生きるほど、自分は決して間違っていないと思えるようになる
について、また、私が謙虚に取り組んできたすべての労苦について
私の観念を検証するためにとった行動は、私の時間を無駄にしただけだ。
– ジョージ・バーナード・ショー(George Bernard Shaw)
『ティッピング・ポイント』のような書籍や、学者による論文のすべて
ができることは、大きな絵の中の小さな一片を明らかにすることです、
そしてある日、それらのピースをすべて合わせると……。
もしかしたら、私たちは真実を知ることができるかもしれない。
マルコム・グラッドウェル
父はダウ・ケミカルの研究化学者で、ミシガン州の工場都市ミッドランドにある本社ではなく、マサチューセッツ州の郊外にあるウェイランドというのどかな丘陵地にある小さな研究所に配属されていた。マサチューセッツ州の郊外にあるウェイランドというのどかな丘陵地帯の広大な敷地に、小さな研究室がぽつんと建っていた。その後、父が退職し、研究所が閉鎖された後、ダウの土地には有毒化学物質の入ったドラム缶が埋まっていることが判明し、危険物処理場として長い間放置されることになった。しかし、父が働いていたころの私には、その敷地が池やアヒルのいる大きな気持ちのいい公園に思えた。
ラボは当時としてはかなりハイテクで、主に1960年代から1970年代前半に活動していた。訪問した子供にとっては、プレキシグラスのタンクに密閉された泡立つビーカーなど、不思議なほど脅威的な器具が並ぶアーケードであり、側面に取り付けられた黒い腕まである厚手の手袋でしかアクセスできなかった; また、実験台が並ぶスペースには金属板が敷かれ、その金属板には大きな文字で「爆発の力を逃がす」という宣伝がされている。
それに比べて父の研究室は、机と本棚がいくつかあるだけで、棚には、化学者がデスクトップコンピューターがない時代に、3次元の視覚化をするために使っていたおもちゃのようなキットで作った分子の模型が並んでいるだけだった。8歳の私は、この狭い部屋の唯一の壁の真ん中に飾られた一枚の額縁にほとんど注意を払わなかったが、それが家によく転がっている科学雑誌の1ページであることと、本文に彼の名前があることに気づいた。彼が「論文を発表している」こと、それが彼の重要な仕事の一部であることは知っていたが、私の知識と好奇心はそこまでであった。その5年後、彼のオフィスを訪れたとき、その自慢の雑誌のページをじっくり読んでみた。数式ばかりでよくわからなかったが、これは父の論文ではなく、父が以前掲載した論文の誤りを指摘する別の科学者がジャーナルに宛てた手紙であり、父の成果を台無しにする誤りであることが推測された。ショックを受け、恥ずかしくなった私は、なぜこんなものを壁に貼ったのかと尋ねた。
と聞くと、「間違うことがいかに簡単かを思い知らされるから」と答えた。
この本を書きながら、壁に貼られたこの日記のことを何度も思い返した。もちろん、私が言うまでもないことだが、「間違い」について書かれた本というのは、ちょっとおかしいのである。専門家のアドバイスが通常間違っているのなら、専門家のアドバイスに関するアドバイスも間違っている可能性があるのでは?言い換えれば、本書で述べられていることは、本書が特徴づけようとする歪みの餌食にならないのだろうか?しかし、もしそうだとすると、専門家が「間違い」に悩まされることについて本書が誤っているとすれば、本書も「間違い」に悩まされることはないのかもしれない。
哲学者やその他の人々が、ある発言や議論、知識の体系が自らを妥協させることになったときに、論理が結びつけられると思われる結び目と格闘してきた長く豊かな歴史が、実はある。25世紀前のギリシャでは、ミレトスのエウブリデスが、「私は嘘をついている」と言う人をどう考えるべきかと問いかけ、物事をスタートさせた。何世代もの小学生が嬉々として気づいたように、この発言は、その人が実は真実を語っている、つまりその人は嘘をついている、つまり…といったことを示唆している。そして、1930年代にクルト・ゲーデルが、それまで明確な理性の傍らにある興味深い棘のように見えていたものが、実は私たちが知っていると主張できるものの布地にあるギザギザの傷であることを証明した。ゲーデルは、私たちの最も純粋な理解形態である数学のすべてが、自己矛盾の結果によって(致命的というほどではないが)避けられない足かせになっていることを示した。
しかし、専門知識の問題に関連する専門家のアドバイスを提供する際に、自己否定から逃れられないのであれば、専門知識の研究は、専門知識そのものを宙ぶらりんにしてしまう、鏡のホールになってしまう。数学者や哲学者にはできない疑問や混乱をかわし、本書の専門的助言が、専門的助言の本質を切り裂きながらも、実はそれ自体が確かなものであるという確かな議論を提供することはできるだろうか。というのも、私は専門家ではないし、少なくとも、私が注目しているような高度な資格を持った専門家ではないからだ。マスメディアのインタビューや引用を何度も受け、学術専門家が取り上げられるのと同じように、時には一緒に取り上げられることもある。しかし、それはあくまで評論家的なものである。私は、測定にこだわる学術誌で出版したり、影響力のある査読者の機嫌を損ねないようにしたり、在職期間や資金調達の政治を切り抜け、有利な企業との契約を獲得したり、スポンサーを喜ばせる結論を出したり、政府の官僚や選挙民の思惑に沿う必要がないため、専門家の偏見には惑わされないと言えるだろう。
一方、読者の支持を得るために、ジャーナリストは共鳴的で挑発的でカラフルな主張をしなければならないというプレッシャーがあること、書いているコンセプトを十分に理解できないことが多いこと、事実に対して日常的に杜撰であることはすでに述べたとおりである。これらはすべて、専門家の主張と同じくらい、あるいはそれ以上に問題のある歪みを引き起こす原因となる。いや、私がジャーナリストだから専門知識の罠にかかる心配はないと言うのは、強盗が「自分は車泥棒ではない」と安心感を与えるようなものである。
では、どうすればこの本が間違ってないと言えるのか。実は、この本がおそらく間違っていると思われるいくつかの方法について論じることの方がはるかに重要だと思う。ひとつは、私の知らない事実誤認や概念的な誤認に満ちている可能性があることである。私が聞き間違えた、読み間違えた、メモが不十分だった、あるいは単に誤解していた、などの理由で紛れ込んだものもあれば、マスメディアの報道など、信頼性の低い情報源から誤った情報を伝えてしまったために紛れ込んでしまったものもある。私自身の記録や他のジャーナリストの経験から、ジャーナリズムの基準でかなり広範なファクトチェックに取り組んだとしても、結局は間違いがあることは分かっている。この本の中で、研究の基本的な計算を精査していない記者を非難しているが、私自身、いくつかの研究についての計算を見直す気にはなれなかった。なぜそうしなかったのか。時間がない、専門家の仕事を信用しすぎている、群衆の誰かが発見しているだろうという思い込みなど、私がこの本で訴えているようなことがすべてである。ある章を読み返すたびに、突然怪しいと思う点が少なくとも1つはある。(小さな例だが、メディアが研究結果を間違えることがいかに多いかを指摘した部分で、それを証明するかのような研究結果を少し間違って報道していたことが、運良くわかった)。この訂正作業は、本が出版されるために中断せざるを得ないときには、まだ終わっていないだろう。
よく、「ある特定のジャーナリストや出版物は、いつも正しいことを書いているように見えるが、その特定のジャーナリストや出版物が、たまたまコメンテーターがよく知っている記事を出したときは例外だ」というコメントを耳にすることがある。本書で取り上げた多くのトピックのうちの1つ、あるいはそれ以上に詳しい人が、必然的にいくつかの誤りを指摘し、私が事実を正しく理解していないから本書は信用できない、と主張することになる。なぜなら、これらの誤りは、この本の中で最も重大な誤りの原因であるとは思えないからだ。
もっと重要なのは、私が事実や概念を間違えたことではなく、正しいかもしれないものを使って私が行ったゲームから生じる歪みである。私はおそらく、自分の主張を後押しするように、事実や概念を紡ぎ、省略し、誇張し、操作し、巧みに選択してきたことだろう。それは、私が偏見に満ちているからだ。本書のタイトルを考えると、専門家が期待通りの素晴らしい仕事をし、彼らがアドバイスを開発し提示するシステムが非常にうまく機能していることを「発見」しても、私には何の意味もなかっただろう。私は、それよりもはるかに多くのことがあると確信し、それを見つけるために旅に出たのである。そして、どうだろう。私は、どうしても見つけたかった証拠を見つけたのである。だからといって、私の論文が間違っているとか、証拠が実在しないとか、圧倒的に強固で豊富であるとか、そういうことを言うつもりはない。しかし、もし私の論文が間違っていて、証拠が弱く乏しかったとしたら、私は(あなたの知る限り)自分の主張を強く見せるために必要なことは何でもしたかもしれない。
念のために言っておくが、もし私が本物を発見していなければ、あのような曲がった話はしなかったと思うし、さらに重要なのは、する必要がなかったということだ。一方、この本と私のメモを、無理のない範囲で批判的な目で見直すと、自分の主張をより鋭く、よりきれいに見せるために、少なくとも早業であちこちに手を入れていることに気づかされる。例えば、科学者についての章で引用した結果とは対照的に、企業からの資金提供を受けても医学研究が有利な結果に偏らないことを示唆する2つの知見をノートに書き留めたのである。それでも私は、企業の資金提供による腐敗の影響を支持する証拠が圧倒的に多いと主張するが、その証拠が一致しないことについては、何か言っておくべきだったかもしれない。もちろん、今すぐ戻ってそのような行を挿入することもできるし、それがどのような目的に役立つかもしれないが、私は、このゲームがどのように行われるかを示す方が有益だと思う。このようなことは、この本全体で私が行っていると考えるべきで、おそらく、これらの小さな例から想像されるよりもはるかに誤解を招く方法で、そしておそらく私自身が思っているよりもはるかに大きな範囲で行っているのだろう。私を裏付けるような研究を好むように、私は自分のケースに最も有利なインタビューの引用を、問題になりそうなものよりも好んで引用し、自分の先入観を支持するようなインタビュー対象者を追いかけていたかもしれないね。しかし、偏見は偏見である。ジョージ・バーナード・ショーとは異なり、私は常に間違っていることに気づいた。しかも、自分が最も自信を持っていたときに、しばしば間違っていたのである。その結果、この本を通して、私は皆さんを誤解させてしまったと確信している。私はソローの助言に従って、膝が弱いからということにしておく。
仮に、私が神話に登場するような、重大なミスをほとんど犯さず、バイアスを完全に抑えた、品行方正なジャーナリストであるという説得力のある証拠を提示できたとしても、私の立場は揺るがないだろう。というのも、本書では、信憑性の高い大衆の専門家とその研究に大きく依存し、信憑性の高い大衆の専門家とその研究が一般的にそれほど信頼できないことを示すために、嘘つきのパラドックスに類するものが漂っているように思われるからだ。専門家や研究はしばしば間違っているという主張があるのなら、なぜ、その主張を裏付ける専門家やその研究結果を受け入れるべきなのだろうか。
私の主張を裏付けるために引用した専門家や研究結果が高い信頼性を持っていると仮定しては絶対にいけない。これらの専門家や研究は、一般的な専門家や研究を悩ませるのと同じように、偏りや間違いがあることは間違いない。その証拠に、そうであることを示す証拠がある。小さな例である: 私はマクマスター大学のP.J.デヴローという心臓病学者で生物統計学の研究者の話を2回引用したが、研究者が研究のためのデータを集めるときにしばしばトラブルに見舞われることがある。しかし 2002年にデヴローが、営利目的の透析企業が非営利の透析企業より劣った医療を提供しているとする研究結果を発表し、大きく取り上げられたとき、彼自身、その結果を出すために、時代遅れで非常に選択的なデータを偏った方法で使用したと非難された。(反論の多くは、たまたま透析業界やそれに関係する人たちからのものだったが、だからといって簡単に否定されるわけではない)。そして実際、私が専門家が直面する問題の証拠として大きく取り上げた研究の多くについて、妥当と思われる反論や、ある種の制限を述べたものを見つけることができた。研究者や研究者の批判が飛び出すのは、どのコミュニティにもあることで、これらの研究に問題があることを証明するものではないが、彼らが強調しようとしている問題から必ずしも免れるものではないことを示唆している。
正直なところ、この本で私が伝えたことがあまりに少なく、このようなことが大きな驚きとなるのであれば、それは憂慮すべきことである。しかし、この作品が陥りそうな罠のいくつかを明かした上で、なぜ私が、この取り組み全体が矛盾と中途半端な真実の塊に過ぎず、結局は専門家の誤りについて首尾一貫して何も語らず、信じられるものではないと考えるのか、説明させてほしい。
まず第一に、私の誤りや偏見がどうであれ、それがこの本の主張を台無しにするほどの大きさであると指摘するのは、私には無理があるように思われる。もし私がそれほど杜撰で操作的なジャーナリストであれば、ググればすぐにわかるような苦情の痕跡を残しているはずで、私が完全なハッカーであることを示唆するものが多いかどうかは、読者に確認してもらうとして、私はそのようなことはしない。もしあなたが、私にささやかな能力と誠実さを認めてくれるなら、私が最も取り組むべきは、専門家や研究の問題点を明らかにするために、私が専門家や研究に依存している問題である。
この本の中心的な主張は、「嘘つきのパラドックス」に陥っているのだろうか?実は、そうではない。ひとつには、私はすべての専門家が常に間違っているとは主張していないことである。(技術的な余談だが、そのような極端な主張をしても、真のパラドックスにはならないし、単に証明可能な事実と異なることを述べているだけだ) 専門家の間違いについて私が最も強く主張するのは、ほとんどの専門家が通常間違っていると疑う理由があるということであり、ほとんどの場合、私は専門家の発表がかなりの割合で間違っていることだけを主張している。私は、少なくとも一部の専門家は、少なくともある時期には正しいということを、終始はっきりと述べていた。私の主張が支持されるためには、私が根拠とする専門家や研究の多くが、その一部が間違っている可能性を上回る程度に、多かれ少なかれ正しいということが、もっともらしいということであればいいのである。言い方を変えれば、本書は、批判する専門家よりも引用する専門家の方が正しい率がある程度高ければ、自己否定から抜け出せるということである。
「私の」専門家や研究が、他の専門家や研究よりも不正や偏りや間違いが少ないと主張する根拠は何だろうか。私たちが知る限り、専門知識を研究する専門家は、他の専門家よりも結果をゲーム化することに長けていて、その知識を有効に活用している。しかし、一般的に、他の専門家の失敗を研究している専門家は、そのようなトラブルを避けるために、より良い設備を備え、より高いモチベーションを持っていると示唆することは不合理ではないと思うのだが、いかがだろうか?また、メタ専門家が指摘し、彼らの研究によって浮き彫りにされた問題が実在することを示す証拠が、非常に多く集まっているように思う。何十年も、場合によっては何世紀も、さまざまな角度からこの問題に取り組んできたメタ専門家たちが、同じ問題がさまざまな分野で、さまざまな形で何度も繰り返し現れることを明らかにし、これらの問題が存在しないことを示唆する証拠は比較的少なかったと思う。メタ専門家の主張と研究が、私たちが掲げることのできるあらゆる物差しでチェックされるようであれば、確かに専門家は間違いに対して多くの問題を抱えているようだが、メタ専門家は他のほとんどのタイプの専門家よりもうまくやっているようだと言うことは、まったく合理的である。
もちろん、私はそれが真実であることを証明したわけではなく、単に不合理な提案ではないことを納得させるために手を振っただけだ。この時点で私ができることは、この本を通して私が主張してきたことを皆さんに紹介することである。結局、私は、考えるに値するいくつかの問題を提起したに過ぎないのかもしれない。あるいは、グラッドウェルが言うように、私は全体像のほんの一端を明らかにすることに長けていて、幸運だったのかもしれない。もちろん、他の人が私の主張の欠点を指摘し、反論をすることもあるだろうし、結局はいつも通り、相反する結論になるのだろう。しかし、専門家がこの問題をめぐって論争を繰り広げ、どちらの側も鉄壁の証拠を提示できないからといって、あなたが判断できないわけではなく、少なくとも暫定的な結論を出すことができる。証拠に目を通し、それぞれの主張が持つ支持の質と幅を測り、主張者が持つであろうバイアスを考慮し、それぞれの側が認めるか認めないかの資格と限界を検討し、最善の決断を下す。どんな専門家も、これ以上のことはできないのである。
私は、このような批判の例を少なくとも1つ額に入れてオフィスの壁に貼り、子供たちに注意を促すようにすることを楽しみにしている。
小さな例: 、fMRIによる「脳スキャン」研究の信頼性に言及したことがあるが、だからといって、本書の他のカ所で、私が主張したいことを裏付けるためにfMRIの研究結果を淡々と引用することを止められなかった。
著者について
David H. Freedman 科学・ビジネスジャーナリスト。Inc.誌の寄稿編集者であり、The Atlantic、Newsweek、New York Times、Science、Harvard Business Review、Fast Company、Wired、Self、その他多くの出版物に寄稿している。日常生活、ビジネス、科学における無秩序の有用な役割について書かれた『A Perfect Mess』の共著者であり、米海兵隊、コンピュータ犯罪、人工知能に関する本の著者でもある。ボストン近郊に在住。