Superforecasting
目次
- 著作権について
- 献辞
- コンテンツ
- 1. 楽観的な懐疑主義者
- 2. 知の錯覚
- 3. キープスコア
- 4. 超予測者
- 5. スーパースマート?
- 6. スーパークォーツ?
- 7. スーパーニュースジャンキー?
- 8. 永久β(パーペチュアル・ベータ
- 9. スーパーチーム
- 10. リーダーのジレンマ
- 11. 彼らは本当にスーパーなのか?
- 12. 次は何だ?
- エピローグ
- 招待状
- 付録超予測者を目指す人のための十戒
- 謝辞
- 注意事項
- 著者について
超予測
「超予測は、あなたをより賢く、より賢明にしてくれる稀有な本である。行動科学の巨人の一人が、未来を予測する力を高める方法を明らかにする」
– ADAM GRANT(アダム・グラント
ニューヨークタイムズのベストセラー「Give and Take」著者
「優れた判断力と優れた予測はまれなものだが、それらは教えられるスキルでできていることが判明した。テトロックは予想屋に競争を強いることで、そのスキルが何であり、どのように機能するかを発見した」本書は、興味を持つ読者なら誰でもその能力を教えられる。
– スチュワート・ブランド
ロング・ナウ・ファウンデーション代表
フィリップ・テトロックは、選挙や戦争、経済破綻などを予測する専門家のほとんどが「ダーツを投げるサル」以下であることを実証したことで有名である。テトロックは、この素晴らしい新著で、彼自身のブレイクスルー研究に基づいて、より希望に満ちたメッセージを提示している。そして、この「超予測者」の批判的思考を見習えば、私たちにもできるかもしれないのである。自己啓発というジャンルは、これ以上スマートで洗練されたものはない」
– ジョン・ホーガン
スティーブンス工科大学サイエンス・ライティングズ・センター所長
「超予測は、学術的でありながら魅力的な稀有な本である。その教訓は、科学的で説得力があり、非常に実用的である。予測ビジネスに携わる人、つまり私たち全員が、今やっていることを中断して、この本を読むべきだ」
– マイケル・J・モーブッサン(MICHAEL J.
クレディ・スイスグローバル金融戦略部長
「フィル・テトロックほど尊敬する社会科学者はいない」
– TIM HARFORD(ティム・ハーフォード)、
著書に「The Undercover Economist(アンダーカバーエコノミスト)」がある。
「デルフォイの神託から中世の占星術師、現代の自信過剰な専門家に至るまで、予測者は欺かれているか詐欺師であった。超予測は、初めて、未来について正直で信頼できる、効果的で有用な判断を下す秘訣を明らかにした」
– AARON BROWN、
AQRキャピタル・マネジメント社チーフ・リスク・オフィサー、『ウォール街のポーカーフェイス』著者
ソクラテスは「汝自身を知れ」と洞察し、カーネマンは「Thinking, Fast and Slow」で科学を伝え、そして今、テトロックは「Superforecasting」で私たち全員が適用できるものを手に入れた。
– フアン・ルイス・ペレス
UBSグループリサーチグローバルヘッド
第1章 楽観的な懐疑主義者
私たちは皆、予想屋である。転職、結婚、住宅購入、投資、製品発売、退職などを考えるとき、私たちは未来がどう展開するかを予想して決めている。この予想が「予報」である。多くの場合、私たちは自分自身で予測を立てている。しかし、市場が暴落し、戦争が起こり、リーダーが震え上がるような大きな出来事が起こったとき、私たちは専門家に頼ることになる。トム・フリードマンのような人物を頼りにする。
もしあなたがホワイトハウスのスタッフなら、大統領執務室で大統領と中東について話している彼を見かけるかもしれない。ファウチュン500のCEOなら、ダボス会議のラウンジで、ヘッジファンドの億万長者やサウジアラビアの王子と談笑しているかもしれない。ホワイトハウスやスイスの高級ホテルに行かなくても、彼のニューヨーク・タイムズ紙のコラムやベストセラー本を読めば、今何が起きているのか、なぜ起きているのか、そして次に何が起きるのかを知ることができる。
トム・フリードマンのように、ビル・フラックは世界的な出来事を予測する。しかし、彼の洞察力に対する需要はそれほど多くはない。
ビルは長年、アリゾナ州の米国農務省に勤務していたが、現在はネブラスカ州カーニーに住んでいる。ビルは生粋のコーンハスカーである。ネブラスカ州マディソンで育ち、両親がマディソン・スター・メール紙を発行する農家町である。高校時代は成績優秀で、ネブラスカ大学で理学士号を取得した。そこからアリゾナ大学へ。数学の博士号を目指していたが、自分の能力を超えていることに気づき、「自分の限界を鼻でこすられた」と言い、中退した。しかし、それは無駄な時間ではなかった。アリゾナは鳥を見るには絶好の場所なので、科学者たちのためにアルバイトでフィールドワークをし、その後、農務省に就職してしばらくはそのままだった。
ビルは55歳で引退しているが、もし仕事の依頼があれば検討すると言っている。だから、自由な時間がある。そして、そのうちのいくつかを予測に費やしている。
ビルは、「今後3カ月以内にロシアがウクライナの領土を追加で公式に編入するか」「今後1年間にユーロ圏から撤退する国はあるか」など、およそ300の質問に答えてきた。これらは重要な質問。そして、難しい問題である。企業、銀行、大使館、諜報機関は、常にこのような質問に答えるのに苦労している。「北朝鮮は年内に核兵器を爆発させるだろうか?「今後8カ月の間に、エボラウイルスの感染者が報告される国はあと何カ国か?」 「今後2年以内にインドやブラジルが国連安全保障理事会の常任理事国になるだろうか?」 中には、少なくとも私たちの多くにとって、まさに曖昧な質問もある。「NATOは今後9カ月以内に、新たな国々を加盟行動計画(MAP)に招待するだろうか?」 「クルディスタン地域政府は今年、国家独立を問う住民投票を実施するだろうか?」 「今後2年間に中国以外の通信会社が上海自由貿易区でインターネットサービスを提供する契約を獲得した場合、中国国民はFacebookやTwitterにアクセスできるようになるのか?」 ビルが初めてこれらの質問を目にしたとき、どう答えていいのかわからないかもしれない。「上海自由貿易区ってなんだ?」しかし、彼は宿題をする。事実を集め、ぶつかり合う議論のバランスをとり、答えを導き出す。
ビル・フラックの予測で判断する人はいないし、ビルにCNNで自分の考えを話してもらうこともない。ダボス会議に招かれ、トム・フリードマンと一緒にパネルに座ったこともない。そして、それは残念なことである。なぜなら、ビル・フラックは卓越したフォーキャスターだからだ。なぜなら、ビル・フラックの予測は、その一つひとつが、日付と記録と、独立した科学的観察者による正確さの評価を受けているからだ。彼の実績は素晴らしいものである。
ビルは一人ではない。同じ質問に答えている人が何千人もいる。すべてボランティアである。大半はビルほどではないが、2%ほどはそうだ。エンジニア、弁護士、芸術家、科学者、ウォール街の人、メインストリートの人、大学教授、学生など、さまざまな人がいる。数学者、映画監督、引退した人たちなど、あまり使われていない才能を分かち合おうとしている人たちにも会うことができる。私が彼らを超予測者と呼ぶのは、それが彼らの正体だからだ。信頼できる証拠がそれを証明している。本書では、彼らがなぜそんなに優れているのか、そして、どうすれば他の人が彼らのようにできるようになるのかを説明することが私の目標である。
知名度の低い超予測者が、トム・フリードマンのような頭脳派の有名人と比べてどうなのかは興味深い問題だが、フリードマンの予測の精度が厳密に検証されたことがないため、答えられないのだ。もちろん、フリードマンのファンや評論家は、「彼はアラブの春を的中させた」「2003年のイラク侵攻を失敗させた」「NATOの拡張を予見していた」など、一方的な意見を持っている。しかし、トム・フリードマンの実績には確たる事実がなく、ただひたすら意見に意見を重ねるだけである2。そして、それはいつものことである。毎日、ニュースメディアは、予測を行った予測者の実力がどの程度のものなのかを報道することも、尋ねることもなく、予測を伝えている。毎日、企業や政府は、予見的だろうか無価値だろうか、あるいはその中間だろうかのような予測にお金を払っている。そして毎日、国のリーダー、企業経営者、投資家、有権者など、私たち全員が、品質が不明な予測に基づいて重要な決断を下している。野球のマネージャーは、成績の統計を見ずに、選手を雇うために小切手を出すことはないだろう。ファンだって、スコアボードやテレビで選手の成績を見ることを期待している。しかし、野球の試合よりもはるかに重要な決断を下すのに役立つ予測者については、私たちは無知であることに満足しているのだ3。
そう考えると、ビル・フラックの予想に頼ることは非常に合理的であるように思える。なぜなら、予測は「持っているか、持っていないか」という才能ではないことがわかったからだ。なぜなら、予測は「持っているか持っていないか」ではなく、「育てることができる」スキルだからだ。本書は、その方法を教えてくれる。
チンパンジーの話
平均的な専門家は、ダーツを投げるチンパンジーとほぼ同じ精度だったということである。
このジョークを聞いたことがある人は多いだろう。有名な話だが、一部では悪名高い話である。ニューヨーク・タイムズ、ウォール・ストリート・ジャーナル、フィナンシャル・タイムズ、エコノミストなど、世界中の新聞に掲載されたことがある。その内容は次のようなものである: ある研究者が、学者や評論家などの専門家を集め、経済、株式、選挙、戦争など、その時々の問題について何千もの予測を立てた。時間が経ち、研究者が予測の精度をチェックしたところ、平均的な専門家は、ランダムに推測するのと同じ程度の精度を示した。しかし、「当てずっぽう」は面白くないので、それはオチではない。オチは、ダーツを投げるチンパンジーの話である。チンパンジーは面白いから。
私はその研究者だが、しばらくの間、その冗談は気にならなかった。私の研究は、科学文献の中で最も包括的な専門家判断の評価だった。1984年から2004年までの約20年間という長丁場だったが、その結果は、オチが示唆するよりもはるかに豊かで建設的だった。しかし、私の研究の認知度を高めることができたので、このジョークは気にならなかった(そう、科学者も15分間の名声を味わうものなのである)。それに、私自身も「ダーツを投げるチンパンジー」という古い比喩を使っていたので、あまり大きな声で文句は言えなかった。
また、このジョークが正しい指摘をしているので、気にならなかった。どんな新聞を開いても、どんなテレビのニュース番組を見ても、これから起こることを予測する専門家がいる。ある人は慎重である。しかし、大胆で自信に満ちた人もいる。一握りの人は、何十年も先の未来を見通すことができるオリンピック選手のような先見の明があると主張する。例外を除いて、彼らがカメラの前にいるのは、予測に関する確かな技術を持っているからではない。精度の高さについては、ほとんど言及されない。古い予測は古いニュースのようにすぐに忘れ去られ、評論家が自分の言ったことと実際に起こったことの整合性を問われることはほとんどない。評論家にある否定できない才能は、説得力のある話を信念を持って語る技術であり、それで十分である。多くの人は、企業幹部や政府関係者、そして効能や安全性が不明な薬を飲み込もうとは思わないが、荷馬車の荷台から売られている万能薬のように怪しげな予測に日常的にお金を払う一般人に対して、検証されていない価値を持つ予測を売り込んで裕福になっている。このような人たちやその顧客は、肋骨を刺激されるに値する。私は、自分の研究がそのような人たちの後押しになることをうれしく思っていた。
しかし、私の研究が広まるにつれて、その意味するところが変化していることに気づいた。私の研究が示したのは、私が提起した政治や経済の問題の多くについて、平均的な専門家は推測に過ぎないということだったのである。「多くの」というのは、すべてという意味ではない。1年先まで予測する必要がある最も短い範囲の質問では、偶然に勝つのが最も簡単で、専門家が予測しようとすればするほど精度は落ち、3~5年先にはダーツを投げるチンパンジーのレベルにまで達していた。これは重要な発見だった。複雑な世界における専門知識の限界、そして超予測者でも達成できるかもしれない限界について、私たちに教えてくれる。しかし、子供の遊びである「電話」のように、あるフレーズがある子供にささやかれ、それを別の子供が受け継ぎ、最後にそのフレーズがどれだけ変化しているかを発見してショックを受けるというもので、実際のメッセージは常に繰り返されることで文字化けし、微妙なニュアンスはまったく失われてしまった。メッセージは「専門家の予測はすべて役に立たない」というナンセンスなものになった。さらに、「専門家はチンパンジー以上のことは知らない」というような、もっとくだけた表現もある。私の研究は、未来を本質的に予測できないと考えるニヒリストや、「expert」の前に「sorowed」をつける無知なポピュリストにとって、後ろ盾となる参考資料になっていたのである。
だから、私はこのジョークに飽きた。私の研究は、このような極端な結論を支持するものではなかったし、親近感を抱くこともなかった。今となっては、それが真実であることがよくわかる。
専門家とその予測を支持する人たちと、否定する人たちの間には、合理的な立場を取る余地がたくさんある。一方、論客の言い分にも一理ある。予測市場には、疑わしい洞察力を売り物にする怪しげな人々がいる。また、先見性には限界があり、それを超えることはできないかもしれない。未来に手を伸ばしたいという願望は、常に私たちの理解を超えている。しかし、すべての予測を愚の骨頂と断じるのは、論者として行き過ぎである。私は、少なくとも状況や程度によっては、未来を見通すことは可能であり、知的でオープンマインドで努力家であれば、必要なスキルを身につけることができると信じている。
私は 「楽観的懐疑論者」と呼ばれている。
THE SKEPTIC(懐疑的)
この「懐疑的」というレッテルの半分を理解するために、チュニジアの町シディ・ブジドの市場へ向かう埃っぽい道を、野菜や果物を積んだ木製の手押し車を押すチュニジア人の若者を考えてみよう。彼は3歳のときに父親を亡くした。手押し車に積んだ野菜や果物を売れば、借金を返せるし、少しはお金になると思っている。毎日、同じことの繰り返しである。しかし、今朝、警察が彼に近づき、ある規則に違反したから秤を取り上げると言う。彼はそれが嘘であることを知っている。でも、お金がない。しかし、彼はお金を持っていない。婦警は彼を平手打ちし、彼の死んだ父親を侮辱した。秤と荷車を奪われる。男は役所に文句を言いに行く。しかし、その役人は会議で忙しいと言われた。屈辱と怒り、無力感にさいなまれ、男はその場を去った。
彼は燃料を持って戻ってきた。そして、役所の前で燃料をくべ、マッチに火をつけ、燃やす。
この話の結末だけが異常である。チュニジアをはじめ、アラブ諸国には数え切れないほどの貧しい露天商がいる。警察の汚職がはびこり、この男が受けたような屈辱は日常茶飯事である。警察と被害者を除けば、誰も気にしない。
しかし、2010年12月17日、この屈辱は、26歳のモハメド・ブアジジに火をつけさせ、ブアジジの自爆は抗議活動を引き起こした。警察は典型的な残虐行為で対応した。抗議は拡大した。チュニジアの独裁者ジネ・エル・アビディン・ベンアリ大統領は、国民を安心させるために、ブアジジの入院を見舞った。
2011年1月4日、ブアジジは死亡した。騒乱は拡大した。1月14日、ベン・アリはサウジアラビアに亡命し、23年間の独裁政治に終止符を打った。
アラブ諸国は唖然として見守った。その後、エジプト、リビア、シリア、ヨルダン、クウェート、バーレーンで抗議デモが発生した。30年間権力の座にあったエジプトの独裁者ホスニ・ムバラクは、その座から追われた。そして、各地で抗議運動が反乱に、反乱が内戦に発展した。これは「アラブの春」であり、一人の貧しい男が、他の無数の人々と同じように、警察から嫌がらせを受けたことから始まった。
私がここで行ったように、モハメド・ブアジジと彼の孤独な抗議行動から生まれたすべての出来事とを結びつけて、後方から見て物語の弧を描くのは一つの方法である。トム・フリードマンは、多くのエリート評論家と同様、この種の再構築に長けている。特に中東は、ニューヨークタイムズのレバノン特派員としてジャーナリズムに名を残した彼がよく知るところである。しかし、トム・フリードマンでさえ、もし運命の朝に居合わせたとしたら、自爆テロや騒乱、チュニジアの独裁者倒壊、そしてその後に起こるすべてのことを未来から予見できただろうか?もちろん、そんなことはない。誰もできなかった。フリードマンは、この地域のことをよく知っていたから、貧困と失業率が高く、絶望的な若者の数が増えていること、汚職が横行し、弾圧が執拗であること、したがってチュニジアや他のアラブ諸国は爆発を待つ火薬庫だと考えたのだろう。しかし、観察者は、一昨年もまったく同じ結論を導き出すことができた。そして、その前の年も。実際、チュニジアやエジプト、その他いくつかの国について、何十年にもわたってそう言うことができただろう。しかし、2010年12月17日、警察が一人の貧しい男を追い詰めるまでは、火薬庫であっても爆発することはなかった。
1972年、アメリカの気象学者エドワード・ローレンツは、驚くべきタイトルの論文を書いた: 「予測可能性: ブラジルの蝶の羽ばたきはテキサスで竜巻を起こすか? その10年前、ローレンツは、気象パターンのコンピュータシミュレーションにおいて、0.506127を0.506に置き換えるような小さなデータ入力の違いが、長期予報を劇的に変化させることを偶然に発見した。大気のような非線形系では、初期条件のわずかな変化でも巨大化することがある。ブラジルの蝶が一匹羽ばたいただけで、テキサスで竜巻が発生する可能性がある。もちろん、ローレンツは、私がワイングラスをハンマーで叩くと割れてしまうのと同じように、蝶が竜巻を「引き起こす」という意味で言ったのではない。もし、あの時、あの蝶が羽ばたかなかったら、大気の作用と反応の底知れぬ複雑なネットワークは違った動きをし、竜巻は発生しなかったかもしれないということだ。もし、2010年の朝、警察がモハメド・ブアジジに野菜や果物を売らせていたら、アラブの春は起こらなかっただろう。
何世紀もの間、科学者たちは、知識が増えれば増えるほど予測可能性が高まるに違いないと考えていた。なぜなら、現実は時計のようなもので、非常に大きく複雑な時計だが、それでも時計である。1814年、フランスの数学者であり天文学者であったピエール=シモン・ラプラスは、この夢を論理的に極めることに成功した:
宇宙の現在の状態は、過去の結果であり、未来の原因であると考えることができる。ある瞬間に、自然を動かすすべての力と、自然を構成するすべてのものの位置を知ることができる知性は、もしこの知性がこれらのデータを分析にかけることができるほど広大であったなら、宇宙の最も大きな体の動きと最も小さな原子の動きを一つの式に包含するだろう。このような知性にとって、不確かなものはなく、過去と同様に未来がその目の前に存在していることになるだろう。
ラプラスはこの想像上の存在を「悪魔」と呼んだ。ラプラスは、この想像上の存在を「悪魔」と呼んだ。それは全知全能である5。
ローレンツはその夢に冷たい雨水を浴びせた。時計がラプラスの完璧な予測可能性を象徴しているとすれば、その反対はローレンツの雲である。高校の理科では、雲は水蒸気が塵の粒にまとわりつくことで発生すると教えられる。しかし、その雲の形は、水滴同士の複雑な相互作用に依存している。このような相互作用を把握するために、コンピューターモデラーは、データ収集におけるバタフライエフェクトのような小さな誤差に非常に敏感な方程式を必要とする。なので、たとえ雲の形がわかるようになったとしても、特定の雲がどのような形になるかを予測することはできない。ただ、待つしかないのだ。歴史的な皮肉なことに、現在の科学者は、100年前の科学者よりもはるかに多くのことを知り、はるかに多くのデータ収集能力を持ちながら、完全な予測可能性についてはあまり自信を持っていない。
これが、私の「楽観的懐疑論者」の「懐疑論者」としてのスタンスの大きな理由である。私たちは、ほとんど無力な一人の人間の行動が、世界中に波及し、程度の差こそあれ、私たち全員に影響を及ぼす世界に住んでいる。カンザスシティの郊外に住む女性は、チュニジアは別の惑星で、自分の人生とは無関係だと思っているかもしれない。しかし、もし彼女が近くのホワイトマン空軍基地から飛び立つ空軍のナビゲーターと結婚していたら、ある無名のチュニジア人の行動が抗議行動につながったことを知り、驚くだろう、それが暴動につながり、独裁者の転覆につながり、リビアでの抗議行動につながり、内戦につながり、2012年のNATO介入につながり、彼女の夫がトリポリ上空で対空砲火をかわすことにつながった。これは簡単にたどれるつながりである。しかし、ガソリンスタンドで支払う料金や、通り沿いのレイオフなど、私たちの身の回りには、そのようなつながりがある。ブラジルの蝶が、テキサスの晴れた日と町を襲う竜巻の違いを生むような世界では、誰もが遠い未来を見通すことができると考えるのは見当違いです6。
オプティミスト
しかし、予測可能性の限界を認識することと、すべての予測を無益な行為と見なすことは全く別のことである
カンザスシティ郊外に住むある女性の1日を顕微鏡で見てみよう。朝6時半、彼女は書類をブリーフケースに入れ、車に乗っていつもの通勤経路を走り、ダウンタウンに車を停める。カンザスシティ生命保険会社のギリシャ風のオフィスビルに入り、平日の朝はいつも通り、ライオンの像の前を通り過ぎる。デスクでしばらく表計算をし、10:30から電話会議に参加、アマゾンのウェブサイトを数分見て、11:50までEメールに返信する。その後、妹とランチをするために小さなイタリアンレストランに歩いて行く。
財布の中の宝くじや、夫がリビア上空を飛行することになった「アラブの春」、聞いたこともない国のクーデターでガソリン代が1ガロン5セント上がったことなど、この女性の人生は多くの予測不可能な要素に影響されているが、それと同じかそれ以上に予測できることもある。なぜ6時半に家を出たのか。ラッシュアワーに巻き込まれたくなかったからだ。ラッシュアワーは予測可能な時間帯なので、ほぼ間違いなくその通りだった。信号が赤なら交差点で止まり、車線を守り、合図をしてから曲がる。10時30分の電話会議に参加すると言っていた人たちは、必ず参加すると思っていた。姉が正午にレストランで会う約束をしたのは、そのレストランの営業時間が掲示されていたからだ。
私たちはこのようなありふれた予測を日常的にしているが、同じように日常的に私たちの人生を左右する予測をする人がいる。その女性がコンピュータの電源を入れたとき、他の働き蜂と同じようにカンザスシティの電力消費を少し増加させ、集合的に需要急増を引き起こした。しかし、電力会社はこのような需要急増を予測し、それに応じて出力を変化させるため、問題は生じなかった。また、女性がアマゾンにアクセスすると、過去の購入履歴や閲覧履歴から、その女性が好むと思われる商品がハイライト表示される。グーグルは、検索結果をパーソナライズするために、ユーザーが最も興味を持つと思われるものを上位に表示させるが、あまりにスムーズに作動するため、私たちはほとんど気づかない。しかし、あまりにスムーズに作動するため、私たちはほとんど気づかない。カンザスシティ生命保険会社は、障害や死亡を予測するビジネスを展開しており、それは良い仕事である。私がいつ死ぬかを正確に知っているわけではないが、私のような年齢、性別、収入、ライフスタイルの人があとどれくらい生きられるかについては、よく分かっている。カンザスシティ生命は1895年に設立された。もし、アクチュアリーたちが優秀な予測者でなかったら、とっくに倒産していただろう。
私たちの現実の多くは、このように予測可能であり、あるいはそれ以上である。ミズーリ州カンザスシティの明日の日の出と日の入りの時刻をググったら、分単位で出てきた。明日でも明後日でも、50年後でも、その予測は信頼できるものである。潮の満ち引きや日食、月の満ち欠けも同じだ。すべて時計のような科学法則から、ラプラスの予測の悪魔を満足させるだけの精度で予測することができる。
もちろん、これらの予測可能性のポケットは、突然に破られることもある。例えば、美味しいレストランは、開店と同時に開店する可能性が高いが、店長の遅刻、火事、倒産、パンデミック、核戦争、物理学の実験による太陽系を吸い込むブラックホール発生など、さまざまな理由で開店しない可能性がある。他のものについても同じことが言える。50年後の日の出と日の入りの予想だって、50年後のある日、巨大な宇宙石が地球を太陽の周回軌道から外してしまえば、多少は外れるかもしれない。人生には確実なものはない。脳の中身をクラウドコンピューティングのネットワークにアップロードする技術の発明や、国家が慈善寄付で賄えるほど公共心が高く豊かな未来社会の出現にゼロではない確率を割り当てれば、死と税金でさえも。
では、現実は時計のようなものなのか、雲のようなものなのか。未来は予測可能なのか、そうでないのか。これは、私たちが最初に遭遇する、誤った二項対立である。私たちは、時計と雲、そしてその他のメタファーが混在する世界に住んでいる。私たちの身体、社会、そして宇宙を構成する複雑に絡み合ったシステムの中で、予測不可能性と予測可能性は不穏に共存している。予測可能かどうかは、何を予測するのか、どのくらい先のことを予測するのか、どんな状況で予測するのかによって決まる。
エドワード・ローレンツの分野を見てほしい。天気予報は、数日先までなら、たいていの条件下でかなり信頼できるが、3日先、4日先、5日先となると、だんだん正確でなくなる。1週間を超えると、ダーツを投げるチンパンジーに相談したほうがいいくらいだ。つまり、天気は予測できるかできないかではなく、ある状況下ではある程度予測できるということであり、それ以上の精度を求める場合には、非常に注意が必要である。時間と予測可能性の関係のように、一見単純なことでも、未来を見ようとすればするほど、見えにくくなるというのは一般的な事実である。しかし、この法則には例外もある。株の強気相場が長く続くと予想すれば、長年にわたって利益を得ることができるが、それが突然破滅的な結果をもたらすこともある。また、恐竜が食物連鎖の頂点に立ち続けるという予測は、何千万年もの間、安全な賭けだった。しかし、小惑星による大変動で、小さな哺乳類が生態系のニッチを広げ、やがて未来を予測しようとする種に進化した。物理法則はともかく、普遍的な定数は存在しないので、予測可能なものと予測できないものを分けるのは難しい作業である。しかし、それを回避する方法はない。
そのことを誰よりも知っているのは気象学者だ。だから、1日や2日の予報はよく当たるのに、8日の予報は当たらないということがある。気象予測者は、このような分析によって、気象の仕組みについての理解を深め、モデルを微調整することができる。そして、また試行錯誤を繰り返す。予測し、測定し、修正する。その繰り返しである。天気予報の精度が高く、徐々に良くなっているのは、このような漸進的な改善のプロセスがあるからだ。しかし、このような改善には限界があるかもしれない。なぜなら、天気は非線形性の教科書的な例だからだ。予測者が遠くを見ようとすればするほど、カオスが蝶の羽を羽ばたかせ、予想を吹き飛ばしてしまう可能性が高くなる。計算能力の飛躍的な向上や予測モデルの改良を続けることで、限界は少し先まで近づくかもしれないが、その進歩は徐々に難しくなり、見返りはゼロに向かって縮小していく。どこまで良くなるのか?それは誰にもわからない。しかし、現在の限界を知ることは、それだけで成功なのである。
他の多くの大きな賭け事では、予測者は暗闇の中で手探りをしている。短期、中期、長期のいずれにおいても、自分たちの予測がどの程度優れているのか、またどの程度優れた予測になり得るのか、まったくわからない。せいぜい、漠然とした予感があるくらいだ。それは、予測・測定・修正の手順が、中央銀行のマクロ経済学者や大企業のマーケティング・財務担当者、ネイト・シルバーのような世論調査アナリストの仕事のような、ハイテク予測の希薄な範囲内でしか機能しないからである7。精度は事後的に判断されることはほとんどなく、結論が導き出せるほどの規則性と厳密性をもって行われることはほとんどない。その理由は?予測の消費者である政府、企業、一般市民は、正確さの証拠を求めないからだ。つまり、測定が行われないのである。つまり、修正ができないのである。そして、修正がなければ、改善もできない。なぜなら、ランナーは基本的なルール(コース上にとどまる、号砲が鳴ったらレースを始める、決められた距離でレースを終えるなど)に同意したことがなく、独立したレース役員やタイムキーパーが結果を測定することもないからだ。この世界で、ランニングのタイムが向上する可能性はあるのだろうか?あまりないだろう。一流のランナーは、人間の肉体的な能力と同じだけの速さで走っているのだろうか?やはり、そうではないだろう。
ビル・ゲイツは、「人間の状態を改善するために、計測がいかに重要だろうかを痛感している」と書いている。「これは基本的なことに思えるかもしれないが、それがしばしば行われず、正しく行うのがいかに難しいかは驚くべきことである」8。明確な目標を設定するというシンプルな最初の一歩さえも、踏み出されていないのである。
予測のゴールは未来を正確に予測することだと思うかもしれないが、多くの場合、それはゴールではないし、少なくとも唯一のゴールでもない。予測は、時にエンターテイメントとして行われることもある。CNBCのジム・クレイマーが「ブーヤー!」と煽ったり、『McLaughlin Group』のホストであるジョン・マクラフーリンが、ある出来事の可能性を「0から10までのスケールで予測しなさい、0は可能性ゼロ、10は完全に形而上の確信だ!」とパネリストに唸らせるようなことを思いつく。例えば、活動家たちが「私たちがやり方を変えなければ、恐怖が迫ってくる」と警告するときに期待するように、政治的な意図を推進し、行動を喚起するために予測が使われることもある。銀行が有名な評論家にお金を払って、2050年の世界経済について富裕層の顧客に説明させるような、格好をつけるための予測もある。また、自分の信念が正しく、未来は予想通りに展開すると聴衆を安心させるための予測もある。党派的な人々は、こうした予測を好む。これは、温かいお風呂に入るのと同じようなものである。
このように、さまざまな目標が混在していることはあまり認識されていないため、測定や進歩に向けた取り組みを始めることさえ困難である。このような混乱した状況は、良くなっているようには見えない。
しかし、この停滞が、私が楽観的懐疑論者である大きな理由である。政治、経済、金融、ビジネス、テクノロジー、日常生活など、人々が予測したいと思うことの多くに、ある程度、状況によっては予測可能性が存在することは知っている。しかし、それ以外にもわからないことはたくさんある。科学者にとって、「わからない」ことはエキサイティングなことである。未知の部分が多ければ多いほど、発見するチャンスは大きくなる。多くの予測領域で、正直言って驚くほど厳密さが欠けているおかげで、このチャンスは非常に大きいのである。このチャンスをつかむために必要なことは、明確な目標(精度)を設定し、測定に真剣に取り組むことである。
私はキャリアの大半をこの方法で過ごしていた。ダーツを投げるチンパンジーの結果を出した研究は、第1段階だった。2011年夏、研究(そして人生の)パートナーであるバーバラ・メラーズと私は「Good Judgment Project」を立ち上げ、未来予測のボランティアを募った。ビル・フラックはそれに応えた。初年度は数千人、その後の4年間では数千人が参加した。ロシアでのデモが広がるか、金価格が急落するか、日経平均株価が9,500円を超えるか、朝鮮半島で戦争が起こるかなど、複雑で難しいグローバルな問題について、知的好奇心の強い2万人以上の一般人が試した。実験条件を変えることで、どの要素がどの程度、どのような時間軸で先見性を高めるのか、ベストプラクティスを重ねるとどの程度の予測になるのか、などを測定することができる。こうして並べてみると、簡単なことのように思える。しかし、そうではない。カリフォルニア大学バークレー校とペンシルベニア大学を拠点とする学際的なチームの才能と努力が結集された、厳しいプログラムだったのである。
GJPは、IARPA(Intelligence Advanced Research Projects Activity)が主催する、より大規模な研究活動の一部にすぎなかったが、その規模は大きかったのである。IARPAという名前に惑わされないでほしい。IARPAは、国家情報長官直属の諜報機関であり、アメリカの諜報活動をより優れたものにするための大胆な研究を支援するのがその仕事である。アメリカの諜報活動の大部分は、世界の政治や経済の動向を予測することである。ある概算では、米国には2万人の情報アナリストがおり、微細なパズルから、イスラエルのイラン核施設に対する奇襲攻撃の可能性やギリシャのユーロ圏離脱といった大きな出来事まで、あらゆることを評価している9。というのも、情報機関は、多くの主要な予測メーカーと同様、その解明には決してお金を使いたがらないからだ。その理由には様々なものがあり、中には立派なものもあるが、それについては後で説明することにしよう。重要なのは、この予測は国家安全保障にとって極めて重要であるにもかかわらず、それがどの程度優れているのか、あるいは2万人が働く数十億ドル規模の事業が行うべきものと同程度なのかについて、自信を持って語れるものがほとんどないということである。この状況を変えるために、IARPAは予測トーナメントを創設し、その分野のトップ研究者が率いる5つの科学チームが、情報分析官が毎日扱うような難問について正確な予測を作成することを競った。グッド・ジャッジメント・プロジェクトは、その5チームのうちの1つである。2011年9月から2015年6月までの間、毎日、東部標準時の午前9時に予測を提出することが義務付けられている。同じ時間に同じ問題を予想することを義務づけることで、このトーナメントは公平な競争の場を作り出し、何が、どのように、いつ、効果的だろうかについての豊富なデータの宝庫となった。IARPAは4年間にわたり、世界情勢に関する約500の質問を投げかけた。時間軸は以前の研究よりも短く、予測の大半は1カ月以上1年未満であった。その結果、100万件以上の未来予測が集まった。
1年目、GJPは公式のコントロールグループに60%の差をつけている。2年目には、78%もの差をつけた。また、ミシガン大学やマサチューセッツ工科大学など、大学に所属する競合他社にも30%から70%という圧倒的な差をつけており、機密データにアクセスできるプロの情報アナリストにも勝っている。2年後、GJPはアカデミックな競争相手よりはるかに良い結果を出していたため、IARPAは他のチームを脱退させた10。
詳細は後述するが、この研究から浮かび上がった2つの重要な結論を記しておこう。1つは、先見の明は実在するということである。ビル・フラックのように、先見の明がある人もいる。彼らは、何十年も先の未来を見通す力を持つ教祖でも神託でもないが、3カ月、6カ月、1年、1年半先の重大な出来事がどのように展開するかを判断する、実際に測定できる技術を持っている。もう一つの結論は、超予測者がなぜ優れているのか、ということである。それは、彼らが何者だろうかということではない。それは、彼らが何をしているかということである。先見の明は、生まれながらにして与えられた不思議な才能ではない。それは、特定の思考法、情報収集法、信念の更新の産物である。こうした思考習慣は、知的で思慮深く、決断力のある人なら誰でも学び、培うことができる。始めるのはそれほど難しいことではないかもしれない。特に驚いたのは、本書で取り上げる基本的な概念を網羅し、付録の「十戒」にまとめたチュートリアルの効果である。このチュートリアルは、読むのに60分ほどしかかからないのに、大会期間中、精度をおよそ10%向上させることができた。そう、10%というのは控えめに聞こえるかもしれないが、それはとても小さなコストで達成されたものなのである。そして、先見性のあるささやかな改善でも、時間をかけて維持することで積み重なることを決して忘れてはならない。私は、作家であり、ウォール街のベテランであり、1000億ドル以上の資産を持つヘッジファンド、AQRキャピタルマネジメントのチーフリスクマネージャーであるアーロン・ブラウンとそのことについて話をした。「しかし、もしそれが持続するならば、生計を立てている一貫した勝者か、常に破産している男かの違いだ」と彼は言った11。重鎮とアマチュアの違いは、重鎮は60/40ベットと40/60ベットの違いを知っていることだ、と彼女は言う。
それなのに、測定するだけで先見の明を高めることができ、先見の明を高めることで得られる報酬が大きいのに、なぜ測定が標準的な習慣になっていないのだろうか?その答えの大部分は、トム・フリードマンが正確な予知能力を持つかどうかなど、本当は知らないことを知っていると思い込ませる心理にある。この心理については、第2章で詳しく説明する。何世紀にもわたって、この心理は医学の進歩を妨げていた。しかし、ある治療法が有効かどうかを判断するのに、自分の経験や知覚が信頼できる手段ではないことを医師がようやく受け入れたとき、彼らは科学的なテストに目を向け、ようやく医学が急速に進歩し始めた。予測にも同じような革命が必要なのである。
しかし、それは簡単なことではない。第3章では、現代医学が治療法を検証するのと同じように、予測も厳格に検証するために何が必要かを検討する。これは、見た目よりも大きな挑戦である。1980年代後半、私はある方法論を確立し、当時としては史上最大規模の専門家による政治予測の精度テストを実施した。その結果、何年も経ってから発表されたあるオチは、今となっては私を憤慨させるものだった。それは、ある専門家のグループには、ささやかながら真の先見性があったということである。先見の明がある専門家と、平均値をダーツを投げるチンパンジーのレベルまで引き下げてしまうような絶望的な専門家との違いは何だったのだろうか。それは、神秘的な才能や、他の人が持っていない情報にアクセスすることではない。また、特定の信念があるわけでもない。実際、非常に幅広い見解の中で、彼らが何を考えているかは重要ではなかった。彼らがどう考えているかが重要なのである。
この洞察に触発され、IARPAは前代未聞の予測トーナメントを作り上げた。第4章では、その経緯と超予測者の発見を紹介する。なぜ、彼らはそんなに優秀なのだろう?その疑問は、第5章から第9章まで貫かれている。超予測者に会うと、その頭の良さに驚かされる。だから、その違いは知能にあるのではないかと思うかもしれない。しかし、そうではない。彼らは驚くほど数字に強い。ビル・フラックのように、多くの人が数学と科学の上級学位を取得しているのだ。では、その秘密は難解な数学なのだろうか?いいえ、数学者の仲間入りをした超予測者でさえ、あまり数学を使うことはない。また、彼らはニュースジャンキーであり、常に最新の情報を入手し、定期的に予測を更新する傾向があるため、彼らの成功は仕事に何時間も費やしているからだと考えたくなるかもしれない。しかし、それは間違いである。
超予測には、最低限の知性、計算能力、世の中の知識が必要だが、心理学の研究書をまじめに読んでいる人なら、その前提条件は満たしているだろう。では、予測を超予測に昇華させるものは何なのか?先の研究で、本当に先見の明があった専門家たちと同様に、最も重要なのは、予測者がどのように考えるかである。詳しくは後述するが、大まかに言えば、超予測では、オープンマインドで、慎重で、好奇心が強く、そして何よりも自己批判的な思考が求められる。また、集中力も必要である。優れた判断力を生み出す思考は、簡単にできるものではない。だからこそ、私たちの分析では、自己研鑽へのコミットメントがパフォーマンスの最強の予測因子であることが常に判明している。
最終章では、優れた判断力と効果的なリーダーシップの要求の間にある明らかな矛盾を解決し、私の研究に対する2つの強い挑戦と思われるものに応え、予測に関する本にふさわしく、次に来るものを考察して締めくくります。
予測についての予測
しかし、もしかしたらあなたは、これがすべて絶望的に時代遅れだと考えているかもしれない。何しろ私たちは、目もくらむほど高性能なコンピューター、理解不能なアルゴリズム、そしてビッグデータの時代に生きているのだろうから。私が研究している予測は、あくまでも主観的な判断であり、人が考え、判断するものである。このようなずさんな推測の時代は終わりを告げようとしているのではないだろうか?
1954年、優れた心理学者ポール・ミールは、小さな本を書いて大きな反響を呼んだ。12 その本は、情報通の専門家が、学生が大学で成功するか、仮釈放者が刑務所に戻されるかといった結果を予測しても、能力テストのスコアや過去の行動の記録といった客観的指標を積み上げた単純なアルゴリズムほど正確ではなかったという20の研究をレビューしている。ミールの主張は多くの専門家を動揺させたが、その後の研究(現在200以上の研究)で、ほとんどの場合、統計的アルゴリズムは主観的判断に勝り、そうでない場合は引き分けになることがわかった。アルゴリズムは、主観的な判断とは異なり、迅速かつ安価であることから、同点であればアルゴリズムを使用することを支持する。つまり、十分に検証された統計アルゴリズムがあれば、それを使えばよいということである。
この洞察は、主観的判断の支配を脅かすものではなかった。なぜなら、手元の問題に対して十分に検証されたアルゴリズムが存在することはほとんどないからだ。1954年当時も、そして現在でも、数学が昔ながらの思考を置き換えることは非現実的だったのである。
しかし、情報技術の目覚ましい進歩は、人類と機械との関係において、歴史的な不連続に近づいていることを示唆している。1997年、IBMのディープ・ブルーがチェスのチャンピオン、ガルリ・カスパロフを破った。今では、市販のチェスプログラムはどんな人間にも勝つことができる。2011年、IBMの「ワトソン」は、「ジョパディ!」のチャンピオンであるケン・ジェニングスとブラッド・ラッターに勝利した。これは、はるかに困難なコンピューティングの挑戦だったが、Watsonのエンジニアはそれを成し遂げた。今日、スーパーコンピューターが超予測者やスーパーポピュニットを打ち負かすような予測競技を想像することは、もはや不可能ではない。そうなった後も、人間の予測者は存在するだろうが、人間の「ジェパディ!」出場者のように、私たちは彼らを娯楽として見るだけだろう。
そこで、私はワトソンのチーフエンジニアであるデビッド・フェルッチに話を聞いた。ワトソンは、「過去10年間に仕事を交換した2人のロシア人指導者は?」というような現在や過去に関する質問には簡単に答えられると確信していた。しかし、私は、ワトソンやその子孫のデジタル技術者が、「今後10年間にロシアのトップリーダー2人が仕事を交換するだろうか?」といった質問に答えるのに、どれくらいの時間がかかるのか、彼の見解に興味があった。
1965年、数学者のハーバート・サイモンは、機械が「人間ができる仕事は何でもできる」ようになるまであと20年しかないと考えていた。このような素朴で楽観的なことを当時の人々は言っていたが、30年間人工知能の分野で仕事をしてきたフェルッチが、今日より慎重になった理由の1つはこれです13。コンピュータの進歩は目覚ましく、パターンを発見する能力は目覚ましく成長している。そして、機械学習は、学習プロセスの糧となる人間と機械の相互作用の急増と相まって、今後、はるかに根本的な進歩が期待できる。フェルッチは、「今はまだ底辺にいるような、指数関数的なカーブが続くだろう」と言う。
しかし、「どの2人のロシア人リーダーが仕事を交換したか?」と「2人のロシア人リーダーが再び仕事を交換するだろうか?」には、大きな違いがある。前者は歴史的事実である。前者は歴史的事実であり、コンピュータが調べることができる。後者は、プーチンの意図、メドベージェフの性格、ロシア政治の因果関係を推測し、その情報を統合して判断する必要がある。しかし、それは簡単なことではない。人間の脳は不思議なもので、その作業は途方もなく難しいからだ。コンピュータが飛躍的に進歩しても、超予測者が行うような予測は、まだまだ先の話だ。スミソニアン博物館に展示されている「主観的判断」と書かれたガラス張りの人間を見ることができるかどうか、フェルッチもわからない。
機械は「人間の意味を模倣する」ことに長けており、それによって人間の行動を予測することに長けているかもしれないが、「意味を模倣して反映することと、意味を創り出すことは違う」とフェルッチは言う。それは、人間の判断が常に占める空間である。
しかし、「フリースタイルチェス」のように、人間とコンピュータがチームを組んで対戦し、人間がコンピュータの長所を生かしつつ、時にはコンピュータを打ち負かすという組み合わせも増えていくだろう。その結果、人間にも機械にも勝つことができる(こともある)組み合わせが生まれる。人間対機械という二項対立の構図からすると、ギャリー・カスパロフとディープ・ブルーのような組み合わせは、純粋な人間や純粋な機械によるアプローチよりも、より強固であることが証明されるかもしれない。
ポール・クルーグマンの論説にはナイアール・ファーガソンの論説で対抗し、トム・フリードマンの論説にはブレット・スティーブンスのブログで反駁する」–。フェルッチは、この長く暗いトンネルの先に光明を見出す: 「主観的な判断に基づく専門家のアドバイスに耳を傾けることは、今後ますます難しくなっていくと思う。人間の思考には心理的な落とし穴がある。この事実は、ここ10~20年でようやく広く認識されるようになった。「そこで私が望むのは、人間の認知の限界や偏りを克服するために、人間の専門家とコンピューターがペアになることである」14。
もしフェルッチが正しいのであれば、将来的にはコンピュータによる予測と主観的な判断の融合が必要になってくるだろう。なので、そろそろその両方について真剣に取り組むべきだろう。
付録
超予測者を目指す人のための十戒
このガイドラインは、本書や、実際の予測コンテストで精度を高めることが実験的に実証されたトレーニングシステムの主要なテーマを抽出したものである。詳しくは、www.goodjudgment.comを見てほしい。
(1) トリアージ
あなたの努力が報われる可能性の高い問題に集中する。簡単な「時計のような」問題(単純な経験則で正解に近づくことができる)や、難解な「雲のような」問題(ダーツを投げるチンパンジーには、高度な統計モデルでも勝てない)には時間を費やさないようにしよう。努力が最も報われるゴルディロックス・ゾーンの難易度の問題に集中することである。
例えば、「12年後の2028年の大統領選挙は誰が勝つだろうか」という質問は、今予測するのは不可能である。やっても無駄である。1940年の時点で、12年後の1952年の選挙の勝敗を予測できただろうか?もし、それが当時無名のアメリカ陸軍大佐だったドワイト・アイゼンハワーだとわかったとしたら、あなたは心理学者が記録した後知恵バイアスの最悪のケースのひとつに悩まされているのかもしれない。
もちろん、トリアージの判断は、本国に近づくにつれて難しくなる。2015年3月の時点で、2016年の選挙に勝つのは誰かということについて、どれだけの正当な確信を持つことができるだろうか。短い答えは、多くはないが、それでも2028年の選挙に比べればはるかに多い。少なくとも、2028年の選挙に潜む未知の可能性(アイゼンハワー的なもの)に比べれば、はるかにマシであることは間違いない。
ある種の結果は、極めて予測不可能であるという評判がある(例:原油価格、為替市場)。しかし、通常、予測不可能な結果を発見するのは、分析的な牽引力を得ようとしてしばらく空回りした後である。ここで、2つの基本的な間違いを犯す可能性があることを心に留めておいてほしい。予測可能なことを予測しようとしない場合と、予測不可能なことを予測しようとして時間を浪費してしまう場合である。あなたが直面している状況では、どちらの間違いがより悪いのだろうか?
(2) 難問と思われる問題を、扱いやすい下位問題に分割する
世界初の原子炉を設計していないとき、「宇宙には地球外文明がいくつ存在するだろうか?」といった難問に大差ない答えを出すのが好きだったエンリコ・フェルミのように、遊び心と規律ある精神を持ってみよう。問題を知っている部分と知らない部分に分解する。無知をさらけ出す。自分の思い込みを暴き、検証する。最善の推測をすることで、あえて間違いを犯す。曖昧な言葉で隠すより、早く誤りを発見した方がいい。
超予測者は、フェルミ化を仕事の一部と捉えている。アラファトの検死、鳥インフルエンザの流行、原油価格、ボコ・ハラム、アレッポの戦い、債券利回りのスプレッドなど、定量化が不可能と思われる質問に対して、定量的な答えを導き出すことができるのだろうから。
このフェルミ化の精神は、究極の定量化不可能な愛への探求においても発揮される。ロンドンに住む孤独な男、ピーター・バッカスは、ロンドンの人口(約600万人)から、人口に占める女性の割合(約50%)、独身者の割合(約50%)で絞り込み、自分の周囲にいる女性のパートナー候補の数を推測してみたという、年齢層は約20%、大卒の割合は約26%、自分が魅力的だと思う割合はわずか5%、自分が魅力的だと思う可能性が高い割合はわずか5%、自分と相性が良いと思う割合は約10%である。結論 プールにいる女性はおよそ26人で、困難ではあるが不可能ではない検索タスクである1。
真実の愛に関する質問に対する客観的な正解は存在しないが、IARPAのトーナメントで超予測者が生成するフェルミ推定の精度を採点することはできる。その驚きは、驚くほど粗い仮定と推測の積み重ねから、驚くほど優れた確率の推定値が生まれることがあることだ。
(3)内観と外観のバランスをとる。
超予測者は、「太陽の下に新しいものはない」ことを知っている。100%「ユニーク」なものはない。言語純粋主義者にとっては、独自性とは程度の問題である。例えば、有名なテロリスト(ジョセフ・コニー)の捜索の結果や、アテネの新社会主義政権とギリシャの債権者との間の対立のような、一見ユニークな出来事であっても、超予測者は比較クラスを創造的に検索する。超予測者は、アウトサイドビューの質問を投げかける習慣がある: このような状況で、このようなことがよく起こるのだろうか?
ハーバード大学の教授で元財務長官のラリー・サマーズもそうであるらしい。上司が従業員にプロジェクト終了までの時間を尋ねると、従業員は必要な時間を過小評価する傾向があり、しばしば2倍から3倍もの差がある。サマーズ氏は、自分の部下も同じだと考えている。元従業員の一人、グレッグ・マンキウ(現在は有名な経済学者)は、サマーズの戦略をこう振り返る。「従業員の見積もりを2倍にし、次に高い時間単位に移行する。」つまり、リサーチ・アシスタントが1時間かかると言えば、2日かかることになる。サマーズは、社員の見積もりに対して外からの視点を持つことで、社員が見積もりで失敗したことを修正し、さらにおかしな補正係数を考案したのである。
もちろん、サマーズ氏は、ある社員が自分を驚かせ、時間通りに納品した場合には、その補正係数を調整する。もちろん、ある社員が驚くような遅刻をした場合、サマーズ氏は補正係数を調整する。なぜなら、私たち一人ひとりは、ある程度、ユニークだからだ。
(4) 証拠に対する過小反応と過剰反応のバランスをとる。
信念の更新は、優れた予測にとって、歯磨きやフロッシングが良い歯科衛生であるのと同じだ。退屈で、時には不快に感じることもあるが、長期的には報われる。とはいえ、信念の更新が常に簡単だと思わないでほしい。巧みに更新するには、ノイズの多いニュースの流れから微妙なシグナルを読み取ることが必要であり、同時に希望的観測の誘惑に負けないようにしなければならない。
経験豊富な予測者は、私たちよりも早く、手がかりを探し出すことを学ぶ。北極の海氷の拡大から朝鮮半島での核戦争まで、Xが起こる前に何が起こるか、明白でない先行指標を探し出すのである。ここで注意したいのは、誰よりも早く微妙な手がかりを見つけることと、誤解を招くような手がかりに騙されることとは紙一重だということである。中国の官報に北朝鮮を批判する記事が掲載されたのは、中国が平壌を強く圧迫しようとしていることを示唆しているのだろうか、それとも編集部の判断に誤りがあっただけなのだろうか。最高の予測者は信念を少しずつ更新する傾向があり、例えば0.4から0.35、0.6から0.65の確率に移行することが多い。「かもしれない」「もしかしたら」といった曖昧な言葉で捉えるには微妙な違いだが、長期的にはこの違いが優れた予測者と優れた予測者の違いを決定することになる。
しかし、超予測者は、診断シグナルに反応して確率の推定値を高速で移動させるジャンプの方法も知っている。超予測者は、完璧なベイズ更新者ではないが、私たちの多くよりも優れている。それは、彼らがこのスキルを重視し、その育成に励んでいるからにほかならない。
(5) それぞれの問題で働く、衝突する因果関係を探す。
優れた政策論には、少なくとも認めるに値する反論が存在するのが普通である。例えば、「軍事的な脅しは平和をもたらさない」と信じている敬虔なハト派なら、イランについては自分が間違っている可能性を受け入れることだ。また、ソフトな「宥和」政策は決して報われないと信じる敬虔なタカ派であっても、同じアドバイスが当てはまる。それぞれの立場から、相手側に傾くような兆候をあらかじめリストアップしておくことだ。
さて、ここからが本当に難しいところである。古典的な弁証法では、テーゼとアンチテーゼが出会って、シンセシスが生まれる。しかし、トンボの目では、ある視点が別の視点と出会い、さらに別の視点と出会い、それらを総合して1つのイメージにしなければならない。絵に描いた餅ではない。合成は、主観的な判断に頼らざるを得ない芸術である。うまくいけば、この合成のプロセスを経ることで、あなたは、型にはまったハトやタカから、タフな政策とソフトな政策のどちらが効果的かというニュアンスを持った、ハトとタカの奇妙なハイブリッド生物に変身するはずだ。
(6) 問題の許す限り、何度でも疑いを区別するよう努力するが、それ以上にはしない。
確実なもの、不可能なものはほとんどない。また、「もしかしたら」はそれほど有益な情報ではない。だから、不確実性のダイヤルは3つ以上の設定が必要なのである。ニュアンスが重要である。不確実性の程度が多ければ多いほど、より優れた予測者になれる可能性がある。ポーカーのように、60/40のベットと40/60のベット、55/45と45/55のベットを区別する能力がライバルより高ければ有利である。漠然とした予感を数値の確率に変換するのは、最初は不自然に感じるが、できるものである。ただ、忍耐と練習が必要なのである。超予測者は、それが可能であることを示した。
私たちの多くは、不確実性についてより細かく考えることを、すぐに学ぶことができるだろう。オバマ大統領が、アボタバードの塀に囲まれた屋敷に住んでいるのがオサマ・ビンラディンなのかどうかを見極めようとしたエピソードを思い出してほしい。そして、諜報部員による確率の推定と、それに対する大統領の反応を思い出してほしい: 「これは五分五分だ…コインの裏返しだ」今、オバマ大統領がバスケットボール仲間と談笑していて、それぞれが大学の試合の結果について確率を予想し、その予想がオサマ・ビンラディンの居場所について情報将校が提示したものと正確に一致していたとしよう。それでも大統領は「これはフィフティ・フィフティだ」と肩をすくめただろうか、それとも「確率は3対1と4対1の間にあるようだ」と言っただろうか。私は後者に賭ける。社長は、スポーツの分野では、緻密な思考に慣れている。毎年、バスケットボールの「マーチ・マッドネス」トーナメントの勝者を予想するのが楽しみで、本格的な統計学者も注目する確率のパズルだ。しかし、民主党や共和党の前任者たちと同様、彼は国家安全保障の決定には同じ厳密さを適用しない。なぜか?それは、異なる規範が異なる思考回路を支配しているからだ。複雑な予感を確率に還元することは、スポーツの世界では当たり前だが、国家安全保障の世界ではありえない3。
だから、厳密な推論を些細なことのために留保してはいけないのである。もしブッシュ43世のホワイトハウスが、スポーツ競技の熟練ギャンブラーにとって当たり前の証拠と証明の基準を適用していたら、ジョージ・テネットはイラクの大量破壊兵器について「スラムダンク」と口にする勇気はなかっただろう。スラムダンクとは、無限の可能性を提供し、もし間違っていたらすべてを失うことを厭わないという意味である。
(7) 過信と過信、慎重さと決断力のバランスをうまくとる。
超予測者は、判断を急ぐことのリスクと、「もしかしたら」の付近であまりに長くのんびりしていることのリスクの両方を理解している。彼らは、断固とした姿勢で臨む必要性と、その姿勢を明確にする必要性との間のトレードオフを日常的に管理している(ウォフラーに耳を傾けたい人はいないだろう)。長期的な精度には、キャリブレーションと解決の両方で良いスコアを得ることが必要であり、そのためには非難合戦を乗り越える必要があることを理解している。直近の失敗を避けるだけでは十分ではない。気まぐれな世の中がそのような議論の余地のない精度向上を許す限り、予測ミスや誤情報を抑制する創造的な方法を見つけなければならない。
(8) 自分の間違いの背後にある間違いを探すが、鏡のような後知恵バイアスに注意する。
自分の失敗を正当化したり、言い訳しようとしない。自分の失敗を認めろ!冷静な検死を行う: 私はどこで間違ったのか?また、失敗から学ぶことが少なすぎたり、基本的な前提に誤りがあることを見落としてしまうことが一般的だが、学ぶことが多すぎることもある(基本的には正しい道を進んでいたのに、小さな技術的ミスを犯して大きな影響を及ぼしてしまったということもある)。また、成功した場合の事後分析も忘れてはいけない。すべての成功が、あなたの推論が正しかったことを意味するわけではない。相殺した結果、運が良かっただけかもしれない。また、自信満々で同じ推論を続けていると、とんでもないことになりますよ。
(9) 他人の良さを引き出し、自分の良さを他人に引き出す。
チームマネジメントの極意、特にパースペクティブ・テイキング(相手の主張をよく理解し、納得のいくまで再現すること)、プレシジョン・クエスチョン(相手の主張を明確にし、誤解されないようにすること)、そしてコンストラクティヴ・コンフロネーション(嫌われないように意見をぶつけること)をマスターしよう。賢明なリーダーは、有益な提案とマイクロマネジメント的な干渉、硬直したグループと決断力のあるグループ、散漫なグループとオープンマインドなグループとの間の境界線が、いかに微妙だろうかを知っている。ロサンゼルス・ドジャースの元監督、トミー・ラソーダは、「経営とは、鳩を手に持つようなものだ。強く持ちすぎると殺してしまうが、ゆるく持ちすぎると失ってしまう」4。
(10) エラーバランス自転車を使いこなす。
それぞれの戒めを実行するには、相反するエラーのバランスをとることが必要である。物理の教科書を読んでも自転車に乗れるようにならないように、トレーニングマニュアルを読んでも超予測者にはなれない。学習には、「うまくいっている」「うまくいかない」「失敗している」というフィードバックを受けながら、「やってみる」ことが必要である。また、練習とは、ただ単に予測を立てたり、ニュースを読んで確率を出したりすることではないことを忘れないでほしい。スーパーフォアキャスティングは、他の専門知識と同様に、深く熟考された実践の産物である。
(11) 戒律を戒律として扱わない。
ヘルムート・フォン・モルトケは、「2つのケースがまったく同じになることはないため、拘束力のあるルールを定めることは不可能である」と警告した5。ガイドラインは、確実なもの、正確に再現できるものがない世界で、私たちができる最善の方法である。超予測は、これらの戒律に忠実に従おうとしているときでも(おそらく特に)、常に注意を払う必要がある。
謝辞
PHIL TETLOCK
本書は、私が一人称で書いたものだが、「Good Judgment Project」の深い共同作業という性格を曖昧にしてはいけない。私の研究パートナーであるバーバラ・メラーズは、偶然にも私の人生のパートナーでもある。私たちは、この本を捧げる最愛の娘ジェニーの死という個人的な悲劇の中で、一緒にこのプロジェクトを立ち上げた。このプロジェクトは、私たちの空虚な生活に、ある意味での意味を与えてくれた。この本のメッセージが心に届くなら、狂った世界を少しはまともにする可能性があると、私たちは信じている。
主要な貢献者のリストは長いである。テリー・マーレイとデイヴィッド・ウェイリネンがいなければ、このプロジェクトは数え切れないほど崩壊していただろう。スティーブ・リーバーとジェイソン・マセニーがいなければ、情報機関という官僚的なゴリアテが、パチンコマネーでダビデ志願者の集団に資金を提供することはなかっただろう。ライル・ウンガー、アンジェラ・ミンスター、デビッド・スコット、ジョン・バロン、エリック・ストーン、サム・SWIFT、フィリップ・レスコバー、ヴィレ・サトパアの統計的知識とプログラミング技術がなければ、予測トーナメントで勝つことはできなかっただろう。マイク・ホロウィッツと彼の問題作成チーム(ケイティ・コクラン、ジェイ・ウルフェルダー、アリソン・ボールズ、ジャナ・ラポポート、レジーナ・ジョセフ)の政治学の専門知識がなければ、トーナメントはシナプスを刺激する多くの課題をストックすることはできず、次世代の予測トーナメントをさらに刺激的で役に立つものにする方法は今ほど明確に見えてこなかっただろう。テリー・マレー、エヴァ・チェン、トム・ホフマン、マイケル・ビショップ、キャサリン・ライトがいなければ、このプロジェクトは管理上の混乱に陥っていただろう。
ポスドクや大学院生の中でも、エバ・チェンの無私の献身と、物事を成功させるために必要なことは何でもやるという姿勢は特筆に値する。パベル・アタナソフとフィリップ・レスコバーは、予測市場の運営で極めて重要な役割を果たした。エバとパベル、そしてカトリーナ・フィンチャーとウェルトン・チャンは、リアルワールドの予測スキルを教えることが可能であることを示し、大きな発見をした。
そして、ダニエル・カーネマン、ポール・シューメーカー、テリー・マレー、ウェルトン・チャン、ジェイソン・マセニー、アンジェラ・ダックワース、アーロン・ブラウン、マイケル・モーブッサン、カトリーナ・フィンチャー、エヴァ・チェン、マイケル・ホロウィッツ、ドン・ムーア、ジョン・カッツ、ジョン・ブロックマン、グレッグ・ミッチェル、そしてもちろん、バーバラ・メラーズを含む本書の原稿にコメントをくれた多くの友人、同僚に対する感謝の気持ちがある。
最後に、3つの結論を述べる。彼らは、基本的に単純な点を「複雑化」しようとする私の教授的な性質と2年間格闘し続けた。読者にとって幸いなことに、彼らはたいてい勝った。狐は巻末の注釈を解析する必要がある。第二に、IARPAがダビデ対ゴリアテの予測トーナメントを主催するという勇気ある官僚的決断をしたおかげで、私たちは超予測者を発見することができたのである。このような全く機密性のない競技を許可し、研究者が結果を公表することに何の制約も与えないような諜報機関は、地球上で他にないと思う。そしてもちろん、超予測者たち自身も、名前を挙げればきりがないほど多く、彼らなくしては語るべき物語もなかっただろう。彼らは、頭のいい人たちが自分を限界まで追い込むことで何が可能になるかを示してくれた。彼らは私たち全員を驚かせた。そして今、彼らが読者の皆さんに、自分たちの予報のスキルを磨くきっかけになることを願っている。
DAN GARDNER
私はフィルの謝辞に賛成し、建築家クリストファー・レンのセント・ポールの墓にある碑文に由来する説明でリストに加えよう: 「周りを見よ」
さらに、4人の素晴らしい女性の名前も付け加えよう: アマンダ・クック、私の妻、私の母、そしてエリザベス女王である。アマンダはこの本を編集し、彼女の時に驚くほどの忍耐力と忍耐力がなければ、この本は存在しなかっただろう。妻のサンドラも同様で、彼女なしでは私は役に立たない。そして母のジューンは、私を作ってくれた。そして、女王は女王なのだ、ちくしょう。彼女が長く君臨するように。
注釈
1. 楽観的懐疑主義者
1. 他の多くの著名な評論家がその役割を果たすことができたのに、なぜトム・フリードマンを選んだのか。その選択は、単純な計算式によってなされた: (評論家の地位)X(その人の予測を突き止める難しさ)X(その人の仕事と世界政治との関連性)。高得点が勝ちである。フリードマンの地位は高く、彼の主張する未来予測は難易度が高く、彼の仕事は地政学的な予測に大いに関連する。フリードマンを選んだのは、決して彼の論説に嫌悪感を抱いてのことではない。実際、私は最終章で、彼の仕事のいくつかの側面に対して、ひそかに賞賛していることを明らかにしている。フリードマンは予測者としては苛立たしいほど逃げ腰だが、予測に関する疑問点については素晴らしい情報源であることがわかる。
2. 繰り返しになるが、この点でフリードマンが異常であることを意味するものではない。地球上のほぼすべての政治評論家は、同じ暗黙のルールのもとで活動している。彼らは先々のことについて数え切れないほどの主張をするが、その主張を曖昧な言葉で表現するため、それを検証することは不可能である。NATOの拡大はロシアの猛反発を招き、新たな冷戦を引き起こすかもしれない」「アラブの春は、アラブ世界における責任なき独裁の時代が終わったことを示すかもしれない」…といった興味をそそる主張をどう解釈すればいいのだろうか。これらの意味論的なダンスにおける重要な用語、mayやcouldやmightには、それをどう解釈するかという指針が添えられていない。今後100年以内に大きな小惑星が地球を襲う」可能性が0.0000001であることから、「2016年にヒラリー・クリントンが大統領になる」可能性が0.7であることまで、あらゆる可能性を意味しうる。このため、時間や質問を超えて精度を追跡することは不可能である。また、識者たちは、何かが起こったときに自分の手柄だと主張し(起こり得ると言った)、起こらなかったときに責任を逃れる(起こり得ると言っただけだ)という無限の柔軟性を得ることができる。私たちは、このような言語的な災難の多くの例に遭遇することになる。
3. まるで私たちは、ヤンキースのスターティング・ラインナップを決めることは、南スーダンのジェノサイドのリスクを決めることよりも慎重であるべきだという結論に達したかのようだ。もちろん、野球と政治を比較するのは不完全である。野球は、標準的な条件で何度も何度も行われる。政治は、ルールが常に歪められ、争われる風変わりなゲームである。だから、政治的な予測を立てるのは、野球の統計を取るよりずっと難しい。しかし、「難しい」ということは、「不可能」ということではない。実は、かなり可能なことなのだ。
また、この例えにはもう一つ反論がある。評論家の仕事は予測だけではない。出来事を歴史的な観点からとらえ、解説を加え、政策提言を行い、挑発的な質問を投げかける。その通りだが、評論家は暗黙の、あるいは明示的な予測もたくさんする。例えば、識者が持ち出す歴史的類推には暗黙の予測が含まれている。ミュンヘンの宥和政策の類推は、「もしあなたがX国を宥めるなら、X国は要求を強めるだろう」という条件付き予測を裏付けるために持ち出され、第一次世界大戦の類推は「もしあなたが脅威を使うなら、紛争はエスカレートするだろう」と裏付けるために持ち出される。私は、政策提言(評論家が日常的に行っている)を行うのに、ある政策と別の政策のどちらをとれば良くなるか悪くなるかについて仮定することは、論理的に不可能であると主張する。少なくとも暗黙の予測をしない識者を教えてくれれば、禅問答のように無関心になりつつある識者を紹介しよう。
4. James Gleick, Chaos: James Gleick, Chaos: Making a New Science (New York: Viking, 1987); Donald N. McCloskey, “History, Differential Equations, and the Problem of Narration,” History and Theory 30 (1991): 21-36.
5. ピエール=シモン・ラプラス『確率に関する哲学的エッセイ』(訳注:『確率に関する哲学的エッセイ』)。Frederick Wilson Truscott and Frederick Lincoln Emory (New York: Dover Publications, 1951), p. 4.
6. しかし、よく知っているはずの歴史学者でさえ、オックスフォード大学のマーガレット・マクミラン教授が、モーリーン・ダウドの2014年9月7日のニューヨーク・タイムズのコラムで引用した、次のような大言壮語をし続けている: 「21世紀は、低級で非常に厄介な戦争の連続となり、明確な成果もなく延々と続き、通りすがりの民間人に恐ろしいことをする」-最近の過去を要約するのは良いが、2083年の世界に対する指針としては疑わしい。次の100年”のような本もある: 次の100年:21世紀の予測』のような本はベストセラーになり続けている。ちなみに後者の著者は、官民の富裕層に地政学的な予測を提供するストラトフォーのCEO、ジョージ・フリードマンである。この本が出版されたわずか2年後に「アラブの春」が中東を混乱に陥れたが、フリードマンの本にはそれが見あたらないので、残り98年の予測には疑問が残る。フリードマンは1991年に出版された『来るべき日本との戦争-それは来るべきアメリカの日本との戦争-』の著者でもあるが、その予知能力の高さはまだ証明されてはいない。
7. 不正の海に浮かぶプロフェッショナリズムの島については、ネイト・シルバー著『シグナルとノイズ』でレビューされている予測のコンセプトとツールを参照してほしい:なぜ多くの予測は失敗するが、一部は失敗しないのか(New York: Penguin Press, 2012)、J. Scott Armstrong, ed., Principles of Forecasting: J. Scott Armstrong, A Handbook for Researchers and Practitioners (Boston: Kluwer, 2001), and Bruce Bueno de Mesquita, The Predictioneer’s Game (New York: Random House, 2009)などがある。これらの島々を拡大するのは難しいことが分かっている。平均への回帰のような教室での統計的概念を、生徒が後に人生で遭遇する問題に転用することは、ほとんどないのが現状だ。D. Kahneman and A. Tversky, “On the Study of Statistical Intuition,” Cognition 11 (1982): 123-41. このことは、超予測者のような考え方を持つ人を育成する「Good Judgment Project」の取り組みに大きな課題を投げかけている。
8. 「ビル・ゲイツ Bill Gates: My Plan to Fix the World’s Biggest Problems,” Wall Street Journal, January 25, 2013, www.wsj.com/articles/SB10001424127887323539804578261780648285770.
9. B. Fischhoff and C. Chauvin, eds., Intelligence Analysis: Behavioral and Social Scientific Foundations (Washington, DC: National Academies Press, 2011); Committee on Behavioral and Social Science Research to Improve Intelligence Analysis for National Security, Board on Behavioral, Cognitive, and Sensory Sciences, Division of Behavioral and Social Sciences and Education, National Research Council, Intelligence Analysis for Tomorrow: Advances from the Behavioral and Social Sciences (Washington, DC: National Academies Press, 2011).
10. P. E. Tetlock, B. Mellers, N. Rohrbaugh, and E. Chen, “Forecasting Tournaments: Tools for Increasing Transparency and Improving the Quality of Debate,” Current Directions in Psychological Science (2014): 290-95.
11. Aaron Brown, in discussion with the author, April 30, 2013.
12. Paul Meehl, Clinical Versus Statistical Prediction (Minneapolis: University of Minnesota Press, 1954).
13. Stephen Baker, Final Jeopardy (Boston: Houghton Mifflin Harcourt, 2011), p. 35.
14. David Ferrucci, in discussion with the author, July 8, 2014.
2. 知の幻想
1. Archibald L. Cochrane with Max Blythe, One Man’s Medicine: An Autobiography of Professor Archie Cochrane (London: British Medical Journal, 1989).
2. 同上、171頁。
3. 同上。
4. ドゥルイン・バーチ『薬を飲むこと: A Short History of Medicine’s Beautiful Idea, and Our Difficulty Swallowing It (London: Vintage, 2010), p. 4.
5. 同上、p.37。
6. Ira Rutkow, Seeking the Cure: A History of Medicine in America (New York: Scribner, 2010), p. 98.
7. 同上、94 頁。
8. バーチ『テイキング・ザ・メディスン』158 頁。
9. リチャード・ファインマン、カリフォルニア工科大学パサデナ校卒業式講演、1974年。
10. リチャード・ファインマン『すべての意味:市民科学者の思考』(ニューヨーク:ベーシックブックス 2005)、28頁。
11. 同上、27頁。
12. コクラン・ウィズ・ブライス『一人の医学』46,157,211,190頁。
13. ダニエル・カーネマン『シンキング・ファスト・アンド・スロー』(New York: Farrar, Straus and Giroux, 2011)、209 頁.
14. 認知心理学を知っている人なら、ヒューリスティックとバイアスという学派が否定されていないことをご存じだろう。懐疑論者は、システム1が驚くほど正確に実行できることに感銘を受ける。人は、意味のない光子や音波を、自動的に、そして一見最適に合成して、私たちが意味を吹き込む言語にする(Steven Pinker, How the Mind Works, New York: Norton, 1997)。システム1のヒューリスティックがどの程度私たちを迷わせるかについては議論がある(Gerd Gigerenzer and Peter Todd, Simple Heuristics that Make Us Smart, New York: オックスフォード大学出版局、1999)、訓練やインセンティブによってWYSIATI幻想を克服することがどれほど難しいか(Philip Tetlock and Barbara Mellers, “The Great Rationality Debate: The Impact of the Kahneman and Tversky Research Program, Psychological Science 13, no. 5 [2002]: 94-99). 心理学は、まだそのモザイクをつなぎ合わせていない。しかし、ヒューリスティックとバイアスという視点は、現実の予測者が犯す誤差の一次近似値として最適であり、予測者が誤差を減らすための最も有用な指針であるというのが私の見解である。
15. Michael Gazzaniga, The Mind’s Past (Berkeley: University of California Press, 1998), pp.24-25.
16. ジヴァ・クンダ、『社会的認知』(Social Cognition: (ケンブリッジ、マサチューセッツ工科大学出版局、1999)。
17. カーネマン『シンキング・ファスト・アンド・スロウ』212頁。
18. 選挙の際にも、それが働いているのを見ることができる。現職の大統領が再選を目指すとき、多くの有権者が答えを求めるのは、「彼は1期目に良い仕事をしたのか”という質問 よくよく考えてみると、これは難しい質問 過去4年間、大統領が何をし、何をしなかったかを検証し、さらに、異なるリーダーシップの下で物事がどのように違った方向に進んだかを検討する必要がある。ホワイトハウスを取材するジャーナリストでも大変な作業だし、政治をよく見ていない人には不可能だ。驚くなかれ、有権者はおとり捜査をする。選挙前の半年間、地域の経済状況や国の経済状況をどう感じるかによって、大統領の4年間の仕事ぶりをどう判断するかが変わってくる。つまり、「この半年間、国はだいたい正しい方向に進んでいたと思うか?『は』この4年間、大統領は良い仕事をしたか?”に置き換えられる。大統領の記録を判断するのは難しすぎるから、代わりに代理質問を使おう」と明確に言う有権者はほとんどいない。しかし、多くの人は暗黙のうちにまさにそのようにしている。例えば、Christopher Achen and Larry Bartels, “Musical Chairs: 例えば、Christopher Achen and Larry Bartels, “Musical Chairs: Pocketbook Voting and the Limits of Democratic Accountability,” paper presented at the 2004 annual meeting of the American Political Science Association, Chicago.
19. ダニエル・カーネマンとゲイリー・クライン、「直感的な専門知識の条件: A Failure to Disagree,” American Psychologist 64, no.6 (September 2009): 515-26.
20. W. G. チェイス、H. A. サイモン、「チェスにおける心眼」、視覚情報処理編。W. G. Chase (New York: Academic Press, 1973).
21. カーネマンとクライン、「直感的な専門知識の条件」、p.520。
22. 同上。
23. ナイジェル・ファーンデール、「マグナス・カールセン: Grandmaster Flash,” Observer, October 19, 2013.
24. Peggy Noonan, “Monday Morning,” Wall Street Journal, November 5, 2012, blogs.wsj.com/peggynoonan/2012/11/05/monday-morning/.
3. スコアを維持する
1. Mark Spoonauer, “The Ten Worst Tech Predictions of All Time,” Laptop, August 7, 2013, blog.laptopmag.com/10-worst-tech-predictions-of-all-time.
2. Bryan Glick, “Timing Is Everything in Steve Ballmer’s Departure-Why Microsoft Needs a New Vision,” Computer Weekly Editor’s Blog, August 27, 2013, www.computerweekly.com/blogs/editors-blog/2013/08/timing-is-everything-in-steve.html.
3. “Starr Report: ナラティブ”Nature of President Clinton’s Relationship with Monica Lewinsky (Washington, DC: US Government Printing Office, 2004), footnote 1128.
4. Sameer Singh, Tech-Thoughts, November 18, 2013, www.tech-thoughts.net/2013/11/smartphone-market-share-by-country-q3-2013.html#.VQM0QEJYW-Q.
5. Barry Ritholtz, “2010 Reminder: QE = Currency Debasement and Inflation,” The Big Picture, November 15, 2013, www.ritholtz.com/blog/2013/11/qe-debasement-inflation/print/.
6. 同様の問題は、Steve BallmerのiPhone予測を悩ませている。私が紹介したiPhoneのマーケットシェアの数字は発売から6年後のもので、7年後にはもっと高くなっている。つまり、原理的には、バルマー氏の予測は2年、3年、5年という暗黙の時間軸を持っていたと主張できる。それは、基本的に「待っていれば来る」という弁明とは正反対だ。しかし、それは、予測の正確さを判断する際に避けたいような、まさに前後の言い争いを引き起こす可能性のある議論なのである。
7. ジョナサン・シェル『地球の運命と廃絶』(スタンフォード大学出版 2000)、183頁。
8. Brian Till, “Mikhail Gorbachev: 西側はロシア経済を救えたかもしれない」Atlantic, June 16, 2001, …www.theatlantic.com/international/archive/2011/06/mikhail-gorbachev-the-west-could-have-saved-the-ru.
9. Sherman Kent, “Estimates and Influence,” Studies in Intelligence (Summer 1968): 35.
10. Sherman Kent, “Words of Estimative Probability,” in Sherman Kent and the Board of National Estimates, ed. Donald P. Steury (Washington, DC: History Staff, Center for the Study of Intelligence, CIA, 1994), pp.134-35.
11. 同上、135 ページ。
12. Richard E. Neustadt and Ernest R. May, Thinking in Time (New York: Free Press, 1988).
13. Sherman Kent and the Profession of Intelligence Analysis, Center for the Study of Intelligence, Central Intelligence Agency, November 2002, p. 55.
14. 同上。
15. David Leonhardt, “When the Crowd Isn’t Wise,” New York Times, July 7, 2012.
16. Henry Blodget, “Niall Ferguson: Okay, I Admit It-Paul Krugman Was Right,” Business Insider, January 30, 2012, www.businessinsider.com/niall-ferguson-paul-krugman-was-right-2012-1.
17. ブライヤースコアリングが「適切」なのは、予測者が自分の真の信念を報告し、政治的圧力にそれを曲げないようにするインセンティブを与えるからだ。しかし、非難合戦を心配する予測者は、「4%の可能性しかないと言ったじゃないか!」と、後に起こりうる逆襲を回避するために、その確率を引き上げてしまうかもしれない。Brierスコアリングでは、過信に対する風評上のペナルティを、ギャンブラーが同じミスで被るであろう金銭的ペナルティと結びつけて課している。もしあなたが、自分の確率の見積もりが意味する確率に賭ける気がないのであれば、その見積もりを見直してみてほしい。Glenn W. Brier, “Verification of Forecasts Expressed in Terms of Probability,” Monthly Weather Review 78, no.1 (1950): 1-3; Robert L. Winkler, “Evaluating Probabilities: Robert L. Winkler, “Evaluating Probabilities: Asymmetric Scoring Rules,” Management Science 40, no.11 (1994): 1395-405.
18. ラリー・クドローはEPJにおけるハリネズミのプロファイルに合致するが、彼はEPJの匿名予想屋の一人ではなかった。そして、彼が保守的だから選んだわけではないことは確かである。EPJには、左翼的なヘッジホッグの例がたくさんある。実際、私がEPJで示したように、左右を問わず、多くのハリネズミは「ハリネズミ」を損傷ではなく、褒め言葉としてとらえている。彼らは、等閑視するキツネよりも、より鋭く、より決断力がある。2004年の大統領選挙における党派的なスピンマイスターの戦いを覚えているだろうか。ジョン・ケリーは柔軟な戦術家だったのか、それとも日和見主義のフリップフロップだったのか。ジョージ・W・ブッシュは原則的なリーダーだったのか、それとも独断的な間抜けだったのか?”Fox “と”Hedgehog “は不安定なレッテルである。
19. ラリー・クドロー、「ブッシュ・ブームは続く」、ナショナル・レビュー 2007年 12月 10日、http://nationalreview.com/article/223061/bush-boom-continues/larry-kudlow.
20. ラリー・クドロー、「ブッシュの「R」は”Right 「のこと」、Creators.com 2008年5月2日、http://www.creators.com/opinion/lawrence-kudlow-bush-s-r-is-for-right.html.
21. Larry Kudlow, “If Things Are So Bad…,” National Review, July 25, 2008.
22. Annie Duke, in discussion with the author, April 30, 2013. これは、ポーカープレイヤーの癖ではない。不眠症に悩まされ、何日もまともに寝ていないあなたが、カッとなって同僚を怒鳴りつけたとする。そして、あなたは謝る。この出来事は、あなたについて何を語っているのだろうか?睡眠が必要だと言うことである。それ以上は何も言えない。しかし、ある人がカッとなって怒鳴った後、謝って「不眠症で何日もちゃんと寝ていないのである」と説明したとする。この出来事は、その人について何を語っているのだろうか?論理的に考えれば、あなたについて述べたのと同じように、彼についても述べるべきだが、数十年にわたる研究によれば、あなたが導き出す教訓はそうではないことがわかる。あなたは、この人は嫌な奴だと思うだろう。心理学者はこれを「基本的帰属エラー」と呼んでいる。私たちは、不眠症のような状況要因が自分の行動に影響を与えることを十分に認識しており、自分の行動をその要因に帰するのが正しいのだが、他者に対しては同じように許容せず、その人の行動がその人自身を反映していると思い込んでしまうことが日常的にある。なぜあの人は嫌なことをしたのだろう?なぜなら、彼は嫌な奴だからだ。これは強力な偏見である。ある学生が共和党の候補者の応援演説をするように言われた場合、たとえその学生が言われたとおりに行動しただけであっても、観察者はその学生を共和党支持者と見なす傾向があるし、たとえ観察者が命令を下した1人であったとしてもです!自分の外に出て、他人のように物事を見るということは、それだけ難しいことなのである。リー・ロス「直観的心理学者とその欠点」参照: リー・ロス「直感的な心理学者とその欠点:帰属過程の歪み」、実験社会心理学の進歩、レナード・バーコウィッツ編。また、ダニエル・T・ギルバート「普通の人学」(『社会心理学ハンドブック』2巻、編著、日本経済新聞出版社)、173-220を参照。Daniel T. Gilbert, Susan T. Fiske, and Gardner Lindzey (New York: Oxford University Press, 1998): 89-150.
23. 真実が中間に位置するような問題で、挑発的に極端な立場を取ることは、学問の世界では良いキャリアアップになる。例えば、私たちの思考様式は性格によって固定されているのか、それとも、ある社会的役割を担うのと同じように、思考様式を容易に変化させることができるのか、ということである。中間的であるが真実の答え:それは、その人の柔軟性と状況の力によるものである。例えば、IARPAのトーナメントでは、オープンな競争とリーダーボードの公開により、予想者の過信が、すべての予想者の匿名性を保証したEPJの先行研究よりも明らかに少ないことが確認された。その結果、IARPAのトーナメントでは、ハリネズミとキツネの区別があまり重要でないことがわかった。
4. 超予測者
1. National Intelligence Estimate background debriefing at the White House on weapons of mass destruction in Iraq, October 2001, fas.org/irp/cia/product/iraq-wmd.html.
2. Condoleezza Rice, interview with Wolf Blitzer, CNN, September 8, 2002.
3. National Research Council, Board on Behavioral, Cognitive, and Sensory Sciences, Division of Behavioral and Social Sciences and Education, National Research Council, Intelligence Analysis for Tomorrow, Committee on Behavioral and Social Science Research to Improve Intelligence Analysis for National Security: Advances from the Behavioral and Social Sciences (Washington, DC: National Academies Press, 2011).
4. 費用便益分析の用語で言えば、2兆ドルのスラムダンクの「ミス」のリスクを例えば20%や30%下げる確率推定システムの改良に、米国はいくら支払ってもよいのだろうかということである。期待値理論によれば、その答えは数千億ドルである。この基準からすれば、「グッド・ジャッジメント」プロジェクトは世紀の大バーゲンである。しかし、”mistake “の部分に引用符がついていることに注意しよう。もしサダム・フセインが権力にしがみついていたら、現在の私たちはどうなっていたか、またそのような世界では国家安全保障にどれだけの費用がかかっていたかは、誰にもわからない。私の個人的な推測では、「もしもの時」の比較という厳しい世界を描いたとしても、この大会はまだお買い得であると思う。
5. 大量破壊兵器に関する米国の情報能力に関する委員会、米国大統領への報告書(ワシントンDC:2005年3月31日)、p. 155。
6. Robert Jervis, in discussion with the author, March 27, 2013.
7. 国家安全保障のための情報分析を改善するための行動・社会科学研究委員会、Intelligence Analysis for Tomorrow、National Academies Press、2011年。
8. ゴルディロックス・ゾーンの質問を作成するのは大変だった。簡単すぎる問題(発生確率が10%未満または90%以上)、難解な問題(誰も答えを知っていると合理的に考えられない問題)を除外する必要があった。マイケル・ホロウィッツの問題作成チームは、ここで称賛に値する。
9. この洞察は、ペンシルバニア大学の2人の同僚、Lyle UngarとJonathan Baronの功績によるものである。ライルは、ライス大学のデビッド・スコットが開発した「L2E」を除き、私たちのプロジェクトが導入したすべてのアルゴリズムに責任を負っている。
10. David Ignatius, “More Chatter Than Needed,” Washington Post, November 1, 2013. イグナティウスは、米国政府内部の機密情報源にアクセスできる人物に話を聞いたのだろう。
11. 同上。ICはイグナティウスの話に異議を唱えたことはない。そして、私はそれが真実であると信じている。実際、私は、このような比較が可能であった各年において、超予測者が情報分析官に勝っていたという大きな評判の賭けをするつもりである。
なぜ超予測者が情報分析官を凌駕したのか、その真相は不明である。しかし、超予測者がより賢く、よりオープンマインドであることが理由ではないだろう。アナリストが予測を余興として扱う組織の中で働いているのに対し、超予測者は予測を教養として扱っており、アナリストの本来の仕事とは違うからではないだろうか。国家情報会議の前議長であるトーマス・フィンガーの意見を聞いてみよう: 「予測は戦略分析の目標ではなく、またそうあるべきでもない。目標は、最も重要な進展の流れを特定し、それらがどのように相互作用し、どこに向かっているように見えるか、何がそのプロセスを推進し、どんな兆候が軌道の変化を示すかもしれない」(Thomas Fingar, Reducing Uncertainty: Intelligence Analysis and National Security (Stanford, CA: Stanford University Press, 2011), pp.
トム・フィンガーと私は、2010年の米国学術会議(National Research Council)の委員会で一緒に仕事をし、ICにIARPAスタイルの何が有効かについての実験を行うよう促した。彼は洗練された、献身的な公務員である。そして、彼の発言は、なぜICがすぐにでも独自の超予測者を育成するために投資する可能性がないのかを捉えている。暗黙の予測をすることなく、どうやって「開発の流れがどこに向かっているのかを特定」できるのだろうか。
自分たちの仕事がいかに暗黙の予測に満ちているかを認めることに躊躇する専門家は、アナリストだけではない。ジャーナリストのジョー・クラインを考えてみよう: 「ペンシルバニア大学ウォートン・スクールの教授が、私をコンピューターにつないで、私がどれだけうまく予測できるかをテストしたがっている。「私はその手間を省くことができる。ジャーナリストは過去を分析するのは得意だが、今起きていることについてはかなり得意で、明後日のことは恥ずかしながら苦手なのだ。私は 2000年のニューハンプシャー州予備選で敗れたジョージ・W・ブッシュが共和党の大統領候補になることはないとCNNのジェイク・タッパーに断言した直後から、予測を立てるのをやめた」; swampland.time.com/2013/04/11/congress-may-finally-do-a-budget-deal/を参照。
クラインに敬意を表し、予測の失敗を認める人には敬意を表すが、それは間違いである。彼は予測をやめたわけではない。ただ、自分がした予測が予測であることを認識していないだけなのだ。「北朝鮮のますます贅沢な軍事的脅威が、米国ではあまりメディアの注目を浴びていないのは興味深いことではないだろうか?」クラインは、予測を断ち切ったと主張する少し前にこう書いている。「戦争が起こるとは誰も思っていない。しかし、もし戦争が起きるとしたらどうだろう?金正恩が韓国とアメリカの両方を攻撃すると脅し、引き下がれなくなったらどうだろう。可能性は低いが、不可能ではない」; swampland.time.com/2013/03/29/the-kim-who-cried-wolf/を参照。
まあ、「可能性は低いが、不可能ではない」というのは予想である。クラインの文章にも、他の識者の文章にも、このようなものがたくさんある。あるいは、他の誰の思考にもある。私たちは皆、常に予測をしているのだ。
要するに、自分がやっていることに気づかなければ、何かをより良くするために学ぶことは難しいのだ。
12. Ellen Langer, “The lllusion of Control,” Journal of Personality and Social Psychology 32, no.2 (August 1975): 311-28.
13. たとえば、ノーテルやエンロンのようなモデルに倣うよう企業に促し、エンロンが破産申請する8カ月前に出版された『ラディカルE』のように、このジャンルには短期間で悪評が立つ例もある。しかし、他の例はなかなか発見できない。予測力の欠如は、主要なビジネススクールの教室でさえも、何十年も気づかれないのだ。1994年、ジム・コリンズとジェリー・ポーラスは『Built to Last: Successful Habits of Visionary Companies』を出版した。この本は18の模範的企業を調査し、そこから「将来にわたって長く繁栄する組織を作るためのマスターブループリント」を作成した。多くの賞賛を浴びた名著である。しかし、経営学者のフィル・ローゼンツヴァイクが指摘したように、コリンズとポーラスが正しいのであれば、最低限、18の模範的な企業が今後もうまくいくことを期待すべきだろう。コリンズとポーラスは1990年に研究を終了したので、ローゼンツヴァイクはその後10年間の企業の業績を調べた: 「コリンズとポーラスのビジョナリーカンパニーに投資するくらいなら、インデックスファンドに投資したほうがよかっただろう」Phil Rosenzweig, The Halo Effect…and the Eight Other Business Delusions That Deceive Managers (New York: Free Press, 2014), p.98 参照。ダーツを投げるチンパンジーが再び襲いかかる。
14. 父子相関の大きさによって、息子の身長の予測を母集団の平均値である5フィート8インチにどれだけ近づけるべきかが決まる。父子相関が完全な1.0であれば、父親の身長だけで判断する(平均値への回帰効果はない)。もし相関関係が0であれば、平均値に向かってずっと進み、父親の身長を重視しない。今回の特殊な例では、相関関係は0.5であり、平均値の半分に寄せるのが正解である。
15. マイケル・J・モーブッサン『成功の方程式』: Michael J. Mauboussin, The Success Equation: Untangling Skill and Luck in Business, Sports, and Investing (Boston: Harvard Business Review Press, 2012), p.73.
16. fivethirtyeight.com/features/the-conventional-wisdom-on-oil-is-always-wrong/.
17. また、年間50問以上回答している「アクティブ」な超予測者の約90%が上位20%の成績にランクインしており、下落しても大きく下落することはない。このことは、超予測者の技量と運の比率が、通常のフォーキャスターのそれよりも大きい可能性を示唆している。しかし、技量と運の比率を正確に推定するのは困難である。予想者のサンプル、歴史的な時代、質問の種類によって、その値は変化する。もし私が、4年間を通して活躍した超予測者だけを対象に推測すると、最低でも60/40、最高で90/10になる可能性がある。
5. スーパーマート?
1. サンフォード・シルマン、2013年2月15日および2014年5月19日、筆者と協議のうえ。
2. B. A. Mellers, L. Ungar, K. Fincher, M. Horowitz, P. Atanasov, S. SWIFT, T. Murray, and P. Tetlock, “The Psychology of Intelligence Analysis: 諜報分析の心理学:世界政治における予測精度のドライバー」Journal of Experimental Psychology: Applied 21, no.1 (March 2015): 1-14; B. A. Mellers, E. Stone, T. Murray, A. Minster, N. Rohrbaugh, M. Bishop, E. Chen, J. Baker, Y. Hou, M. Horowitz, L. Ungar, and P. E. Tetlock, “Identifying and Cultivating ‘Superforecasters’ as a Method of Improveing Probabilistic Predictions” Perspectives in Psychological Science (coming 2015).
3. 項目は、Greg MitchellとFred Oswaldが開発したForecasting Aptitude Inventoryに由来している。
4. この分析は、CIA長官が命じたものである。その結果、ベトナムの敗戦にはコストがかかるが、政策決定者が考えるような悲惨な結果にはならないと結論づけられ、予見的中となった。しかし、すでに50万人の兵士が泥沼にはまり込んでいるジョンソン大統領は、この報告書を歓迎しなかった。ジョンソン大統領は、この報告書を誰にも見せなかった。マクナマラがその存在を知ったのは、数十年後のことである。
5. Robert McNamara, In Retrospect (New York: Vintage, 1996), p. 33.
6. Daniel J. Levitin, The Organized Mind: Thinking Straight in the Age of Information Overload (New York: Dutton, 2014).
7. 超予測者は、フェルミ化-あえて間違うこと-が自分たちの仕事に不可欠であると考える。Cobblerというスクリーンネームを持つ超予測者を考えてみよう。彼はバージニア州のソフトウェアエンジニアで、2012年にナイジェリア政府がジハード主義者グループ「ボコ・ハラム」と正式な交渉に入るかどうかを尋ねられたとき、ナイジェリアについてほとんど知らなかった。彼は、まず外から見て、一般的なテロリスト集団と、特にボコ・ハラムとの交渉の成功率を推定した。ボコ・ハラムとの交渉の成功率は0%、反政府勢力との交渉の成功率は40%と推定し、2つの推定値を平均化した。そして、内側からの視点に移り、それぞれの選択肢を評価した。政府は、政府とテロリストの間のパワーブローカーとなることを望む穏健なイスラム主義者と良好な関係を保ちたいと考えている。ボコ・ハラムも、少なくとも交渉しているように見せることに関心があるのかもしれない。彼はまた、保留中の会談の噂が多いことにも言及した。しかし、ボコ・ハラムの獰猛さとのバランスを考え、30%と推測した。そして、外部と内部の意見を平均して25%とし、期限が近づくにつれ、この数字が減少するように予定した。このように、あえて間違った推測をした結果、会談の噂に反応して多くの偽陽性が発生した問題で、Brierのスコアはトップ10に入ったのである。
デジタルメディアや米国オリンピック女子フェンシングチームのトレーニングなど、自由奔放なキャリアを持つ政治リスクアナリストでありながら、疫学のバックグラウンドがないレジーナ・ジョセフが、中国で鳥インフルエンザが再び致命的に流行するリスクについての質問に挑んだことも記憶に新しい。彼女はまた、鳥インフルエンザによる死傷者が基準値(約80%)を超えたことは何度もあるのか、という外野の意見から始めた。しかし、インフルエンザのシーズンはすでに4分の1が終わっていたので、それを60%に抑えた。そして、公衆衛生政策の改善や警報指標の改善など、内側からの視点に立った。その結果、40%にまで下がり、さらに時間をかけて下げていった。その結果、見事な成績は残せなかったが、85%の予測者を上回った。
イラクでの戦闘経験を持つ元軍人、ウェルトン・チャンは、2013年にアレッポが自由シリア軍に陥落する可能性を、まず「アレッポのような大きな都市部を占領するには、明らかに軍事的に優れた攻撃者でもどれくらいの時間がかかるのか」という外側からの視点で推定した。答えは簡単である: つまり、アレッポのような広大な都市部を攻略するのに、軍事的に明らかに優位な攻撃者がどれくらいの時間を要するか、ということだ。次に、ウェルトンは内部を観察し、自由シリア軍が優位な勢力であるとは到底思えないと判断し、その確率を引き下げた。その結果、この問題ではBrierの上位5%に入るスコアを獲得した。
このように、非常に優れた予測の裏側に、いかに多くの恣意的な仮定があるかに驚かされる。私たちの選択は、粗雑な推測を行うかどうかではなく、それをあからさまに行うか、隠密に行うかである。
8. Bill Flack, in discussion with the author, August 5, 2014.
9. Peggy Noonan, “The Presidential Wheel Turns,” Wall Street Journal, April 26, 2013.
10. Amos Tversky and Daniel Kahneman, “Judgment Under Uncertainty: Heuristics and Biases,” Science 185 (4157): 1124-31.
11. ブルース・ブエノ・デ・メスキータは、『The Predictioneer’s Game』(New York: Random House, 2009)の中で、ゲーム理論に基づいた、内部から見た確率の推定値を組み立てるための優雅なアプローチを紹介している。主要なプレーヤーは誰か」、「それぞれがどの程度の力を持っているか」、「それぞれが何を望んでいるか」、「どれくらいそれを望んでいるか」といった的を射た質問をする。そして、可能性のある連合の組み合わせをテストする。ブエノ・デ・メスキータは、群衆の知恵も巧みに利用する。ブエノ・デ・メスキータはまた、群衆の知恵も巧みに利用する。彼は通常、複数の専門家に各内部の質問に対する答えを生成してもらう。彼のテクニックが超予測者のテクニックとどのようにマッチするかは不明だが、原理的には非常にわかりやすい。
12. 質問は「はい」と解答された。つまり、デビッドが鼻先だけの視点を使っていれば、もっと良いBrierスコアを獲得できたと主張することができる。質問:シャルリー・エブド事件の直後に、ヨーロッパで再びテロが起こることを想像するのは、どれくらい簡単か?答え:極めて簡単だ。確率に換算すると、極めて高い。この議論は、第4章で紹介したイラクの大量破壊兵器に関する「合理的だが、間違っている」という判断の鏡像であり、正しいが不合理である。超予測者は、システム1の直感をシステム2の精査にかけることで、多くの疑問点を解決している。
13. Stefan Herzog and Ralph Hertwig, “The Wisdom of Many in One Mind,” Psychological Science 20, no.2 (February 2009): 231-37.
14. ジョージ・ソロス『ソロス・オン・ソロス:カーブの先を行く』(New York: Wiley, 1995).
15. 研究者は、この論文-反論文-合成の推論パターンを測定するために、統合的複雑性コーディングシステム(私の最初の師であるピーター・スエドフェルドが開発したシステム)をよく使用する。共通の発見として、統合的に複雑な思考をする人は、システム1のバイアスに強い傾向があることが挙げられる。P. E. Tetlock and J. I. Kim, “Accountability and Judgment in a Personality Prediction Task,” Journal of Personality and Social Psychology 52 (1987): 700-709; P. E. Tetlock, L. Skitka, and R. Boettger, “Social and Cognitive Strategies of Coping with Accountability: P. E. Tetlock, and R. Boettger, “Social and recognized Strategies of Coping with Accountability: Conformity, Complexity, and Bolstering,” Journal of Personality and Social Psychology 57 (1989): 632-41. しかし、複雑な思考の持ち主が不利になるような状況もある。P. E. TetlockとR. Boettger, “Accountability “を参照: 希釈効果の社会的拡大」、Journal of Personality and Social Psychology 57 (1989): 388-98; P. E. Tetlock and R. Boettger, “Accountability Amplifies the Status Quo Effect When Change Creates Victims,” Journal of Behavioral Decision Making 7 (1994): 1-23、P. E. Tetlock and A. Tyler, “Churchill’s Cognitive and Rhetorical Style: P. E. Tetlock and Ayler, “Churchill’sognitive andhetorical Style: The Debates Over Nazi Intentions and Self-Government for India,” Political Psychology 17 (1996): 149-70.
16. ビッグファイブ特性や開放性因子については、Oliver P. John and Sanjay Srivastava, “The Big Five Trait Taxonomy: History, Measurement, and Theoretical Perspectives,” in Handbook of Personality: The Big Five Trait Taxonomy: History and Measurement andoretical Perspectives”, in Handbook of Personality: Theory and Research, 2nd edition, ed. ローレンス・A・パーヴィン、オリバー・P・ジョン(New York: Guilford Press, 1999)、102-38; ロバート・R・マクレー、「経験的開放性の社会的帰結」、Psychological Bulletin 120, no. 3 (1996): 323-37. Need-for-cognitionとactive open-mindednessの尺度は、一般的な開放性と相関がある。
6. スーパークエンツ(SUPERQUANTS)?
1. Lionel Levine, in discussion with the author, February 14, 2013.
2. Leon Panetta, in discussion with the author, January 6, 2014.
3. 本物のマヤは、超予測者のように考えることもある。パネッタの回顧録『Worthy Fights』(New York: Penguin, 2014)では、マヤのキャラクターのモデルとなった将校に、オサマ・ビンラディンが屋敷にいる可能性はどれくらいだと思うかと呼びかけたところ、彼女は “one hundred percent「とは答えず、素早く、しっかりと」ninety-five percent”と言ったと書いている。
4. マーク・ボウデン『ザ・フィニッシュ』: The Killing of Osama Bin Laden (New York: Atlantic Monthly Press, 2012), pp.158-62.
5. Baruch Fischhoff and Wändi Bruine de Bruin, “Fifty-Fifty = 50%?”, Journal of Behavioural Decision Making 12 (1999): 149-63.
6. この議論は、人々が意思決定において確率の推定値をどのように使うかについて、より深い疑問を投げかけるものである。古典的な期待効用モデルは、確率の変化が重要であることを示唆している。なぜなら、人はある行動の起こりうる各結果の確率に各結果の効用を掛け合わせ、その積を合計してその選択肢の純魅力性を計算するからだ。仮に、攻撃という選択肢の結果が1つだけであるという単純化した仮定を置くと、オサマが存在する確率が当初の50%から75%に変化した場合、攻撃という選択肢の魅力は50%上昇するはずだ。より質的で心理的に現実的なモデルは、理由ベースの選択と呼ばれるものである。確率の変化は、ある要素が何かをするための良い理由となるか、良い理由でなくなるかのどちらかを引き起こす場合にのみ問題となる。もしオバマ大統領が会議に参加する前に未決断であったなら、会議後に「フィフティ・フィフティ」と言ったのは、彼が自分の確率のダイヤルを十分に動かして選択するようなことをまだ聞いていないことを示している: 11-36. そこで、先に述べた確率判断の集計方法である「極限化」を適用することで、大きな違いが生まれる可能性がある。アドバイザーの視点の多様性によっては、アドバイザーの中央値75%の判断を、例えば90%に変えることができるかもしれない。そうすれば、大統領が「OK、これで行動を起こす十分な理由ができたと思う」と言うに十分だったのかもしれない。このように、確率の変化は、理由に基づく行動の閾値を超えたときにのみ問題となる。
7. この点を説得的に増幅するために、Richard ZeckhauserとJeffrey Friedman, “Handling and Mishandling Estimative Probability “を参照: Likelihood, Confidence, and the Search for Bin Laden,” Intelligence and National Security 30, no. 1 (January 2015): 77-99.
8. 研究の概要については、Daniel Kahneman, Thinking, Fast and Slow (New York: Farrar, Straus and Giroux, 2011)を参照のこと。
9. この不確実性への嫌悪感は、ペンタゴン・ペーパーズの漏洩で有名になるずっと前に、ダニエル・エルズバーグが学部の名誉論文で発見したことから名付けられた「エルズバーグ・パラドックス」の根底にある。この問題の最も単純なバージョンでは、2つの骨壷がある。1つ目の骨壷の中には、白いビー玉50個と黒いビー玉50個が入っている。2つ目の骨壷の中には、白と黒のビー玉が未知の割合で混ざっている。白いビー玉99個に黒いビー玉1個、白いビー玉98個に黒いビー玉2個など、白いビー玉1個と黒いビー玉99個が混在している可能性がある。では、その中から1つ、ビー玉を引いてみよう。黒いビー玉を引いたら、現金がもらえる。さて、あなたはどの骨壷を選ぶか?どちらの箱からも黒いビー玉が出る確率は同じであることは考えなくてもわかるが、エルズバーグが示したように、人は最初の箱の方を強く希望する。その違いを生むのは不確実性である。どちらの骨壷でも、黒か白のどちらを引くかは不確実だが、1つ目の骨壷は2つ目の骨壷と違って、中身に不確実性がないため、圧倒的にそちらが好まれる。不確実性を嫌う私たちは、悪いことが起こる可能性よりも、確実に起こる可能性の方を好むようになることさえある。例えば、永久的な人工肛門を造られた人は、永久的かどうかわからない人工肛門を造られた人よりも、6カ月後に幸せになっていることが研究者によって示されている。Daniel Gilbert, “What You Don’t Know Makes You Nervous,” New York Times, May 20, 2009, opinioNATOr.blogs.nytimes.com/2009/05/20/what-you-dont-know-makes-you-nervous/を参照。
10. J. F. Yates, P. C. Price, J. Lee, and J. Ramirez, “Good Probabilistic Forecasters: The ‘Consumer’s’ Perspective,” International Journal of Forecasting 12 (1996): 41-56.
11. 心理学者のゲルト・ギゲレンツァーは、『Risk Savvy』(New York: Viking, 2014)の中で、ベルリン人が日々の天気予報をしばしば誤って解釈していることを紹介している。明日30%の雨が降る」という誤訳には、(a)明日は30%雨が降る)、(b)ベルリンの国土の30%に雨が降る、(c)気象予測者の30%が雨を予測する、などがある。正しい解釈はもっと難しい。気象予測者が今ベルリン周辺の気象条件を数値化し、最高のモデルを差し込むと、その方程式は明日雨が降る確率を30%と割り出す。もし、ベルリンの天気を何千回と再計算し、風や気圧のような先行条件の測定誤差をバタフライ効果で微調整した場合、コンピュータシミュレーションの世界の30%で雨が降ることになる。ベルリンの人々がより具体的な単純化に頼るのも無理はない。
12. David Leonhardt, “How Not to Be Fooled by Odds,” New York Times, October 15, 2014.
13. Robert Rubin, in discussion with the author, June 28, 2012.
14. ウィリアム・バイヤーズ『ブラインド・スポット』(原題:The Blind Spot: Science and the Crisis of Uncertainty (Princeton, NJ: Princeton University Press, 2011), p.vii.
15. 同上、56頁。
16. 例えば、Samuel Arbesman, The Half-Life of Facts, The Half-Life of Facts: Why Everything We Know Has an Expiration Date (New York: Current, 2012).
17. Jacob Weisberg, “Keeping the Boom from Busting,” New York Times, July 19, 1998.
18. Rubin, discussion with the author.
19. 予測不可能性(金融用語ではボラティリティ)を予測することができれば、予測者やアルゴリズムは大きなアドバンテージを得ることができる。例えば、極端な集計を行うアルゴリズムが、その予測をいつスロットルバックして控えめにするかを「知って」いれば、すべての75%を例えば90%にする極端なアルゴリズムを待ち受ける大きなBrierスコアのペナルティーを避けることができる。私は、超予測者がこの神秘的な芸術/科学を習得していると言っているのではない。歴史的な激動の時代にも、平穏な時代にも、彼らは常連を凌駕するが、その勝率は激動の時代に縮小する。この問題については、Nassim Talebのトーナメント批判を探求する第11章で再び触れることにする。
20. 初心者の予想屋は、ある問題について「何も知らない」ときに、なぜ0.5、コイントスと言わないのかとよく質問する。なぜそうしないのか、いくつかの理由がある。一つは、自己矛盾に陥る危険性があることである。例えば、「2015年6月30日までに日経平均株価が20,000円を超えるかどうか」という質問を受けたとする。何も知らないあなたは、その確率を0.5と答えた。次に、「22,000を超えるか」「20,000と22,000の間か」と聞かれ、また「0.5」と答えたとしよう。質問者が可能性を広げれば広げるほど、0.5を気軽に使う人が1.0をはるかに超える支離滅裂な確率を割り当てていることは明白になる。Amos Tversky and Derek Koehler, “Support Theory “を参照: Amos Tversky and Derek Koehler, “Support Theory: A Nonextensional Representation of Subjective Probability,” Psychological Review 101, no. 4 (1994): 547-67.
また、人は何も知らないと感じるときでも、一般的には少しは知っているもので、その少しが、少なくとも最大限の不確実性から遠ざけるはずだ。宇宙物理学者のJ.リチャード・ゴットは、内戦や不況、伝染病など、あることがこれまでどのくらい続いたかしか知らないとき、予測者はどうすべきかを教えてくれる。正しいのは、「コペルニクス的謙虚さ」を持って、自分がその現象を観測している時点には特別なものはないと考えることである。例えば、IARPAが質問を投げかけたときにシリア内戦が2年続いていた場合、戦争が始まったばかりである可能性と、戦争が95%終わったとする終了間際である可能性が同じようにあると仮定する。戦争は2年の1/39(または1カ月)しか続かないかもしれないし、39×2年、つまり78年も続くかもしれないのだ。これは大した成果ではないかもしれないが、「ゼロから無限」と言うよりはマシだろう。また、78年という歳月がとんでもなく長いと感じるのは、「何も知ってはいけない」という基本ルールを破って、ごまかしたからだ。あなたは、戦争全般に関する基本的な知識を外部から導入したのである(例えば、これほど長く続いた戦争はほとんどないことを知っている)。あなたは今、より良い予測者になるための長い道のりを歩んでいる。Richard Gott, “Implications of the Copernican Principle for Our Future Prospects,” Nature 363 (May 27, 1993): 315-20.
21. Brian Labatte, in discussion with the author, September 30, 2014.
22. B. A. Mellers, E. Stone, T. Murray, A. Minster, N. Rohrbaugh, M. Bishop, E. Chen, J. Baker, Y. Hou, M. Horowitz, L. Ungar, and P. E. Tetlock, “Identifying and Cultivating ‘Superforecasters’ as a Method of Improveing Probabilistic Predictions,” Perspectives in Psychological Science (forthcoming 2015).
23. チャーリー・マンガー「初歩的な世渡り術のレッスン」南カリフォルニア大学マーシャル・スクール・オブ・ビジネスでの講演、1994年 4月 14日、http://www.farnamstreetblog.com/a-lesson-on-worldly-wisdom/.
24. 政府の仕事には十分通用する」という残念な表現が思い浮かぶ。金融アナリストは、オプションが適切にプライシングされているかどうか、市場が暴動する確率が1/1,000の場合と1/100,000の場合のような細かな確率の区別をつけるのに苦労する。常識的に考えて、もしそのタスクが実行可能で十分な利益をもたらすものであれば、人々はいずれそれを理解するようになる。しかし、このように考えると、粒度の限界を探ることに、公共部門よりも民間部門の方がはるかに関心が高いことが気になる。国土安全保障省が行うテロの脅威の予測にも、ゴールドマン・サックスが行う市場動向の予測と同じ厳密さを求めるべきではないだろうか。もちろん、粒度を上げる努力によって精度が上がるという保証はない。多くのNICレベルの問題で最適な粒度は、彼らが制度化した5段階や7段階の尺度であることが判明するかもしれない。しかし、アンチ量子アナリストの好奇心のなさが、そのような改善の可能性を発見することを難しくしている。
25. カート・ヴォネガット『スローターハウス・ファイブ』(ニューヨーク:デル出版、1969)、116頁、76-77頁。
26. オプラ・ウィンフリー、卒業式でのスピーチ、ハーバード大学、2013年 5月 30日、http://news.harvard.edu/gazette/story/2013/05/winfreys-commencement-address/.
27. コニカ・バネルジー、ポール・ブルーム、「Does Everything Happen for a Reason?” New York Times, October 17, 2014.
28. J. A. Updegraff, R. Cohen Silver, and E. A. Holman, “Searching for and Finding Meaning in Collective Trauma: Results from a National Longitudinal Study of the 9/11 Terrorist Attacks,” Journal of Personality and Social Psychology 95, no. 3 (2008): 709-22.
29. Laura Kray, Linda George, Katie Liljenquist, Adam Galinsky, Neal Roese, and Philip Tetlock, “From What Might Have Been to What Must Have Be: Counterfactual Thinking Creates Meaning,” Journal of Personality and Social Psychology 98, no.1 (2010): 106-18.
30. Robert Shiller, interview with the author, August 13, 2013.
7. supernewsjunkies?
1. David BudescuとEva Chenは、他の人よりも先に物事を見抜く人に特別な重みを与える、貢献度加重型の予測者採点法を考案した;D. V. Budescu and E. Chen, “Identifying Expertise to Extract the Wisdom of Crowds,” Management Science 61, no. 2 (2015): 267-80参照.
2. Doug Lorch, in discussion with the author, September 30, 2014. 北極海の海氷の問題は、アラファト・ポロニウムの問題(およびその他の問題)と同様に、多くの予測者のイデオロギー的なホットボタンを押すものだった。彼らは、小さな問題の背後に大きな問題があると考えたのである。そして、その大きな問題は煽るようなものだった: 地球温暖化は本当なのか?イスラエルはアラファトを殺したのか?そして、彼らは昔ながらの「おとり商法」を行った。狭い範囲での難しい技術的な質問を、感情に訴えかけるような質問にすり替え、強調された回答を求めたのだ。このような予想屋は、ブライヤーズ・スコアの高い代償を払うことになったのである。
3. Bill Flack, in discussion with the author, August 5, 2014.
4. G. Edward White, Earl Warren: A Public Life (New York: Oxford University Press, 1987), p. 69.
5. ウォーレンの擁護者は、脅威を過小評価するリスクは過大評価するリスクよりも大きいので、ウォーレンは慎重さを欠いたと主張できる。ロバート・ゲイツは、CIAのアナリストとしてゴルバチョフの意図に懐疑的であったことを擁護するために、同様のことを暗に示していた。私はEPJで、この作戦を「I made the right mistake(私は正しい間違いをした)」という弁護と呼び、時には弁護の余地があることを指摘した。しかし、ウォーレンが終戦直前まで譲らなかったことは、このような弁護に疑問を投げかけるものである。戦争が終わってから数年経っても、ウォーレンは自分が正しかったと言い張った。1971年に書かれた回想録の中で、ウォーレンは後悔の念を表明したのみである。G. Edward White, “The Unacknowledged Lesson: Earl Warren and the Japanese Relocation Controversy,” Virginia Quarterly Review 55 (Autumn 1979): 613-29.
6. John DeWitt, Final Report: John DeWitt, Final Report: Japanese Evacuation from the West Coast, 1942, archive.org/details/japaneseevacuati00dewi.
7. Jason Zweig, “Keynes: He Didn’t Say Half of What He Said. Or Did He?”, Wall Street Journal, February 11, 2011, blogs.wsj.com/marketbeat/2011/02/11/keynes-he-didnt-say-half-of-what-he-said-or-did-he/.
8. チャールズ・A・キースラー『コミットメントの心理学』: Charles A. Kiesler, The Psychology of Commitment: Experiments Linking Behavior to Belief (New York: Academic Press, 1971).
9. Jean-Pierre Beugoms, in discussion with the author, March 4, 2013.
10. P. E. テトロックとリチャード・ベトガー、「説明責任」: A Social Magnifier of the Dilution Effect,” Journal of Personality and Social Psychology 57 (1989): 388-98.
11. 資産市場価格の過剰変動に関する最も早い実証の1つとして、Robert Shiller, “Do Stock Prices Move Too Much to Be Justified by Subsequent Changes in Dividends?”, National Bureau of Economic Research Working Paper no. 456,1980)、Terrance Odean, “Do Investors Trade Too Much?”, American Economic Review 89, no. 5 (1999): 1279-98.
12. ジョン・メイナード・ケインズ『雇用・利子・貨幣の一般理論』(CreateSpace Independent Publishing Platform, 2011), p.63.
13. Burton Malkiel, A Random Walk Down Wall Street, rev. and updated ed. (New York: W. W. Norton, 2012), p. 240.
14. 同上、241 頁。なお、この取引頻度の比較には、取引の意思決定をする人が含まれている。いわゆる高頻度取引は、コンピュータやアルゴリズムを用いて行われるものであり、全く別問題である。
15. Tim Minto, in discussion with the author, February 15, 2013.
16. シャロン・バートシュ・マクグレイン『死なない理論』エール大学出版部、2011年、7 頁。
17. Jay Ulfelder, “Will Chuck Hagel Be the Next SecDef? A Case Study in How (Not) to Forecast,” Dart-Throwing Chimp, February 9, 2013, …dartthrowingchimp.wordpress.com/2013/02/09/will-chuck-hagel-win-senate-approval-a-case-study-in-how-. リックスの間違いは、ごく一般的なものである。2015年3月16日付のNew York Timesの記事で、David Leonhardtは、バラク・オバマが労働者階級のアメリカ人が銃や宗教に興味を持つのは経済の不調のせいだとしたり、ジョージ・W・ブッシュがテープがまだ流れているときにジャーナリストを罵る言葉を使ったように、候補者の失言に過剰反応する専門家の傾向を戒めている。レオンハルトは、経済や人口統計のような政治的ファンダメンタルズが選挙を大きく左右することを、予測担当者に正しく思い起こさせている(「アップショット編集部より:政治的謎」)。
18. 私見では、ウルフェルダーが議論を優位に進めたと思う。しかし、それは意見であって、数学的事実ではない。ベイズを使ってリックスを擁護することもできる。どのように?初期確率を設定する際に、別の防御可能な基本率を見つけることである。96%(国防長官の指名が上院を通過する割合)の代わりに、次のような基準率を設定することができる: ある指名が問題視されてニュースになったとき、どれくらいの確率で通過するのか。私の推測では、6割から7割の確率で通る。この2つの基準率をブレンドすると、事前確率は約80%となる。正味の結果 リッグスは、以前より間違っていないように見える。現実の事象を予測することは、科学と同様に芸術であることを忘れてはならない。Ulfelder, “Will Chuck Hagel Be the Next SecDef?”.
19. 心理学者は、人がベイズ的更新者としてどれだけ熟練しているかをテストする何百もの実験的研究を行ってきた。リアルワールドの厄介なIARPAの問題とは異なり、これらの実験問題には明確な正解・不正解のベイズ解が存在する。骨壷からランダムに玉を引いているとする(置換あり)。骨壷には50/50の確率で、赤70個と青30個、または青70個と赤30個が入っている。あなたは赤を8個、青を5個引いた。あなたは今、50/50の確率の骨壷から抽選していることを、どの程度変更すべきだろうか?ベイズ的な正解は0.92だが、ほとんどの人は証拠に対して反応が鈍く、70%に近い推定値を出す。バーバラ・メラーズはこのような課題を用いて、超予測者は通常のフォーキャスターよりも明らかに優れたベイズ学者であることを示した; B. A. Mellers, E. Stone, T. Murray, A. Minster, N. Rohrbaugh, M. Bishop, E. Chen, J. Baker, Y. Hou, M. Horowitz, L. Ungar, and P. E. Tetlock, “Identifying and Cultivating ‘Superforecasters’ as a Method of Improving Probabilistic Predictions,” Perspectives in Psychological Science (forthcoming 2015).
8. パーペチュアル・ベータ(PERPETUAL BETA
1. Mary Simpson, in discussion with the author, April 26, 2013.
2. ドウェックの研究の一般的な要約については、Carol Dweck, Mindset: The New Psychology of Success (New York: Ballantine Books, 2006), pp.23, 18.
3. 固定観念を持つ人が人生で不利になるのは、(1)成長思考を持つ人がつかむ機会を逃してしまうから、(2)挑戦して失敗するよりも、挑戦しない方が悪いから、ということは認めることができるだろう。しかし、固定観念と成長観念のどちらが客観的な現実に近いのだろうかと考える人もいるかもしれない。この疑問は、古くからある「自然-育ち」の議論につながるが、どちらか一方に偏らないよう再度警告する以外には、この落とし穴は避けておく。行動遺伝学が明らかにしつつあるように、「自然か育ちか」というのは、「自然と育ち」ほど一般的な現実ではない:私たちの体の各細胞の中にあるDNAと、私たちが生まれた世界は、複雑な形で相互作用している。自然の側では、すべての赤ちゃんがアインシュタインやベートーベン、プロバスケットボール選手、あるいは超予測者になる可能性を持っているわけではない。しかし、その限界の範囲内では、実にさまざまな結果を得ることができる。私たちが誰になるのか、何を達成するのかは、私たちの世界にあるチャンスとそれをつかむ準備によって決まる。
4. John F. Wasik, “John Maynard Keynes’s Own Portfolio Not Too Dismal,” New York Times, February 11, 2014, www.nytimes.com/2014/02/11/your-money/john-maynard-keyness-own-portfolio-not-too-dismal.html. デイヴィッド・チェンバースとエルロイ・ディムソン「レトロスペクティブ」も参照: John Maynard Keynes, Investment Innovator,” Journal of Economic Perspectives 27, no. 3 (Summer 2013): 213-28.
5. Wasik, “John Maynard Keynes’s Own Portfolio Not Too Dismal.”.
6. John Maynard Keynes, Essays in Biography (Eastford, CT: Martino Fine Books, 2012), p.175.
7. ノエル・F・ブッシュ「ケインズ卿」『ライフ』1945年 9月 17日、122 頁。
8. Michael Polanyi, Personal Knowledge (Chicago: University of Chicago Press, 1958), p.238.
9. この分析が正しければ、超予測者だけでなく、IARPAのトーナメントに参加して粘ったすべてのフォーキャスターは、練習によって向上するはずだ。果たしてそうなのだろうか。理想的な世界であれば、予測者のBrierスコアをグラフにし、それが時間とともに上昇するかどうかを調べるのは簡単なことである。しかし、私たちはそのような世界に住んでいるわけではないし、このことを明らかにするのは難しいことである。GJPのボランティアは、難易度を一定に保てる研究室でパズルを解こうとしているわけではない。そうすれば、時間が経つにつれてスコアが上がっていけば、パズルを解くのがうまくなっていることがわかる。予想されるリアルワールドの事象は、お行儀が悪い。歴史は常に変化しており、予測の難易度もピンキリである。なので、予測者の精度を時系列で見て、向上が見られたら、それは予測者がうまくなったか、問題が簡単になったか、どちらかだと思う。部分的な解決策として、知能と精度の相関を経時的に見る方法がある。もし相関関係がほぼ同じであれば、トーナメントで身につけたスキルの役割が大きくなっていないことを意味する。しかし、もし相関関係が時間とともに低下するならば、生の知性の役割は縮小し、スキルの役割が大きくなっていることを意味する。理想的な指標には程遠いが、もし私がプラトニックな完璧さを求めていたなら、研究室にとどまっていたかもしれない。結果は?知能との相関は低下した。つまり、この指標は、練習が本当に予測者をより良くすることを教えてくれている。
10. この脚注を読めば、この本の値段よりも指数関数的に多くのお金を節約することができる。過信は高くつくものである。10万ドルの退職金を、基本的なリターン(S&P500の平均値)をもたらす株式市場のインデックスファンドに投資するか、市場平均を上回ると主張する専門家の指導によるアクティブ運用ファンド、ファームアルファに投資するかを決める2人を想像してほしい。アクティブ・ファンドがパッシブ・ファンドに毎年勝つという一貫性はなく、ファーム・アルファの運用手数料は年1%、パッシブ・ファンドは0.1%という定型事実から、勝者を選ぶスキルを過大評価した場合の30年間の累積コストを計算することができる。両ファンドとも手数料前の年間リターンが10%(パッシブファンドは9.9%、アクティブファンドは9%)と仮定すると、リターンの再投資後、控えめな投資家は169万8973ドル、自信過剰な投資家は132万7000ドルの差となり、認知的錯覚に対する高い対価となる。もちろん、最初の仮定は定型化された事実であり、それを変更することで、優れたアクティブマネジャーを探すのに有利なシナリオが得られるかもしれない。しかし、現在のエビデンスの重さは、より謙虚で怠惰な戦略を支持するものである。Jeff Sommer, “How Many Mutual Funds Routinely Rout the Market? Zero,” New York Times, March 15, 2015. このような研究は、多くの非常に賢く、資本力のあるトレーダーが執拗に互いを批判し合う流動性の高い市場には、超予測者でさえ勝てないことを示唆している。この命題は一度も検証されていないが、超予測者はより浅く流動性の低い市場を上回ることができる(第9章を参照)。
11. B. R. Forer, “The Fallacy of Personal Validation: B. R. Forer, “The Fallacy of Personal Validation: A Classroom Demonstration of Gullibility”, Journal of Abnormal and Social Psychology 44, no. 1 (1949): 118-23.
12. Jean-Pierre Beugoms, in discussion with the author, March 4, 2013.
13. エネルギー専門家のヴァーツラフ・スミルは、1975年に1985年と1990年の中国のエネルギー消費を完璧に予測し、1983年には2000年の世界のエネルギー需要に釘を刺したことを回想している(Vaclav Smil, Energy at the Crossroads (Cambridge, MA: MIT Press, 2005), p. 138)。印象的だった?スミルは、彼の予測を紐解き、個々の判断は間違っていても、組み合わせれば偶然に正確な最終的な数字が得られることを示したのである。スミルのような立場の予測家があまりに多いので、「やった!」と宣言し、同じ手法でさらに予測を重ねたことだろう。
14. デビン・ダフィー、2013年2月18日、筆者との面談にて。私の古いEPJの研究では、狐のような思考スタイルを持つ専門家は、最高の予測をしたのは運が良かっただけだという可能性に対してよりオープンであることを発見した。P. E. Tetlock, “Close-Call Counterfactuals and Belief-System Defenses: P. E. Tetlock, “I Was Not Almost Wrong But I Was Almost Right,” Journal of Personality and Social Psychology 75 (1998): 639-52.
15. トーナメントにおける偶然性の役割が大きくなればなるほど、予想屋が自分のスキルを磨くことを諦めてしまうリスクは大きくなる。しかし、チャンスはエキサイティングなものでもあり、問題解決のための努力を投入し、次のパフォーマンスレベルに到達しようとする予測者の動機付けに最適なチャンスの量があるかもしれない。ポーカーはその最適値に近いと思われる。しかし、ポーカーとは異なり、地政学的なトーナメントでは、スキルと運の相対的な組み合わせが、90/10のスキル有利から10/90の運有利に突然変化することがある。予想屋には、突然違う世界に変貌する世界に対応するスキルを何年もかけて身につけるマルクス・アウレリウスのような気概が必要であり、これはキャリアの中で何度も起こるかもしれない。例えば、コンサートピアニストが、キーボードが故障したピアノで演奏しなければならないことを想像してみてほしい。やる気をなくすだろう。
16. PolitiFact.comの分析(http://www.politifact.com/truth-o-meter/article/2008/sep/09/e-mail-heard-round-world/)を参照。
17. Anne Kilkenny, in e-mail correspondence with the author, January 5, 2014.
9. スーパーチーム(SUPERTEAMS
1. シュレジンジャーは、アーヴィング・L・ジャニス『グループシンクの犠牲者たち』(ボストン:ホートン・ミフーリン、1972)の中で引用されている: A Psychological Study of Foreign-Policy Decisions and Fiascoes (Boston: Houghton Mifflin, 1972), p. 20.
2. 同上。
3. 同上
4. 同上、p.26.
5. マーティ・ローゼンタール、2014年11月13日、筆者との面談にて。
6. Elaine Rich, in discussion with the author, November 20, 2014.
7. Paul Theron, in discussion with the author, November 16, 2014.
8. 集団知能に関するChristopher Chabrisらの研究は、集団レベルの認知機能の創発的特性に関するこの点を強調している。A. W. Wooley, C. Chabris, S. Pentland, N. Hashmi, and T. Malone, “Evidence for a Collective Intelligence Factor in the Performance of Human Groups,” Science 330 (October 2010): 686-88, www.sciencemag.org/content/330/6004/686.full.
9. 贈与のマインドは、しばしばスーパーチームの枠を越えて広がっていく。超予測者で政治学者のカレン・アダムスは、社会により広く貢献するためにプロジェクトに参加した。彼女は、モンタナ州ミズーラの模擬国連の生徒たちに、IARPAトーナメントから学んだ教訓を伝えている。どうだろう?もしかしたら、彼女は次世代の超予測者を育てているのかもしれないね。
10. スコット・ペイジ『The Difference: How the Power of Diversity Creates Better Groups, Firms, Schools, and Societies (Princeton, NJ: Princeton University Press, 2008).
11. これらのトーナメント優勝戦略の詳細については、P. E. Tetlock, B. Mellers, N. Rohrbaugh, and E. Chen, “Forecasting Tournaments: Tools for Increasing Transparency and Improving the Quality of Debate,” Current Directions in Psychological Science 23, no. 4 (2014): 290-95; B. A. Mellers, L. Ungar, J. Baron, J. Ramos, B. Gurcay, K. Fincher, S. Scott, D. Moore, P. Atanasov, S. SWIFT, T. Murray, E. Stone, and P. Tetlock, “Psychological Strategies for Winning a Geopolitical Tournament, “Psychological Science 25, no. 5 (2014): 1106-15; V. A. Satopää, J. Baron, D. P. Foster, B. A. Mellers, P. E. Tetlock, and L. H. Ungar, “Combining Multiple Probability Predictions Using a Simple Logit Model,” International Journal of Forecasting 30, no. 2 (2014): 344-56; J. Baron, L. Ungar, B. Mellers, and P. E. Tetlock, “Two Reasons to Make Aggregated Probability Forecasts More Extreme,” Decision Analysis 11, no. 2 (2014): 133-45; V. Satopää, S. Jensen, B. A. Mellers, P. E. Tetlock, and L. Ungar, “Probability Aggregation in the Time-Series: Dynamic Hierarchical Modeling of Sparse Expert Beliefs,” Annals of Applied Statistics 8, no.2 (2014): 1256-80.
10. リーダーのジレンマ
1. ヘルムート・フォン・モルトケ『モルトケ・オン・ザ・アート・オブ・ウォー:セレクテッド・ライティングス』ed. Daniel J. Hughes, trans. Daniel J. Hughes, and Harry Bell (New York: Ballantine Books, 1993), p. 175.
2. 同上、228 頁。
3. Jörg Muth, Command Culture: Jörg Muth, Command Culture: Officer Education in the U.S. Army and the German Armed Forces, 1901-1940, and the Consequences for World War II (Denton, TX: University of North Texas Press, 2011), p.167.
4. 同上、169 頁。
5. Bruce Condell and David T. Zabecki, eds., On the German Art of War: Truppenführung. German Army Manual for Unit Command in World War II (Mechanicsburg, PA: Stackpole Books, 2009), p. 19.
6. モルトケ『モルトケの兵法について』173 頁。
7. Condell and Zabecki, On the German Art of War, p. 23.
8. モルトケ、『モルトケの兵法』77 ページ。
9. 同上、230 頁。
10. ムート『コマンド・カルチャー』174 頁。
11. Condell and Zabecki, On the German Art of War, p. 18.
12. Werner Widder, “Battle Command: Werner Widder, “Battle Command: Auftragstaktik and Innere Führung: Werner Widder, “Battle Command: Auftragstaktik and Innere Führung: Trademarks of German Leadership,” Military Review 82, no. 5 (September-October 2002): 3.
13. Condell and Zabecki, On the German Art of War, p. 22.
14. 同上、ix 頁。
『15. 戦争と平和の中のアイゼンハワー』ジャン・エドワード・スミス、55 頁より引用。
16. ムス『コマンド・カルチャー』174 頁。これはほとんど陸軍の問題であった。海軍と海兵隊は異なる文化や伝統を持っていた。
17. George S. Patton, War as I Knew It (New York: Houghton Mifflin Harcourt, 1995), p. 357.
18. Jean Edward Smith, Eisenhower in War and Peace (New York: Random House, 2012), p. 612.
19. Eitan Shamir, Transforming Command: Eitan Shamir, Transforming Command: The Pursuit of Mission Command in the U.S., British, and Israeli Armies (Stanford, CA: Stanford University Press, 2011), p. 90.
20. Fred Kaplan, The Insurgents (New York: Simon and Schuster, 2013), p. 74.
21. Thomas Ricks, The Generals (New York: Penguin, 2012), p. 433.
22. Ralph Peters, “Learning to Lose,” American Interest 2, no. 6 (July/August 2007), www.the-american-interest.com/2007/07/01/learning-to-lose/.
23. David Petraeus, in discussion with the author, August 16, 2013.
24. ペトレイアス将軍は物議を醸す人物である。そして読者は、本書に登場する他の善悪の判断の模範となる人物についてしばしば提起されるのと同じ質問を、彼に対しても投げかけるかもしれない: ラリー・クドロー、ペギー・ヌーナン、ロバート・ルービン、ヘルムート・フォン・モルトケ、ラリー・サマーズなどだ。本書がレーザー光線のように正確さを追求していることを忘れないでほしい。おとり商法に引っかかってはいけない。先見の明の判断と人格の判断を混同してはならない。予言者を不倫相手と見るか、愛想のいいテレビ司会者と見るか、熟練したスピーチライターと見るか、ウォール街のインサイダーと見るか、プロイセン帝国主義者と見るか、アイビーリーグの性差別者と見るかは重要ではないはずだ。その予言者がアドルフ・ヒトラーであろうと、第三帝国の初期に、西洋がどこまでヒトラーをなだめることになるかを、他のドイツの指導者たちよりもはっきりと見抜いていたのだから、問題ないだろう。このような無関係な質問を投げかける人々の粘り強さは、予測を純粋な精度ゲームとして扱うことがいかに難しいかを物語っている。私の別の研究分野では、このような傾向を「機能主義的ブレ」と呼んでいる。P. E. Tetlock, “Social Functionalist Frameworks for Judgment and Choice: Intuitive Politicians, Theologians, and Prosecutors,” Psychological Review 109, no. 3 (2002): 451-71.
25. 3M Company, A Century of Innovation: The 3M Story (St. Paul, MN: 3M Company, 2002), p. 156.
26. ドレイク・ベア、「ジェフ・ベゾスがアマゾン帝国を築くために用いた5つの輝かしい戦略」、Business Insider、2014年3月17日。
27. アンドリュー・ヒル「最前線からのビジネス・レッスン」フィナンシャル・タイムズ、2012年 10月 8日。
28. マキシン・ボアズマ、「インタビュー: ‘Company Leaders Need Battlefield Values’,” Financial Times, April 10, 2013.
29. Stephen Ambrose, Eisenhower: Soldier and President (New York: Simon and Schuster, 1990), p.267.
30. Annie Duke, in discussion with the author, April 30, 2013.
31. Joshua Frankel, in discussion with the author, February 13, 2013.
11. 彼らは本当にスーパーなのか?
1. James Kitfield, “Flynn’s Last Interview: Iconoclast Departs DIA with a Warning,” Breaking Defense, August 7, 2014, breakingdefense.com/2014/08/flynns-last-interview-intel-iconoclast-departs-dia-with-a-warning/.
2. ストックホルム国際平和研究所および人間の安全保障報告書プロジェクトによる報告書を参照: 人間の安全保障報告書 2013: The Decline in Global Violence (Vancouver, BC: Human Security Press, Simon Fraser University, 2013).
3. Daniel Kahneman and Shane Frederick, “Representativeness Revisited: Daniel Kahneman and Shane Frederick, “Representativeness Revisited: Attribute Substitution in Intuitive Judgment,” in Heuristics and Biases: ダニエル・カーネマンとシェーン・フレデリック「Representiveness Revisited: Attribute Subitution in Intuitive Judgment」(ヒューリスティクスとバイアス:直観的判断の心理学 Thomas Gilovich, Dale Griffin, and Daniel Kahneman (Cambridge: Cambridge University Press, 2002), pp.49-81.
4. Nassim Taleb, The Black Swan: The Impact of the Highly Improbable (New York: Random House, 2010), p.10.
5. Louise Richardson, What Terrorists Want (New York: Random House, 2007), pp.xviii-xix.
6. タレブ『ブラックスワン』50 頁。
7. J. Bradford DeLong, “Cornucopia: The Pace of Economic Growth in the Twentieth Century,” National Bureau of Economic Research Working Paper Series, Working Paper 7602, National Bureau of Economic Research, March 2000.
8. ダンカン・ワッツ『Everything Is Obvious: *Once You Know the Answer (New York: Crown Business, 2011), p. 153.
9. Donald Rumsfeld, memo to President George Bush, April 12, 2001, …library.rumsfeld.com/doclib/sp/2382/2001-04-12%20To%20George%20W%20Bush%20et%20al%20re%20Predicting%.
10. Richard Danzig, Driving in the Dark: Ten Propositions About Prediction and National Security (Washington, DC: Center for a New American Security, October 2011), p. 8.
11. Oxford Essential Quotations (New York: Oxford University Press, 2014).
12. 一例を挙げれば、MITスローンスクールの元学長であるレスター・トゥローによる1993年の大ベストセラー『Head to Head』は、21世紀初頭の世界経済について、鮮明で説得力があり、かつ間違った肖像を描いたものである。日本やドイツを米国への主要な挑戦者として取り上げ、中国にはほとんど触れなかった。『ヘッド・トゥ・ヘッド』は、1993年に祝われたのと同じように、今日も忘れ去られている。
13. 戦争における死亡率の推定値は、時に大きく異なる。また、何をもって「戦争」とするかについて、定義にまつわる論争が絶えることはない。
14. 大量殺戮の技術が急速に進歩していることを考えれば、賢明な政策立案者は、数百万人の犠牲者を出す戦争のリスク評価を20%、40%、80%と高くしていたかもしれない。このような判断は、外から見た歴史的な基準率と、目下の問題についての内から見た新鮮な情報とのバランスを取る必要がある。
15. 数十年に一度しか起こらないような結果について、予測者の精度をどのように評価することができるだろうか?短い答えは、「できない」である。しかし、この問題には、少なくとも占い師に勝るとも劣らない、卑劣な方法がある。その1つは、第11章の範囲感応度研究をベースに、1年後に交通事故で怪我をするのと10年後に交通事故で怪我をするのとでは、予測者がどれだけ論理的に一貫して稀な出来事の可能性を見積もるかを評価する方法である。もし、予測者がほぼ同じ回答をした場合、基本的な論理的整合性のテストに失敗したことになる。このテストに合格するように指導すれば、予測の論理的一貫性を高めることができる。もう一つのアプローチは、稀な巨大事象の早期警告指標を開発し、その指標に対する予測者の精度を評価し、優れた予測者を、私たちがどのような歴史的軌道に乗るかの優れたガイドとして扱うことである。いずれのアプローチもタレブの問題を解決するものではないが、いずれも何もしないよりはましであり、「もっともらしい」最悪のシナリオを生み出すことができるような変化を拒否しなければならないという予防原則の極端な形を受け入れるよりはましであろう。
16. カーネマンの思考実験は、波打つ海のようなWhat-ifの可能性の表面をかすめたに過ぎない。例えば、ウィンストン・チャーチルのエッセイでは、ゲティスバーグでの南軍の勝利の結果を、第一次世界大戦でのドイツの勝利に至るまで、数人の勇敢な男たちの行動によって決まると考えられている。私は、このような想像力豊かな反実仮想史の旅を楽しんでいる。また、歴史家のジェフリー・パーカー氏とともに、代替史の信憑性を判断する際の課題について執筆した、Unmaking the West: “What-If? “を参照。Scenarios That Rewrite World History (Ann Arbor: University of Michigan Press, 2006)を参照。P. E. Tetlock and A. Belkin, “Counterfactual Thought Experiments in World Politics”も参照: また、P. E. Tetlock and A. Belkin, “Counterfactual Thought Experiments in World Politics: Logical, Methodological, and Psychological Perspectives,” in Counterfactual Thought Experiments in World Politics, ed. P. E. Tetlock and A. Belkin (Princeton, NJ: Princeton University Press, 1996); P. E. Tetlock and R. N. Lebow, “Poking Counterfactual Holes in Covering Laws: Cognitive Styles and Historical Reasoning,” American Political Science Review 95 (2001): 829-43.
12. 次はどうする?
1. 超予測者はどのようにしてこれを成功させたのだろうか。彼らは、関連する証拠に素早く目を向け、無関係な証拠には少ししか気を取られないような、健全な因果関係モデルを組み立てたのである。彼らは、他国の投票パターンから、「変化なし」の選択肢が世論調査の予測よりも良い結果を出す傾向があることを知っていた。なぜなら、一部の有権者は「つまらない」側を支持すると世論調査会社に言うのが恥ずかしいからだ。この効果は、1995年に行われたケベック州のカナダからの分離独立を問う住民投票でも表れていた。ほとんどすべての世論調査が、僅差で「ノー」を支持していたのである。これらの事実を組み合わせると、当初から非常に自信に満ちたノーが得られたことになる。そして、YouGovの世論調査で賛成票が7%優勢となったときも、スーパーはほぼこの方針を貫いた。一時は30%まで上昇したが、その後の世論調査でYouGovの結果が確認されないと、10%のスタート地点まで急降下した。これとは対照的に、選挙前夜、英国の賭け市場では、住民投票の成功に対するオッズはおよそ3:1であった。Simon Neville, “Scottish Independence: Late Surge at the Bookies as Punters Catch Referendum Fever,” The Independent, September 18, 2014, …www.independent.co.uk/news/business/news/scottish-independence-late-surge-at-the-bookies-as-punters-.
2. Daniel W. Drezner, “What Scotland’s Referendum Teaches Me About Punditry,” Washington Post, September 19, 2014, …www.washingtonpost.com/posteverything/wp/2014/09/19/what-scotlands-referendum-teaches-me-about-pundi.
3. 同上。
4. “Silver Speaks. Democrats Despair,” Slate, March 24, 2014.
5. Mac Margolis, “Brazil Threatens Banks for Honesty,” Bloomberg View, August 1, 2014, www.bloombergview.com/articles/2014-08-01/brazil-threatens-banks-for-honesty.
6. これはレーニンの格言の最も一般的な英語訳である。その発音は “kto kvo”に近い。
8. Ira Rutkow, Seeking the Cure: A History of Medicine in America (New York: Scribner, 2010), p.143.
9. 同上、145 頁。
10. Evidence-Based Policy-coalition4evidence.orgのウェブサイト、またはRon Haskins and Greg Margolis, Show Me the Evidence.を参照: Obama’s Fight for Rigor and Results in Social Policy (Washington, DC: Brookings Press, 2014).
11. James Surowiecki, “Better All the Time,” New Yorker, November 10, 2014, www.newyorker.com/magazine/2014/11/10/better-time.
12. 非難合戦のピンポンは、連邦準備制度理事会(FRB)でさえ曖昧な言葉を捨てない理由に光を当てている。というのも、連邦準備制度理事会(FRB)はICとは異なり、内部審議においてすでに定量的(マクロ経済的)モデルに広く依存しているからだ。もし彼らが望めば、その意図についてもっと明確にすることができるはずだ。ベン・バーナンキ前議長が教授時代に、退屈なFedspeakに終止符を打つよう呼びかけていたにもかかわらず、そうしないのである。ここでは、科学的に知りうることではなく、政治的に可能なことの限界に突き当たる。連邦準備制度理事会には、曖昧な言葉の後ろに隠れる理由がたくさんある。彼らは、「もしかしたらという間違った側」にいると非難されたくないのである。これは、最もよく調整された予測者でさえ、しばしば陥るところである。また、一般大衆は信念の更新を合理的ではなく混乱している証拠と見なすことが多いので、自分たちがどれだけ頻繁に考えを変えているかを大衆に見せたくないのである。
連邦準備制度理事会は、国民が真実を求めて騒ぐことはあっても、真実を知る準備はできていないという結論に達したようだ。温厚なベン・バーナンキが、映画『ア・フュー・グッドメン』のジャック・ニコルソンの怒りの言葉「あなたは真実を扱うことができない」を口にしているところを想像してみてほしい。この考え方では、私たちは数字を扱えるほど成熟していないだけなのである。だから私たちは、2015年2月のジャネット・イエレンのこのような発言を解読し続けなければならない: 「フォワードガイダンスの修正は、委員会が数回の会合で必ず目標レンジを拡大することを示すものとして読まれるべきではないことを強調することが重要である」参照:James Stewart, “Wondering What the Fed’s Statements Mean? Be Patient,” New York Times, March 13, 2015, C1.
ICの意味するところは明確である。ICが最終的にFRBと同じように内部審議で不確実性の評価を定量化するようになったとしても、ICはスフィンクスのような外部メッセージにこだわるべきである。
13. しばしばアインシュタインによるとされているが、真の作者は社会学者ウィリアム・ブルース・キャメロンであるようだ。引用調査員:http://quoteinvestigator.com/2010/05/26/everything-counts-einstein/.
14. Leon Wieseltier, “Among the Disrupted,” New York Times, January 18, 2015.
15. Elisabeth Rosenthal, “The Hype over Hospital Rankings,” New York Times, July 27, 2013. スーパー病院、スーパー教師、スーパーインテリジェンスアナリストといった「スーパー」を特定する努力は、2つの理由から簡単に否定される。(1) 卓越性は多次元的であり、私たちはいくつかの次元(患者の寿命、テスト結果、ブライヤー得点)を不完全にしか捉えられない。しかし、解決策は、測定基準を放棄することではない。それは、指標を過剰に解釈しないようにすることである。
16. Thomas Friedman, “Iraq Without Saddam,” New York Times, September 1, 2002.
17. トーマス・フリードマン、「バケーションは終わったのか?」 ニューヨーク・タイムズ、2014年12月23日。
18. Caleb Melby, Laura Marcinek, and Danielle Burger, “Fed Critics Say ’10 Letter Warning Inflation Still Right,” Bloomberg, October 2, 2014, www.bloomberg.com/news/articles/2014-10-02/fed-critics-say-10-letter-warning-inflation-still-right.
19. 聖杯プロジェクトは、あまりにナイーブなため、その名がふさわしいと言う人もいる。衝突する陣営をまとめるには、あまりにも悪意がありすぎる。Jonathan Haidtは、洞察に満ちた2012年の著書『The Righteous Mind』の中で、悲観的な根拠を述べている。しかし、いくつかの成功があれば、素晴らしい前例となる。トーナメントで勝敗を公開するような予想を始めると、人々がよりオープンマインドになると考えるには十分な根拠がある。IARPAの公開トーナメントでは、私が以前行った匿名保証のEPJトーナメントよりも、どれだけ優れたキャリブレーションがなされているかは、非常に注目に値する。そして、研究室での実験から得られた証拠は、さらに決定的なものである。公開トーナメントは、自分が間違っているかもしれないという可能性に目を向けさせる、説明責任の一種を作り出している。トーナメントには、サミュエル・ジョンソンが絞首台に見立てたような効果がある。P. E. Tetlock and B. A. Mellers, “Structuring Accountability Systems in Organizations,” in Intelligence Analysis: B. Fischhoff and C. Chauvin (Washington, DC: National Academies Press, 2011), pp. 249-70; J. Lerner and P. E. Tetlock, “Accounting for the Effects of Accountability,” Psychological Bulletin 125 (1999): 255-75.
エピローグ
1. ビル・フラック、筆者と協議の上、2014年8月5日。
APPENDIX:
超予測者を目指す人のための10の戒め
1. Jo Graven McGinty, “To Find a Romantic Match, Try Some Love Math,” Wall Street Journal, February 14, 2015.
2. グレッグ・マンキウ「リサーチ・アシスタントの過剰な楽観主義」http://gregmankiw.blogspot.com/2013/11/the-excessive-optimism-of-research.html.
3. 代替仮説がある。スポーツは繰り返し行われるのに対し、ビンラディンの捜索は一度きりだったという理由で、バスケットボールのアドバイザーとテロのアドバイザーの確率推定値の扱いに差があることを擁護することができる。オバマ大統領は、バスケットボールの判定が過去の実績に関するハードデータに基づいているのに対し、テロリズムの判定は何もないところから導き出されたように見えると、正当な自信を持つかもしれない。(1)オバマは、国家安全保障における明らかに繰り返される出来事(例えば、ドローンによる攻撃)について、スポーツについて話すのと同じくらい正確なのか。(2)政策決定者は、再現性の低い領域での確率判断が、再現性の高い領域での確率判断と同じように信頼できると知れば、一般に、確率判断に対する「偏見」を捨てられるだろうか。残念ながら、後者の仮説の検証は、政策立案者が一見ユニークな事象の確率判断を収集することに価値を見いださない限り、またその精度を評価することに価値を見いださない限り、不可能であろう。
4. Tommy Lasorda and David Fisher, The Artful Dodger (New York: HarperCollins, 1986), p.213.
5. オクシモロニックな11番目の「戒め」は、創造性の不可欠な役割を思い起こさせるものである。例えば、核兵器やスーパーコンピュータ、遺伝子工学の発明といったブラックスワンのような「前例のない」事態に備えるには、戒律を軽くすることが必要である。もちろん、フリーランチはほとんどない。想像力豊かなシナリオライターにとって、発生する(ヒット)稀なインパクトのある事象に高い確率を割り当て、発生しない(偽陽性)事象にも高い確率を割り当てることは通常不可能である。ヒット率の向上の代償が大きいと考えるかどうかは、偽陽性の誤差をどれだけ低く抑えられるか、他の人が想像できなかった事象に対してどれだけヘッジできるかにかかっている。繰り返しになるが、スーパーフォアキャスティングは、絶え間ないバランス感覚を必要とする。
著者について
ペンシルベニア大学アネンバーグ教授、ウォートン校、心理学、政治学を担当。数年にわたる予測研究「Good Judgment Project」の共同リーダーであり、『Expert Political Judgment』、アーロン・ベルキンとの共著『Counterfactual Thought Experiments in World Politics』の著者でもある。また、米国科学振興協会、米国科学アカデミー、米国心理学会、米国政治学会など、多くの学会から賞を授与されている。
リスク:恐怖の科学と政治」「フューチャー・バブル(Future Babble)」の著者である: Why Pundits Are Hedgehogs and Foxes Know Best』の著者。