Contents
4. グーグルは神か？ ビッグデータがもたらす危険な約束
未来については、あなたの仕事はそれを予見することではなく、それを可能にすることである。
-アントワーヌ・ド・サン＝テグジュペリ
今や世界のほとんどの活動は、数多くのデジタルな痕跡を残している。もしも「賢明な王様」や「慈悲深い独裁者」が、世界中のすべてのデータにリアルタイムでアクセスできるとしたらどうだろう？社会に利益をもたらす完璧な決定を下すことができるだろうか？未来を予測することができるだろうか？世界の進路をコントロールできるだろうか？そのようなアプローチの限界や副作用はどのようなものだろうか？あるいは、未来を予測するデジタルの「水晶玉」や、世界をコントロールするデジタルの「魔法の杖」を作ろうとする試みは、危険な夢なのだろうか？
歴史的に見て、人類の文明は、協力や社会秩序を促進するメカニズムを確立することで発展してきた。その一つが、「人間の行動はすべて神に見られ、裁かれる」という考え方である。悪いことをすれば罰せられ、良いことをすれば報われる。これは、宗教が社会秩序を確立するためのメカニズムの一つと考えられる。最近では、情報化時代の到来により、世界のすべてを自分で知り、思い通りに形作ることができるのではないかという夢を、一部の鋭い戦略家が抱いている。ビッグデータを活用して、神のような全知全能を手に入れることができるのではないか。そのような力が、GoogleやFacebookなどのテクノロジーとデータの巨大企業、あるいはCIAやNSA（米国家安全保障局）などのシークレットサービスの手の届くところにあるのではないかという期待と不安がある。2013年、CIAの最高技術責任者であるアイラ・”ガス”・ハント1は、こうした機関が我々一人ひとりの膨大な情報を集めることがいかに容易であるかを説明している。
「あなたはすでに歩くセンサープラットフォームになっている…モバイル機器を持ち歩いているため、たとえそのモバイル機器の電源が切れていても、誰かがあなたの居場所を常に知ることができるという事実を知っているはずである。このことを知っているだろうか？どうだろう？持っていない点をつなげることはできないから、我々は基本的にすべてのものを集めて永遠に持ち続けようとするモードになる。」
この大規模なデータ収集プロセスは、テロや犯罪などの社会的悪をなくすのに役立ち、世の中のためになるのだろうか？社会を完璧な時計仕掛けにし、人間が犯す過ちを克服することができるようになるのだろうか。それとも、多くの情報がさらに大きな問題を引き起こすのだろうか？
4.1 「賢明な王」に力を与えるテクノロジー？
あなたがある国の大統領で、その国の人々の福祉を最大化することを目指していると想像してみてほしい。あなたならどうする？おそらく、金融危機、経済危機、社会問題、戦争などを防ぎたいと思うだろう。安全で信頼できる食料、水、エネルギーの供給を確保したいと思うだろう。また、環境の悪化を防ぎたいと思うかもしれない。人々が豊かで、幸せで、健康であることを望むかもしれない。さらに、交通渋滞や汚職、薬物乱用などの問題を避けたいと思うかもしれない。要するに、豊かで、持続可能で、弾力性のある社会を作りたいと思っているのではなかろうか。
これらを実現するためには何が必要だろうか？正しい判断を下し、意図しない有害な副作用を避ける必要があるのは確かである。そのためには、適切な判断を下し、予期せぬ副作用を引き起こすような判断は避ける必要がある。また、判断を下す際には、代替となる行動様式や、それに伴う機会とリスクを知る必要がある。あなたの国が繁栄するためには、イデオロギーや衝動的な意思決定を避け、データに基づく証拠があなたの行動を導く必要がある。このような意思決定のための十分な情報を得るためには、生活や社会のあらゆる定量化可能な側面に関する大量のデータと、それを解釈する優秀なデータアナリストが必要になる。脅威や危機に対処したり、チャンスを掴んだりするのに役立つかもしれないので、（可能な限り）世界中のデータを集めようと思うかもしれない。
これまでの統治者や政府には、このような可能性はなかった。十分な情報に基づいた意思決定を行うために必要なデータの質や量が不足していることが多かったのである。しかし、この状況は変わりつつある。ここ数十年でコンピューターの処理能力は爆発的に向上し、蓄積されるデータ量も劇的に増加している。毎年、人類の歴史上最も多くのデータが生成されているのである2。
4.2 デジタルの「水晶玉」？
これまで我々は、経済や社会、政治を理解する以外のほとんどのことにスーパーコンピュータを利用してきた。新しい車や飛行機は、作る前に必ずコンピュータで設計し、シミュレーションし、テストする。最近では、医療用医薬品の研究開発にも同様のことが言えるようになってきている。このように、経済や社会を理解し導くためにも、コンピュータを使うべきではなかろうか。実際、我々はこの方向に向かって進んでいる。ちょっとした例では、コンピュータは初期の頃から交通管制に使われてた。一方、現代の生産やサプライチェーンマネジメントも、コンピュータによる制御なしには考えられない。また、飛行機は数台のコンピュータの多数決で制御されるようになったし、運転手のいないコンピュータ制御の自動車が街を走る日も近いと思われる。いずれの場合も、コンピュータは人間よりも優れた仕事をする。パイロットやドライバー、チェスの腕前が人間より優れているのなら、警察官や行政官、弁護士、政治家もコンピュータのほうが優れているのではなかろうか。
今日のデータ量と計算能力を考えれば、全世界の人間の行動と相互作用をシミュレートしようとする巨大なコンピュータシステムを想像することは、もはや不合理ではないように思われる。そのようなデジタルミラーワールドでは、我々のバーチャルな替え玉には、認知能力や意思決定能力が備わっているかもしれない。これらの仮想人間に我々自身の個人データを与えたら、彼らはどれほど我々に似た行動をとるだろうか3？
スマートフォンのデータやGPSの記録を利用した最近の研究によると、ある特定の時間における人の行動を90％以上の精度で予測できることがわかっている4。我々の生活は、毎日、毎週のように繰り返されるスケジュールやルーティンによって驚くほど予測可能であり、我々の性格や属性を判断することも可能である5。予測分析のための高度なツールを開発し、デジタルな「水晶玉」を作ろうとしているPalantir社やRecorded Future社のような企業もある。米国では軍が同様のプロジェクトに取り組んでおり6、他の国でも同じようなことが考えられる。
デジタルの水晶玉を作るというと、不吉な印象を受ける人もいるかもしれないが、慎重に議論すべきである。このような予測能力があれば、多くの巨大な問題が解決される可能性があり、潜在的な利益は明らかである。金融危機により、世界で少なくとも15兆ドルの損失が発生している。犯罪や汚職は、地球上のすべての国の国内総生産（GDP）の約2〜5％を消費し、毎年約2兆ドルが費やされている。世界人口の1％が感染する大規模なインフルエンザのパンデミックは、年間1〜2兆ドルの損失をもたらす可能性がある。9月11日以降の戦争には、何兆ドルもの費用がかかっている。また、サイバー犯罪の被害は、ヨーロッパだけでも年間7,500億ユーロ以上にのぼる。
もし、世界の社会経済システム全体をコンピュータでシミュレーションして、これらの問題への対処が1％でも改善されれば、社会への恩恵はすでに計り知れないものがある。しかし、小規模で複雑な社会システムの管理が参考になるとすれば、10〜30％の改善でも可能だと思われる。そうすると、年間1兆ドル以上の節約になる。このようなシステムを構築するために何十億もの投資をしなければならないとしても、100倍の投資効果が期待できる。仮に成功率が大幅に下がったとしても、かなりの利益になる。このように、デジタル水晶玉は価値のある投資だと思う。しかし、世界が予測された通りに進み、個々の意思決定者がそれを台無しにしないようにするには、どうすればよいのだろうか？
4.3 デジタルの「魔法の杖」 人間のためのリモートコントロール？
我々は、インターネットを利用するたびに、デジタルの痕跡を残す。これらの痕跡は、電子的な「クッキー」やその他の手段によって収集され、多くの場合、我々の同意なしに収集される。しかし、我々についてのデータが生成され、保存され、解釈されればされるほど、共有されることを意図していなかった我々についての情報を容易に見つけることができるようになる。我々のコンピュータやスマートデバイスには、その設定、ワイヤレスネットワークへのログイン、行動パターン、移動記録など、固有のデジタル指紋が残されている。その結果、データアナリストは、我々の興味や情熱、考え方、感情までも推測することができるようになった。「消費者の遺伝子」を分析して、個人に合った商品やサービスを提供する企業もある。個人情報から派生する3000〜5000種類のメタデータは、名前、連絡先、収入、消費習慣、医療情報など、すでに世界中の10億人近くから収集されている7。したがって、一定の収入とインターネット接続環境があれば、誰もがある程度マッピングされていることになる。
このことは、議論の余地はあるものの、避けて通れない問題を提起している。企業や善意の政府がこれらのデータにアクセスできたらいいのだろうか？政治家や行政が、テロや犯罪、エネルギー消費、環境悪化、交通渋滞、金融崩壊、不況などを減らすための決断を下すのに役立つだろうか？さらに、そのデータを使って、医療や教育のシステムを最適化したり、市民のニーズに合った公共サービスを提供したりすることができるだろうか。
問題は、このアイデアがどこまで実現できるかである。人生のあらゆる側面に関する十分なデータがあれば、人は全知全能になれるのだろうか？世界の未来を予測することも可能になるのだろうか？そのためには、人々がどのような選択をすれば、これまでの予測から外れることがないかを判断しなければならないだろう。どうすればいいのか？意外と簡単だ。我々の選択を操作するように作られた、我々のために特別に作られた情報を使うことができる。パーソナライズド広告は毎日のように行われている。パーソナライズされた広告は、我々が他の方法では気にも留めなかったような製品やサービスを購入させてくれる。個人情報を集めれば集めるほど、パーソナライズド広告はより効率的になる。
このように、我々の選択を操作できる可能性が、政治家にとっても魅力的でないとしたら、驚くべきことである。圧倒的な量のデータがある現在、我々にとって有益な情報を得るためには、情報をフィルタリングする必要がある。そのようなフィルタリングは、フィルタリングを行う者、あるいはフィルタリングのためにお金を払う者の利益のために行われることは避けられない。約70万人のユーザーが参加した最近のFacebookの実験では、人の感情や気分を操作することが実際に可能であることが示された8。
www.wsj.com/articles/furor-erupts-over-facebook-experiment-on-users-1404085840
では、「全知」を「全能」に変えることは、すぐに可能なのだろうか。つまり、すべてのデータにアクセスできる人が、最終的にすべてをコントロールできるようになるのではないか？そのような力を生み出す仮想の道具を、デジタルの「魔法の杖」と呼ぼう。仮にあなたが一国の大統領で、その魔法の杖を持っていたとしよう。あなたは「全知全能」になれるだろうか？つまり、社会や我々一人一人にとって最良の決断を下すことができるだろうか？社会の動向を予測することは、天気を予測することとは違う、と多くの人が言うかもしれない。天気は予報に反応しないが、人は反応する。このことは、社会的な予測が発表されたとしても、それは信頼できない（あるいは「自滅的な予言」でさえある）ということを示唆しているように思える。しかし、秘密の機関が我々のデータを評価し、政府に正しい判断を助言したとしたらどうだろうか。そして、魔法の杖は、水晶玉が提供する証拠に基づいて人々の行動を操作するために使われることになる。このような計画はうまくいくだろうか？
4.4 情報に基づく新しい世界秩序？
希望に満ちた「慈悲深い独裁者」や「賢明な王」は、おそらく水晶玉と魔法の杖を、望ましい社会的結果を生み出すための完璧な道具だと考えるだろう。もちろん、「賢明な王様」は、我々の願いをすべて叶えることはできないが、我々が彼に従う限り、皆のために平均してより良い結果を生み出すことができるかもしれない。そのため、「賢い王様」は、人々の自律的な判断が自分の計画を妨げるような場合には、個人の自由を妨げることもあるだろう。しかし、それは全体主義的なテクノクラシーのようなものであり、あたかも神の命令のように、個人の指示に全員が従わなければならない。このような「大きな政府」のアプローチには2つの種類がある。「ビッグ・ブラザー」社会は、大量の監視と、「予測的取り締まり」アルゴリズムによって決定された命令に従わない人や従う見込みのない人を処罰することで成り立っている（その効果は疑問視されているが9）。「ビッグ・マニピュレーター」社会は、大量の監視と、パーソナライズされた情報を使った大量の操作の上に成り立つだろう。もちろん、これらのアプローチを組み合わせることも可能である。
この2つのアプローチは、すでに始まっていることがわかっている。過剰な規制社会では、ほとんどの人が1年のうちに何らかの法律や規制に違反していることを認識しなければならない11。新設された区間ごとの速度規制では、そのような技術がすでに試されている。古くから民主的な法制度の基礎となってきた「推定無罪」の原則が、今、問われている。大規模な監視システムの使用により、ほとんどの人が善良な市民であるという前提は、事実上、すべての人が規則に違反している、あるいは「賢明な王」、「大きな政府」、「慈悲深い独裁者」の計画の障害になるかもしれないという前提に置き換えられている。多くの国では、専門の警察部隊が兵士のように装備されるようになってきており、デモの際には、人々が犯罪的、暴力的、不適切な行動をとっていない場合でも、新しい強制的な戦略が試されているようである。しかし、これまでのところ、世論の反発を招き、国を挙げての抗議活動に発展することはなかった12。傷つかない方法で、社会的に良い結果を得ることができれば、完璧ではなかろうか。人間の意思決定の方法を理解するための十分なデータはまだないが、人々の選択を操作するための十分なメタデータがすべての人について存在するようになった。
4.5 ナッジング（Nudging） 国が我々の意思決定を管理する場合
個人データが大量に収集される時代には、誰もが潜在的な容疑者であるだけでなく、操作を試みられる可能性がある。ビッグデータ分析は、人間の複雑な行動を理解するには程遠いものの、我々一人一人について収集された数千のメタデータに基づいて、我々の意思決定を操作することができるほど高度なものである。パーソナライズされた広告で我々に影響を与えることで、毎年何十億もの収入を得ている企業もある。例えば、世界で最も価値のある企業のひとつであるGoogleは、収益の90％以上を広告で稼いでる。したがって、彼らは情報ではなく、主に操作によって収益を上げていると考えることができるかもしれない13。
このような企業は、我々に関する膨大な量の個人データを保存しているため、親しい友人を含め、我々のことを他の誰よりもよく知っているだろう。したがって、これらの企業は、パーソナライズされた情報を使って、我々の選択を容易に操作することができる。その結果、我々は意識せずに多くのことを行うようになるかもしれない15。我々はある程度、他人に遠隔操作されており、個人情報の量が増え、強力な機械学習アルゴリズムが開発されれば、我々の行動を操作しようとする試みはますます成功するだろう16。
人々の意思決定に影響を与える可能性は、ビジネスだけでなく、政治にとっても非常に魅力的である。政治的な文脈では、この方法は「ナッジング」または「リベラル・パターナリズム」と呼ばれ、人々の選択を改善するための完璧なツールとして宣伝されてきた17。政治指導者にとって、我々を説得することなく、より健康的で環境に優しい方法で行動させることができる道具を手に入れることは、非常に魅力的なことに違いない。しかし、同じアプローチが、ナショナリズム、マイノリティに対する遠慮、戦争賛成の感情を促進するために使われることもある。これまでのところ、ナッジングを使っても、社会の問題点は増加しないどころか、逆に減っていると言えるだろう。
とはいえ、ナッジングを使って我々の投票行動に影響を与えたいと思うかもしれない。実際、専門家たちは、GoogleやFacebookのような企業が選挙結果に影響を与えることができると考えている。19 少なくとも、我々の個人データ（ほとんど同意なしに蓄積されたもの）が選挙に勝つために使われていることは公に知られている。個人の自由と民主主義は、もはや時代遅れなのかもしれない22（付録4.1参照）。
ナッジングのほかにも、多くの政府は、特殊なエージェントに報酬を支払ったり、コンピュータ・ボットを配備したりして、我々に特定のことを信じさせたり実行させたりするために、偽の情報を作り出している23。例えば、イギリスは中央政府の権限を強化しようとしたが、現在は地方自治を強化する傾向にある。また、トルコでは、大統領の立候補を支援するために公共メディアの報道を「合理化」したにもかかわらず、大統領の権力がこれまで以上に疑問視されている。公的な報道があまりにも偏っていたため、誰も2015年の選挙結果を予想していなかった。これにより、金融市場に大きな混乱が生じた25。
私は、デジタル社会が繁栄するためには、操作や情報汚染を減らすことを学ばなければならないと深く確信している。信頼できる情報システムがなければ、我々が直面している状況を判断できる人はほとんどいないだろう。信頼できる情報システムがなければ、我々が直面している状況を最終的に判断できる人はほとんどいないだろう。
今日の情報システムの問題点の1つは、透明性の欠如である。今日の情報システムの問題点の一つは、その透明性の低さである。検索エンジンが提供する結果の質については、通常、我々は知る由もない。これらのアルゴリズムは、我々がインターネットで検索したときの結果の順位を決定し、どの情報が上位に表示され、どの情報が隠されるかを決める。このような操作は、単なるビジネスモデルなのか、それともそれ以上のものなのか？
4.6 Googleは神か？
巨大な情報の塊を動力源として、未来を予測する水晶玉や、未来を形作る魔法の杖がすでに作られ、使われ、さらに改良されていることを見てきた。グーグルや米国家安全保障局（NSA）のような企業が、「賢明な王」や「慈悲深い独裁者」の役割を担おうとしていると想像しても、もう遠い話ではない。それとも、もっと大きな野望を抱いているのだろうか。
シリコンバレーの多くの人々が、世界を変え、再発明する能力があると信じていることは間違いない。Googleのような企業は、強力な検索エンジンやスマートなソフトウェアツール、自動運転車を作っているだけではない。Google Loonプロジェクト32による「全知全能」や、巨大な検索エンジンで世界中の知識を収集する「全知全能」も実現しようとしているようである。「知識は力である」ということを考えると、グーグルは（人々の選択を操作することで）全知全能を目指しているのかもしれない。さらに、Googleは死を克服したいと考えていることが知られている33 （例：Google Calico）や、人工知能を作りたいと考えていることが知られている（例：Google Brainプロジェクト）34。それはどのような神なのだろうか？我々を監視する神、我々の運命を支配する神、あるいは我々に責任と自由を与える神？また、そのような計画はどれほどうまくいくのだろうか？
とりあえず、このようなデジタルパワーを持つ企業や政府は、利己的ではなく善意で行動したいと素朴に考えてみよう（つまり、我々から搾取しようとするのではなく、我々の面倒を見てくれるということである）。このようなアプローチは、世界の状態を最適化することができるだろうか？これは思ったよりも厄介なことである。
4.7 エラー、第一種、第二種 良いことをするのは簡単ではない
まず第一に、人が最適化すべきゴール機能とは何だろうか？お金か？幸福？健康？安全？イノベーション？平和？それとも持続可能性？意外なことに、明確な答えを出せる科学的な方法はないが、もし間違ったゴールを選択したら、それは災難に終わるかもしれない35。したがって、あらゆる場所で単一のソリューションを選択して実施することは、非常に危険である36。例えば、リスクや行動の良し悪しは、すべての測定値にノイズが含まれているため、完全に分離することは困難である。その結果、偽陽性の分類（誤警報、いわゆるタイプIエラー）や偽陰性の分類（タイプIIエラー、アラームが必要なときに作動しない）という問題がある。
5億人の人口の中に、500人のテロリストがいるとする。その中に500人のテロリストがいるとする。ここでは、99％という非常に高い精度でテロリストを識別できると仮定する。このシナリオでは、1％の偽陰性（第2種エラー）があり、5人のテロリストが検出されない一方で、495人が発見されることになる。新聞によると、過去12年ほどの間に欧米諸国で発生した約50件のテロは未然に防げたが、ボストンマラソンやパリの「シャルリー・エブド」編集部へのテロは、犯人がテロ容疑者のデータベースに登録されていたにもかかわらず、防ぐことができなかった（つまり、偽陰性であることが判明した）と報じられている。
では、どれくらいの誤検出（誤警報）があるのだろうか？I型誤差が10,000分の1であれば、5万人の無実の容疑者がいることになり、1000分の1であれば50万人の無実の容疑者がいることになる。1000分の1であれば50万人、1％であれば500万人の無実の容疑者がいることになるし、500万人の無実の容疑者がいることになる。この数字が正しければ、本物のテロリスト1人に対して、約1万人の無実の市民が誤ってテロリスト候補に分類されることになり、おそらくそれ以上になるだろう。9.11テロ以降、約4万人の容疑者が国際空港で特別な尋問やスクリーニングを受けなければならなかった。そのうち99％は無実であると判断されている。メディアの報道によると、エドワード・スノーデンと同レベルの国家安全保障局（NSA）のクリアランスを持つ人が、アメリカだけで100万人も雇われているという38。
このように、大規模な監視は、テロと戦うための有効な手段ではないようである。このような大規模な監視は、大量の偽陽性を引き起こすため、何百万人もの人々が不必要に治療を受け、その結果、健康に悪影響を及ぼすことが多いからである40。
これらのタイプIとタイプIIのエラーとは別に、3つ目のタイプのエラーが発生する可能性がある：間違ったモデルの適用である。例えば、最近の金融・経済危機の原因の一つは、稀な極端な現象を十分に考慮していないモデルにある。多くの金融商品のリスクが想定よりもはるかに大きいことが判明し、莫大な損失をもたらした。英国金融サービス機構のトップであるエイダ・ターナー氏は、次のように指摘している。
「危機をもたらしたのは、悪い経済学、というよりも、単純すぎる経済学、そして過信した経済学であると強く信じられている」と指摘している。市場は常に合理的で自己平衡的であり、市場の完成はそれだけで経済の効率性と安定性を確保することができ、金融革新と取引活動の増加はそれゆえに公理的に有益であるという支配的な常識があった」。
4.8 “水晶玉”の限界
これらの3種類のエラーは、データが十分にあれば克服できると思うかもしれない。しかし、本当にそうだろうか？水晶玉の予測力を損なう根本的な科学的要因はいくつもある。例えば、「ラプラスの悪魔」と呼ばれる問題では、将来の発展はすべて世界の歴史によって決定されると仮定している。その結果、我々の予測能力は、未来を予測するために必要なすべての歴史的情報を測定することができないことによって、根本的に制約を受けることになる41（世界が決定論的なルールに従って変化することをまったく想定していないが、これには疑問がある42）。
一般に、我々の世界のある側面を表すコンピュータモデルのパラメータは、一定の精度でしか決定できない。しかし、想定したモデルのパラメータがそれぞれの「信頼区間」内でわずかに変動しただけでも、モデルの予測が根本的に変わってしまう可能性がある。複雑な人為的システムでは、このような「パラメータ感度」が大きくなることが予想される。十分なデータが得られれば信頼区間を狭めることができるが、データが多すぎるのも問題である。「オーバーフィット」、「スプリアス相関」、「ハーディング効果」などによって予測の質が低下する可能性がある。
さらに、多くの複雑な力学系では、「乱流」や「（決定論的）カオス」といった現象が見られ、わずかな違いでも結果が根本的に変わってしまうことがある。このよく知られた性質は「バタフライ効果」と呼ばれている。また、この性質を利用して、それ以上の予測はできないというタイムリミットが設けられている。気象学者が数日以上にわたって天候を合理的に予測できないのは、気象現象の特殊な物理学的性質が理由であり43、100万倍のデータがあっても、これを根本的に変えることはできない。
社会システムには、曖昧さという問題がある。同じ情報でも、文脈によっては複数の異なる意味を持つことがあり、その解釈の仕方によってシステムの将来の進路が左右される可能性があるのである。さらに、カート・ゲーデル（Kurt Gödel, 1906-1978）以来、いくつかの問題は根本的に決定不可能であることが知られている。つまり、ある文の正しさは形式論理では証明も反証もできないということである。付録4.2では、これらの問題について詳しく説明している。
このように、ビッグデータは万能ではないと言わざるを得ない。44 未来を予測する試みは、ほとんどが確率的で短期的な予測に限られるだろう。これは特に不安定なシステムに当てはまる。したがって、将来を確実に予測できる水晶玉を作ることができると考えるのは危険である。結果として、ビッグデータの現実世界への適用には、批判的評価と特別な注意が必要である。
4.9 “魔法の杖 “の限界
水晶玉が “曇っている “と、それに依存する魔法の杖もうまくいかない。そのため、魔法の杖を使用すると、意図しない結果を招くことがよくある45。また、魔法の杖をうまく使いこなせるようになるかどうかは疑問である。実際のところ、トップダウンのコントロールは、我々の世界の問題の多さが示すように、いまだに非常に効果的ではない。この複雑な世界をコントロールするためには、つまり、望ましい方向に変化させるためには、現在よりもはるかによく理解する必要がある。多くの場合、複雑な動的システムをトップダウンで制御しようとすると、システムの正常な機能（例えば、社会文化的な手掛かりによる行動の誘導46）が損なわれる傾向があるため、惨めに失敗する。その結果、「壊れた」システム、例えば、不安定や危機が発生することがある。トップダウン制御の失敗の例として、飛行機の飛行安全性の最大の改善は、技術的な制御メカニズムによってではなく、コックピットに非階層的な協力の文化を導入し、副操縦士がパイロットの決定や行動に疑問を持つことを奨励したことによって到達したという事実がある。もう一つの例である日本の福島原発事故では、公式調査報告書が、原発のメルトダウンの原因は主に地震と津波ではなく、次のように強調している。
「我々の反射的な従順さ、権威に疑問を持ちたがらないこと、プログラムに従うことへの献身、集団主義」
残念ながら、トップダウン・コントロールの失敗を示す例は他にもたくさんある。アメリカの「麻薬戦争」は、4,500万人の逮捕者を出したにもかかわらず、ほとんど効果がなかった。同様に、2001年9月11日以降の世界では、「法と秩序」を守るための多くの試みが失敗に終わった。アフガニスタンやイラクでの戦争は、地政学的な地域を安定させるという目的を達することができなかった。それどころか、「アラブの春」や「イスラム国」の戦争の余波を受けて、世界は混沌とした状況に直面している。「テロとの戦い」に勝利するために用いられた拷問は効果がないことが判明し、ドローンによる攻撃は、紛争を減らすどころか、新たな紛争の引き金になっているようである47。
一部の政府が力を持っているにもかかわらず、こうした統制の試みが失敗するのはなぜだろうか。それは、我々の社会のような複雑な動的システムは、バスのように操縦することができないからである。同じく複雑な力学系である我々の身体と比較してみよう。ここでは、薬をたくさん飲んでも効き目がないどころか、毒になってしまうことをよく知っている。したがって、経済や社会では、パワーを適切な量、適切な場所、適切な方法で適用する必要がある。一般的には、パワーが必要なのではなく、知恵が必要なのである。多くの場合、過剰なトップダウンの管理は問題であり、解決策ではない。多くの先進国では、国内総生産の100〜200％以上の負債を抱えている。
4.10 複雑さこそが最大の課題
今日の人間の影響を受けたシステムの複雑さは、「超政府」、「賢明な王」、「慈悲深い独裁者」といった概念が長期にわたって機能しない主な理由である。問題となる複雑さには、少なくとも、動的複雑さ、構造的複雑さ、機能的複雑さ、アルゴリズム的複雑さの4種類がある。私はすでに、複雑なダイナミクスの問題を取り上げた。以下では、構造的複雑性、機能的複雑性、アルゴリズム的複雑性の意味合いに焦点を当ててみたいと思う。集中型のスーパーコンピュータを使ったアプローチでは、アルゴリズムの複雑さが十分に低い最適化問題しか解決できない。しかし、多くの問題は「NPハード」、つまり計算量が非常に多く、現在のスーパーコンピュータを使ってもリアルタイムで処理することができない。この問題は、大きな変動性を持つシステムで特に顕著になる。このような場合、トップダウンの制御では最適な結果が得られないことが多いのである。後の章では、信号機の制御を例に挙げて説明する。
計算機の性能が急速に向上している今、将来的にこの課題を克服することはできないのだろうか？意外にも答えは「ノー」である。処理能力が18ヶ月ごとに2倍になるのに対し（図4.1の青の曲線）、データ量は12ヶ月ごとにさえ2倍になり（緑の曲線）、その成長率はさらに高まる48。このことは、適切な判断を下すのに十分なデータがなかった状況から、証拠に基づいた判断を下せる状況に向かっていることを意味する。しかし、処理能力が向上しているにもかかわらず、世界の全データのうち処理できる割合は減少していく49。さらに、処理能力の差は急速に拡大していく。つまり、「デジタル懐中電灯」のようなもので何でも見られるかもしれないが、多くのものは暗闇の中で見えないままという状況に向かっているのである。さらに、システムの中には不可解なほど複雑なものもある。つまり、どんな些細なことでも問題になるのである50。
「フラッシュライト効果」は、ある問題に注意を払いすぎて、他の問題をおろそかにしてしまうという、新しい種類の問題を生み出す。時には、本当に大きな問題を見落としてしまうこともある。例えば、世界が9.11以降のテロ対策に集中している間に、史上最大の金融危機が発生した。金融危機を克服しようとしていた政府は、「アラブの春」の到来を予測していなかった。また、「アラブの春」の後処理に追われている間に、「ウクライナの危機」が発生したことも知らなかった。その後、「イスラム国」との対立も予想できなかった。このように、すべてをバランスよく把握することは、今後ますます難しくなるだろう。それどころか、政治は突発的に発生する問題に振り回されるようになる。そのため、本来あるべきプロアクティブな意思決定ではなく、リアクティブな意思決定がなされることが多くなるだろう。
しかし、ここで、世界の複雑性がどのように増大していくと予想されるかという問題を見てみよう。世界の構成要素をネットワーク化することで、選択肢はますます増えていく。実際、新しいシステムや機能性を生み出す可能性が、組み合わせ数だけあるのである。2種類の物体があれば、それを組み合わせて3つ目の物体を作ることができる。この3つのオブジェクトをいろいろな方法でつなげると、すでにあるものも含めて6つのオブジェクトを作ることができる。これは数学的には指数関数よりもはるかに速く成長する階乗関数に反映されている（図4.1の赤い曲線を参照）。例えば、インターネットで通信する人の数よりも、デバイスの数の方が多くなる日も近いだろう。今から約10年後には、1,500億個（！）の “モノ “がインターネットと通信するようになる。このように、すべての組み合わせの可能性の1000分の1や100万分の1を実現したとしても、階乗曲線は、データ量や計算能力を表す指数曲線をいずれは追い越すことになる。おそらく以前から、この2つの曲線を追い越していたのではなかろうか。通信帯域が限られているため、集中的に処理できるデータの割合はさらに少なくなる。そのため、集中的な最適化アプローチでは、良い解を得るために必要な多くのローカル情報が無視されてしまう。
つまり、トップダウンでシステムを最適化しようとしても、その効果はどんどん薄れていき、リアルタイムで実行することはできない。量子コンピューティングのような革新的な新技術をもってしても、この状況を変えることはできないだろう（付録4.3参照）。逆説的に言えば、経済の多様化や文化の進化が進めば進むほど、「大きな政府」や「超政府」、「慈悲深い独裁者」は、地域の多様な期待や要求を満たすことが難しくなるため、適切な判断を下すことができなくなっていくだろう51。アフガニスタンやイラク、シリア、ウクライナ、そして「アラブの春」を経験している国々の状況や、金融・経済・公的債務の危機を考えると、もしかしたら我々はすでにコントロールを失っているのではないか？我々は、複雑性との絶望的な戦いをしているのだろうか？
4.11 付録1：民主主義と自由-時代遅れの概念？
最近では、多くの人がこう尋ねているようである。「自由と民主主義の概念は時代遅れなのか？これについて考えてみよう。「意志の自由」や「意思決定の自由」は、実はこれまでにも様々な理由で疑問視されてきた。例えば、ある宗教では、人間の運命はあらかじめ決まっていると考えられている。もしそれが本当なら、我々の人生は基本的に3D映画を再生するようなものである。我々には、選択する可能性もなければ、自分の行動に対する責任もない。その結果、人々は悪いことをしたからではなく、公共の秩序を乱したからといって刑務所に送られることになるだろう。また、報道の自由もない。しかし、このような枠組みの中では、ビジネスリーダーや政策立案者も何も決めることができない。自分の身に起きていることをただ受け入れるしかないのである。
他の文化では、人々が自分で決断できることが認識されているが、誰もが個人的な決断を上位機関やより強力な人たちの利益に従わせることを期待されている。そのような社会は、階層的に組織されている。それに比べて欧米の民主主義社会では、個人の自由を尊重するために、人や組織の力が法律によって制限されている。これにより、長い間、起業活動、成長、繁栄、社会的幸福が促進されてきた。驚くべきことに、最も発展した経済は最も多様性のある経済である（その逆もまた然り）53。
「意思決定の自由」に対する新たな批判が、一部の神経生物学者から寄せられている54。彼らの実験によると、意思決定の自由という感覚は、脳内で実際に意思決定が行われた後に生じるという。しかし、これは何の証明にもならない。自由な意思決定をしたという感覚は、実行したことを意識的に確認しただけかもしれない。
もちろん、我々の意思決定は、外的要因に影響されることも多い。しかし、人はコンピュータのように（教育や公共メディアなどの外部からの影響によって）プログラムされ、プログラムされたことを実行するだろうという行動主義の古い考えは、とっくに破綻している。
ほとんどの人は、同じような状況でも、（奪われた状態でなければ）異なる意思決定をすることを学ぶことができることは疑いの余地がない。熟慮の結果としての意識的な意思決定は、意思決定を行う前に、可能性のある選択肢を様々な観点から比較する。ある意味では、重要と思われる多くの側面を考慮することが意思決定の技術であり、人によっては可能な意思決定の結果を脳内でシミュレートすることに長けている。
社会的な観点から見れば、実質的に同じ状況で異なる意思決定の結果が、自由意志の結果であるか、ランダム性の結果であるか、あるいはその他のメカニズム（「決定論的カオス」や「乱流」など）の結果であるかは、あまり重要ではない。本当に重要なのは、イノベーションや良いアイデアの普及を支援する社会経済的な制度である。
世界の問題を解決し、環境、社会、経済、技術の変化に対応するためには、我々の問題解決能力を高めなければならない。我々は、より効率的に優れたアイデアを取り入れ、それらを組み合わせる、つまり集合知を触媒する必要があるのである。その結果、個人の自由を支持する国は、新しいアイデアを生み出すことに長けており（図4.2の緑の棒グラフ）、他の国は、そのアイデアを応用することに長けていることがわかった（赤い棒グラフ）。
4.12 付録2: 水晶玉を作ることの限界
4.12.1 「ラプラスの悪魔」と測定問題
ラプラスの悪魔は、宇宙のすべての粒子の正確な位置と速度、およびそれらの運動と相互作用を支配する物理法則を知っていれば、未来の世界のすべての状態を計算することができるという仮想的な存在である。なぜなら、アインシュタインの特殊相対性理論の制約により、すべての粒子の速度を測定することは不可能だからである。これでは、必要なデータをすべて集めることができない。
4.12.2 パラメータの感度
コンピュータでモデル化された行動は、実際の人間の社会的行動にどこまで近づけることができるだろうか。「一卵性双生児」がお互いに似ている以上に、デジタル鏡像の自分は人間に似ていないと言えるだろう。コンピュータダブル（デジタルツイン）のパラメータを特定するには、キャリブレーション（校正）手順によって、測定データとモデルの予測値の差が小さくならなくなるまでパラメータを変化させる。しかし、ベストフィットしたモデルのパラメータは、通常、正しいパラメータではない。これらのパラメータは通常、ある「信頼区間」内に位置している。しかし、信頼区間からランダムにパラメータを選ぶと、モデルの予測値が大きく変化してしまうことがある。この問題は「感度」と呼ばれている。この問題を例示すると、このようなパラメータの感度によって、一夜にして金持ちになる人もいれば、財産を失う人もいるかもしれない56。
4.12.3 不安定、乱流、カオス。世界中のデータが役に立たない場合
同じような性質を持つ問題として、「乱流」と「カオス」がある。気体や液体の急激な流れは、渦巻き状のパターンを形成し、これが乱流の特徴である。また、カオスなシステムでは、ある一定の時間が経過すると動きが予測できなくなる。決定論的カオス」と呼ばれるシステムの進化の仕方は、数学的に正確に説明できるが、ランダムな要素がないため、出発点の条件が少しでも変わると、システムの全体的な状態が全く違ったものになってしまうのである。このような場合、システムの初期状態をどれだけ正確に測定しても、時間が経つと事実上、その挙動を予測することはできない。これは、「幻の交通渋滞」の発生についても同様である。各ドライバーの行動に関する膨大な情報を集めたとしても、誰が渋滞を起こすのかを予測することはできない。渋滞はドライバー同士の相互作用による集合的な現象であり、車両密度がある臨界密度以上になると発生する。同様のことを、実験室での制御された状態での判断実験でも確認している。この実験では、「ベスト・レスポンス・ルール」と呼ばれる理論に基づいて、個々の判断を96％予測することができた。驚くべきことに、精度の高い意思決定モデルにノイズを加えると（つまり精度を下げると）、マクロレベルの予測が改善された。
4.12.4 曖昧さ
情報にはさまざまな意味がある。多くの場合、正しい解釈は、いくつかの追加情報、つまり文脈によってのみ得られる。この文脈を理解するのは難しく、必要なときに利用できるとは限らない。また、異なる情報は矛盾していることもあり、その矛盾を解決する機会がないこともある。
「データマイニング」のもう一つの典型的な問題は、データが豊富であるにもかかわらず、不完全で代表性がないことである。さらに、測定エラー、データ操作、誤った解釈、不適切な手順の適用などにより、多くのデータが間違っている可能性がある。
4.12.5 情報過多
たくさんのデータがあるからといって、必ずしも世界をより正確に見ることができるとは限らない。典型的な問題は「オーバーフィッティング」と呼ばれるもので、多くのパラメータを持つモデルが、実際には意味のない方法でデータセットの細かい部分に適合してしまうことである。このような場合、パラメータの少ないモデルの方がより良い予測ができる可能性がある。スプリアス相関も同様の問題で、実際には意味のないパターンを見てしまう傾向がある58。
現在、我々は、世界に関するデータが少なすぎた状況から、多すぎる状況に移行しつつあるように思える。それはまるで、目が見えない暗闇から、光があふれて目が見えない世界へと移行するようなものである。そこで必要になってくるのが “デジタル・サングラス “であり、必要な情報を抽出する情報フィルターである。しかし、存在するデータと分析できるデータのギャップが大きくなればなるほど、本当に大切なものに目を向けることが難しくなるかもしれない。コンピュータの性能は指数関数的に向上するが、記憶容量はさらに大きくなるため、処理できるデータの量は減少していく。つまり、手をつけられないデータ（私はこれを「ダークデータ」と呼んでいる）がどんどん増えていくのである。情報化時代の恩恵を受けるためには、情報の偏りや汚染を減らさなければならず、そうでなければ、ますます間違いを犯すことになるだろう。
4.12.6 ヘディング
多くの状況では、人は他人の決定や行動に従う傾向がある。これは望ましくないハーディング効果をもたらす。ノーベル経済学賞を受賞したジョージ・アカーロフ(*1940年)とロバート・シラー(*1946年)は、この問題行動を「アニマルスピリット」と呼んでいるが、ハーディングの考え方は、少なくともフランスの数学者ルイ・バシェリエ(1870-1946年)にまで遡ることができる。株式市場におけるバブルやクラッシュは、このようなハーディング効果がもたらす望ましくない結果の例である。
4.12.7 ランダム性とイノベーション
ランダム性は、社会経済システムのどこにでもある特徴である。しかし、ランダム性がもたらすリスクを減らしたいと思うことはあっても、ランダム性を完全に排除しようとするのは賢明ではない。ランダム性は創造性やイノベーションの重要な原動力であり、予測可能性はポジティブな驚き（「セレンディピティ」）や文化的進化を排除する。また、重要な社会的メカニズムの中には、ランダム性があって初めて進化するものがあることを後に説明する。新しく出現した行動は、最初のうち（少数派の立場にあるとき）はコストがかかることが多いが、同じ地域でそのような行動がランダムに一致したり、蓄積されたりすることで、その成功を可能にすることができる（新しい行動が最終的に広まるようになる）。
4.13 付録3：新技術で世界は予測可能になるか？
処理能力、データ量、複雑さが、上記（図4.1）で仮定した同じ数学的法則に従って常に成長すると、どうして分かるのだろうか？実際には分からないが、計算機の処理能力に関するムーアの法則は何十年も前から有効である。同様のことが、保存データ量の曲線にも当てはまる。将来的には、量子コンピューターがゲームを変える可能性がある。量子コンピューターは、これまでとは異なるコンピューティングアーキテクチャとコンセプトに基づいている。例えば、古典的なデータの暗号化は簡単に破られるようになるが、新しい暗号化スキームも利用できるようになるだろう。では、このようなコンピュータのパラダイムシフトによって、トップダウンによる最適な制御が可能になるのだろうか？なぜなら、「モノのインターネット」のように、データ生産量を劇的に増加させる新技術もあるからである59。さらに、コンピュータと通信センサーの両方のハードウェア・デバイスの生産が、データ伝送速度と同様に制限要因になるかもしれない。さらに、コンピュータと通信センサーの両方のハードウェアデバイスの生産は、データ伝送速度と同様に制限要因となる可能性がある。また、コンピュータの能力とデータ伝送速度が向上すると、新しいデバイスや機能が生産されるため、複雑さも促進される。
また、量子コンピュータのような宇宙の小さなサブシステムは、その性質上、自分自身の状態や時間的進化を含む世界全体を評価したりシミュレートしたりすることはできないことを理解しておく必要がある。単純化は常に必要である。残念ながら、単なるデータマイニングや機械学習では、システムの不安定さやイノベーションによるパラダイムシフトなど、システムやその特性を根本的に変えてしまうような未来の変化を予測することは、かなり苦手な場合が多い。これを変えようと思ったら、イノベーションを禁じるしかないが、そうすると我々の世界は墓場のようにつまらなくなり、起きている環境や社会、技術の変化に適応できなくなってしまう。
また、世界中の脳の間で広帯域の情報交換を行う情報インフラを作ることや、すべての脳の計算能力を持つコンピュータを作ることにも興味を持てないのではなかろうか。なぜか？それは、強く結合されたネットワークのネットワークを作ることになり、望ましくない連鎖効果を示す可能性が高いからである。多くの全体主義体制で起こったような有害な集団心理、暴動、革命などは、人々の心がつながりすぎることの危険性を示す例である。先に指摘したように、我々の人為的なシステムの多くは、すでに連鎖的な影響を受けやすく、しばしば制御不能に陥っている。プライバシーは、そのような望ましくない社会心理学的カスケード効果を回避するためのメカニズムであると考えられる。それがなければ、我々はおそらくもっと多くの紛争に巻き込まれるだろう。