脆弱世界仮説　ニック・ボストロム

onlinelibrary.wiley.com/doi/full/10.1111/1758-5899.12718

ニック・ボストロム

オックスフォード大学フューチャー・オブ・ヒューマニティー研究所

要旨

科学技術の進歩は、市民生活を不安定にするような形で人々の能力やインセンティブを変化させる可能性がある。例えば、DIY のバイオハッキング・ツールの進歩により、生物学の基本的な訓練を受けていれば誰でも簡単に100万人を殺せるようになるかもしれないし、新しい軍事技術により、先に攻撃した者が決定的な優位性を持つ軍拡競争が誘発されるかもしれないし、経済的に有利なプロセスが発明されて、規制が困難な悲惨な負の世界的外部性を生み出すかもしれない。

この論文では、脆弱世界という概念を紹介する。大まかに言えば、文明がデフォルトでほぼ確実に壊滅的な状態に陥る技術開発のレベルがある、つまり「半無政府状態のデフォルト状態」から脱却していない限り、成立する世界である。

いくつかの対事実上の歴史的・投機的な将来の脆弱性が分析され、類型論として整理されている。脆弱世界を安定化させる一般的な能力は、予防的な取り締まりとグローバル・ガバナンスのための能力を大幅に増大させることを必要とするだろう。

このように、脆弱世界仮説は、ユビキタスモニタリングや一極世界秩序に向けた展開のリスクとベネフィットのバランスを評価するための新たな視点を提供するものである。

政策への影響

技術政策は、すべての技術の進歩が有益であるとか、科学的に完全にオープンであることが常に最善であるとか、技術が発明された後の潜在的な不利益を管理する能力を世界が持っていることを疑うべきではない。
合成生物学のように、ある分野では、大量破壊を突然民主化するような発見がなされる可能性がある。文明がこの種の「黒いボール」の発明に対処する一般的な能力を持つためには、世界的にリアルタイムでユビキタスなモニタリングシステムが必要になるであろう。いくつかのシナリオでは、そのようなシステムは、技術が発明される前から存在している必要がある。
限られた数の可能性のある黒いボールに対する部分的な保護は、より的を絞った介入によって得ることができる。例えば、バイオリスクは、ある種のバイオラボの従業員の身元調査やモニタリング、DIY バイオハッキングの禁止（例：ライセンス要件など)バイオテック部門の再構築により、一部の最先端の機器や情報へのアクセスを制限することで軽減されるだろう。誰もが自分の DNA 合成装置を購入できるようにするのではなく、モニタリングの厳しい少数の事業者がサービスとして DNA 合成を提供できるようにする。
例えば、戦争をより破壊的なものにする一方で、先に攻撃する側がより有利になるような軍事技術などである。冬に備えて木の実を蓄えておくために豊かな時期を利用するリスのように、私たちは相対的に平和な時期を利用して、国際紛争を解決するためのより強力なメカニズムを構築すべきである。

発明が見つかる壷の中に黒いボールはあるのだろうか？

人間の創造性を巨大な壺から玉を取り出すプロセスとして見る方法もある1 。歴史の中で、私たちは多くの玉を取り出していたが、その多くは白色（有益なもの）であるが、様々な灰色（最近では有害なものや祝福が混ざったもの）もある。人類の状態への累積的な影響は、これまでのところ圧倒的に肯定的であり、将来的にはもっと良いものになるかもしれない(Bostrom, 2008)。世界の人口は、過去1万年の間に約3桁成長し、過去2世紀の間に一人当たりの所得、生活水準、平均寿命も上昇した2。

これまでのところ、私たちが抽出できていないのは、黒いボールである。その理由は、我々が技術政策において特別に慎重であったとか、賢明であったということではない。我々は運が良かっただけなのだ。

人類の文明が自らの発明によって破壊されたことはないようであるが、それとは対照的に、文明が変容したことはない3 。例えば、大洋横断旅行や力の投射を可能にしたヨーロッパの発明は、アメリカ大陸、オーストラリア、タスマニア、その他の地域の先住民にとっては、黒いボールのような出来事であったと考えることができる。ネアンデルタール人やデニソバ人のような原始的なホミン族の絶滅は、おそらくホモ・サピエンスの技術的優位性によって促進されたのであろう。しかし、これまでのところ、人類にとっての黒いボールとして数えられるほどの自己破壊的な発明は見当たらないようである4。

壷の中に黒いボールがあるとしたら？　科学技術の研究が続けば、私たちは最終的にそれに到達し、それを引き抜くことになるだろう。我々の文明は、玉を拾い上げる能力は相当なものであるが、それを壷に戻す能力はない。我々は発明はできるが、発明をなくすことはできない。我々の戦略は、黒いボールがないことを願うことでしかない。

この論文では、技術的な黒いボールの可能性と、そのような現象がどのような形で起こりうるかを考えるのに役立つ概念をいくつか紹介する。また、グローバルな視点から見た政策、特に大量モニタリングの動向をどのように捉えるべきか、また、より効果的なグローバル・ガバナンスやより一極的な世界秩序に向けた動きをどのように捉えるべきかという点で、政策に対するいくつかの意味合いについても議論している。これらの意味合いは、これらのマクロ戦略変数を変更することが望ましいかどうかを問うものではない。しかし、これらは、今後のこれらの問題についての議論で考慮すべき重要かつ過小評価されている一連の考慮事項を形成している。

本論文のより概念的な部分に入る前に、技術的な黒いボールがどのようなものであり得るかについて、より具体的な図を描くことが有用であろう。最も分かりやすいのは、非常に強力な破壊力を簡単に発揮できるようにする技術である。核爆発は、私たちが習得した最も明白な破壊力である。したがって、もしこの力を非常に簡単に解き放つことができたらどうなっていたかを考えてみよう。

思考実験：イージー核兵器

1933 年 9 月 12 日の朝、レオ・シラードは新聞を読んでいると、今では核物理学の父と呼ばれているラザフォード卿が最近行った演説の報告を目にした（Rhodes, 1986）。ラザフォードはその演説の中で、核反応から有用なエネルギーを取り出すという考えを「密造酒」と否定していた。この主張に腹を立てたシラードは、散歩に出かけることにした。散歩の途中で、原子炉や原爆の基礎となる核の連鎖反応のアイデアを思いついた。その後の調査で、核兵器を作るには、数キログラムのプルトニウムや高濃縮ウランが必要であることが分かった。しかし、もしそうではなかったとしよう。例えば、2枚のガラスの間に挟んだ金属製の物体に電流を流すことで、原子のエネルギーを放出する本当に簡単な方法があったとしよう。

そこで、シズラールが核分裂を発明し、ガラス片と金属製の物体、そして特定の配置に配置された電池で核爆弾が作れることに気付いたという反事実上の歴史を考えてみよう。次に何が起こるのか？シラードは深刻な不安に襲われる。彼の発見は何としても秘密にしなければならない。しかし、どうやって？彼の洞察力は他の人にも伝わってしまう彼は、このアイデアにつまずく可能性の高い物理学者の友人数人に話をして、核の連鎖反応や危険な発見に至るまでの推論の過程を一切公表しないように説得することができる。これが実際の歴史の中でのシズィラードの行動である。

ここで彼はジレンマに直面している。危険な発見を説明しなければ、多くの同僚を説得して出版を止めさせる効果がないか、あるいは、自分の懸念の理由を伝えても、危険な知識をさらに広めてしまうかのどちらかになる。どちらにしても、彼は負け戦をしていることになる。科学的知識の一般的な進歩は、最終的には危険な洞察をより身近なものにするだろう。間もなく、金属片、ガラス片、電気を使って核の連鎖反応を起こす方法を見つけることは、もはや天才ではなく、発明的な考え方を持ったSTEM系の学生であれば、誰でも手が届くところにあるだろう。

もう少し話を進めてみよう。状況は絶望的に見えるが、シズィラードは諦めない。彼は、世界で最も有名な科学者であるアルバート・アインシュタインを友人に迎え入れることにした。彼はアインシュタインを説得することに成功する。これで、シズラールは、どの政府にも彼に聴聞会を開かせることができる男の支持を得ることができた。二人は大統領フランクリンD.ルーズベルトに手紙を書く。委員会での議論や報告書の作成を経て、最終的には米国政府のトップレベルは、真剣に行動を起こす準備ができていることを十分に納得した。

米国はどのような行動をとることができるのだろうか。まず、実際に何が起こったのかを考えてみよう（Rhodes, 1986）。米国政府が行ったことは、アインシュタインとシラードから提供された情報を消化した後、この問題を調査していた英国からの助言を受けた後、核分裂をできるだけ早く兵器化するためにマンハッタン計画を開始することであった。爆弾の準備が整うとすぐに、アメリカ空軍はそれを使って日本の人口密集地を破壊した。マンハッタン計画の科学者の多くは、ナチス・ドイツが先に爆弾を手に入れた場合の命の危険性を指摘して参加を正当化していたが、ドイツが敗北した後もプロジェクトを続けていた(5) 。終戦後、多くの科学者は原子力の国際的な管理を支持し、核軍縮運動に積極的に参加したが、核政策が彼らの手から離れてしまったため、彼らの意見はほとんど意味をなさなかった。数年後、ソ連は独自の原子爆弾を爆発させた。ソ連の努力はマンハットタン計画のスパイに助けられていたが、スパイがいなかったとしても、あと1,2年で成功していただろう(Holloway, 1994)。冷戦が続いたが、そのピーク時には、7 万個の核弾頭が世界的な破壊を一瞬のうちに放つ準備ができており、震える指が左右の「赤いバットン」の上に置かれていた（Norris and Kristensen, 2010）6。

人類の文明にとって幸いなことに、広島と長崎の破壊の後、怒りのあまり爆発させられた原爆は一発もない。73 年後、国際条約や核拡散防止の努力のおかげもあって、核兵器を保有しているのは 9 カ国のみである。非国家主体が核兵器を保有していたと考えられる国はない。

しかし、もし簡単に核兵器を作る方法があったとしたら、状況はどうなっていただろうか。シズィラードとアインシュタインは、米国政府を説得して、核物理学の研究をすべて禁止することができたのではないか。このような基礎科学の禁止は、法律的にも政治的にも非常に大きな問題となるだろうが、それ以上に、禁止の理由を詳細に公表することは、受け入れがたい情報の危険性を生むことになるからである8。

しかし、ルーズベルト大統領がどうにかして禁止を推進するために十分な政治的支持を動員し、米国最高裁がどうにかして合法的に有効であるとみなす方法を見つけることができたと仮定しよう。この場合、現実的には困難な問題に直面することになる。すべての大学の物理学科を閉鎖し、セキュリティチェックを開始しなければならない。多くの教員と学生が追い出されることになる。このような強引な措置がとられた理由については、激しい憶測が渦巻くことになるだろう。研究分野から追放された物理学博士の学生と教員のグループは、その研究分野に座って、秘密の危険が何であるかもしれないかを推測する。そのうちの何人かはそれを突き止めたそして、それを解明した者の中には、その知識を使って同僚に感銘を与えたいと感じた者もいるだろうし、そのような同僚は、自分たちが知識を持っていることを示すために、他の者にも伝えたいと思うだろう。さらには、禁止に反対する者が一方的に秘密を公開することを決定することになるかもしれない。奇跡的にその秘密が米国内で漏れることがなかったとしても、他の国の科学者がいつまでもその秘密を発見し、それによってその秘密が拡散する可能性のある情報源が増えていくことになる。遅かれ早かれ（おそらくもっと早く)秘密は秘密ではなくなってしまうだろう。

インターネット上で瞬時に匿名で公開できる現代では、科学的な秘密の拡散を制限することはさらに困難になるだろう（Cf. Green-berg, 2012; Swire, 2015）。

代替的なアプローチとしては、ガラス、金属、電流源をすべて排除することであろう（厳重に警備された一部の軍事施設を除いて）。これらの物質がどこにでもあることを考えると、このような取り組みは非常に勇気のいることであろう。このような対策のための政治的な支持を確保することは、物理学教育を停止するのと同じくらい簡単なことではないだろう。しかし、いくつかの都市にキノコ雲が立ち上がれば、この試みを実行しようとする政治的な意志は、たぶん、かき集めることができるだろう。金属の使用は文明とほぼ同義であり、排除のための現実的な対象にはならないだろう。ガラスの生産を禁止し、既存のガラス板を没収することはできるが、ガラスの破片は長い間、風景の中に散らばったままになるであろう。電池や磁石は押収される可能性があるが、一部の人々は、当局によって収集される前にこれらのマトリールを隠していたであろう。多くの都市は、ニヒリスト、恐喝主義者、レバンチスト、あるいは単に「何が起こるか見てみたい」と思っている人々によって破壊されるだろう。最終的には、多くの場所が核の降下物によって破壊され、都市は放棄され、電気もガラスも使えなくなるだろう。禁止されている物質や、それを作るのに使うことができる機器の所持は、その場で処刑されるなど、厳しく罰せられることになるだろう。これらの規定を実施するために、コミュニティは厳格なモニタリング下に置かれることになるだろう。多額の報酬によってインセンティブを得た情報ネットワーク、私有地への頻繁な警察の突入、継続的なデジタルモニタリングなどである。

これが楽観的なシナリオである。より悲観的なシナリオでは、法と秩序は完全に崩壊し、社会は派閥に分裂して核兵器を持って内戦を繰り広げ、飢饉や疫病を引き起こすかもしれない。社会があまりにも縮小し、誰もが保管されている物質や都市の廃墟のスクラップから爆弾と遅延起爆装置を組み立てることができなくなったときにのみ、この分裂は終わるかもしれない。その時でさえも、危険な洞察は-その重要性が華々しく実証された後は-記憶に残り、世代を超えて受け継がれていくだろう。文明が灰の中から立ち上がり始めた場合、人々が再び板ガラスや電流発生器の作り方を学ぶとすぐに、その知識は待ち構えているだろう。そして、たとえその知識が忘れ去られたとしても、核物理学の研究が再開されれば、その知識は再発見されるだろう。

核兵器を作るのが難しいことが分かったのは幸運であった。

脆弱世界仮説

現在、ガラス板と金属と電池だけでは、核爆発は起こせないことが分かっている。原爆を作るには、数キロの核分裂性物質を必要とする。その時に出たのはグレーボールだった。しかし、私たちは発明をするたびに、新たに壷の中に手を伸ばしている。

創造性の壺の中には、少なくとも一つの黒いボールが入っているという仮説を紹介しよう。これを脆弱世界仮説（VWH）と呼ぶことができる。直感的に言えば、この仮説は、非常に異常で歴史的に前例のない程度の予防的なポリスやグローバル・ガバナンスが実施されない限り、文明がほぼ確実に破壊されるレベルの技術が存在するというものである。

もっと正確に言うと、

脆弱世界仮説（VWH）: もし技術開発が続けば、文明が十分に半無政府状態から脱却しない限り、文明の荒廃が極めて高い可能性を持つ一連の能力が、ある時点で達成されるだろう。

半無政府状態のデフォルト条件 “によって、私は3つの機能12によって特徴付けられる世界秩序を意味する。

予防的な取り締まりの能力が限られている。国家はリアルタイムのモニタリングと傍受の信頼性の高い手段を十分に持っていないため、領土内のいかなる個人や小集団が違法行為を行うことは事実上不可能であり、特に人口の99%以上の人々に強く嫌われている行為を行うことは不可能である。
グローバル・ガバナンスの能力が限られている。グローバルな調整問題を解決し、グローバル・コモンズを保護するための信頼できるメカニズムがない。
多様な動機。特に、自己利益（例えば、金、権力、地位、快適さ、利便性など）をかなりの程度まで認識した上で動機づけられているアクターが多く、また、自分自身に大きな犠牲を払ってでも文明を破壊するような行動をとるアクター（「終末的残滓」）もいる3。

上記の定義における「文明の荒廃」という用語は、様々な解釈が可能であり、異なるバージョンの脆弱世界仮説（VWH）を生み出している。例えば、あるレベルの技術では、デフォルトでは、地球を起源とする知的生命の絶滅や、価値を実現するための将来の可能性が永久に失われるという実存的な大災害が発生するという実存的リスク脆弱世界仮説（x-脆弱世界仮説（VWH））を定義することができる。いずれにしても、ここではバーを低く設定する。現在の文脈での重要な関心事は、現在の半無政府状態のデフォルトの状態で文明の継続の結果は、この条件を終了するために必要とされるであろう抜本的な開発に合理的な反対を上回るのに十分な壊滅的であるかどうかである。もしこれが基準であるならば、人類の絶滅や実存的なカタストロフに満たない閾値で十分であるように見えるだろう。例えば、政府のモニタリングを強く疑っている人でも、地域全体の破壊を防ぐために必要であれば、そのようなモニタリングを大幅に増やすことに賛成するだろう。同様に、主権国家での生活を大切にしている人は、核によるホロコーストのような恐ろしい事態を想定すると、世界政府の下で生活することを合理的に好むかもしれない。したがって、脆弱世界仮説（VWH）における「文明的荒廃」という用語は、（別段の規定がある場合を除き）少なくとも世界人口の 15%が死亡するか、または世界の GDP が 10 年以上継続して 50%以上減少するのと同程度の破壊的な事象を指すと規定している13 。

この論文の第一の目的は、脆弱世界仮説（VWH）が真実であることを主張することではない（これは未解決の問題と考えているが、入手可能な情報を考えると、脆弱世界仮説（VWH）が虚偽であると確信するのは不合理に思える）。むしろ、ここで主張されている主な貢献は、脆弱世界仮説（VWH）が関連する概念や説明とともに、人類のマクロ戦略的状況に関する重要な考察や可能性を明らかにするのに役立つということである。しかし、これらの考察や可能性をさらに分析し、本稿の範囲外にある他の考察と組み合わせることで、決定的な政策的意味合いを持たせる必要がある。

先に進む前に、もう少し明確にしておきたいことがある。本稿では、「テクノロジー」という言葉を最も広い意味で使用している。したがって、原則として、機械や物理的な装置だけでなく、科学的なアイデア、制度設計、組織技術、イデオロギー、概念、ミームなど、道具的に効果的なテンプレートや手順も、潜在的な技術的黒いボールを構成するものとしてカウントしている14 。

脆弱性の開閉について語ることができる。「イージー核兵器」シナリオでは、脆弱性の期間は、核爆発の簡単な方法が隠蔽されたときに始まる。脆弱性の期間は、核爆発の発生が容認できない損害を引き起こすのを止めることが合理的に手頃な価格で可能になる技術がある程度達成されたとき、あるいは（技術の後退のために）核爆発を発生させることが再び不可能になるときに終了する15 。

また、半無政府状態のデフォルト状態が、脆弱性が実際の大災害につながるのを防ぐような方法で解除された場合には、世界は（脆弱性に関して）安定化していると話すこともできる。安定化を達成するために半無政府状態のデフォルト条件をどのように変更しなければならないかは、問題となっている脆弱性の戦略に依存する。後のセクションでは、世界を安定化させることができる可能性のある手段について議論する。今のところは、脆弱世界仮説（VWH）が文明の破滅を意味するものではないことに注意したい。

脆弱性の類型

文明の脆弱性を4つのタイプに分類することができる。

タイプ1　「簡単に核武装できる」

第一種は、「イージー核兵器」シナリオのように、個人や小集団が大量破壊を起こすことが容易になりすぎてしまうもの。

タイプ1の脆弱性。タイプ 1 の脆弱性：半無政府状態のデフォルト状態では、終末的な残留物の中でのアクターの行動は、文明の荒廃を極めて可能性の高いものにしてしまうほど破壊的で使いやすい技術が存在する。

シナリオがタイプ1 の脆弱性を示すかどうかを判断する際に、事故の発生の容易さと事故の破壊性の間には逆の関係があることに注意が必要である。1 つの事故の破壊力が大きければ大きいほど、タイプ1 脆弱性の存在を診断するためには、そのような事故を発生させることが容易でなくてもよいことになる。

したがって、「非常にイージー核兵器」のシナリオを考えてみよう。このようなシナリオでは、誰でも台所の流し台で簡単に携帯用の熱核兵器を午後のうちに作ることができる。これを「中程度にイージー核兵器」シナリオと比較してみると、5 人の半熟練者のチームが、かさばる数キロトンの装置を 1 つ作るのに 1 年の歳月を費やしていることになる。中程度に「イージー核兵器兵器」シナリオでは、大多数の都市は破壊を免れるだろうが、1995年のオウム真理教や2001年のアルカイダのような、十分な資金力を持つテロ組織がもたらす脅威は大幅に増大するだろう。しかし、もう一つのシナリオ、「中程度に簡単な生物学的破滅」を考えてみよう。このシナリオでは、黒いボール技術を発動させるために、半熟練の5人組のチームが1年間働く必要があるが、今回は生物学的物質であり、1回の放出で数十億人を殺すのに十分な量である。「中程度に簡単な生物学的破滅」では、タイプ1の脆弱性の閾値に達するだろう。文明を破壊するために、単一のグループが中程度の易しさのレベルの仕事を成功させることだけが必要だとしたら、半無政府状態のデフォルトの状態では、文明はおそらく数年以内に破壊されるだろう。実際、オウム真理教もアルカイダも核兵器や生物兵器の入手を目指しており、それらの使用を選択した可能性が高い（例：Danzig er al 2011; Olson, 1999; Mowatt-Larssen and Allison, 2010参照）。

したがって、タイプ1 脆弱性は、中程度の被害を引き起こすことが極めて容易か、極端な被害を引き起こすことが中程度に容易であれば、存在することになる。一般の個人が大都市を破壊する水爆を簡単に作ることができるシナリオを考えてみよう。これは、必ずしも一人の個人が都市化を壊滅させるようなシナリオではない。仮に一つの爆弾を簡単に作ることができたとしても、何百個もの爆弾を作って、捕まらずに何百もの都市に運ぶのは大変な努力である。それにもかかわらず、「イージー核兵器」シナリオは文明の脆弱性を示しているのである。

これがそうであるということは、無作為に選ばれた人間には、イデオロギー的な憎悪からか、虚無的な破壊力からか、不正を認識したことへの復讐からか、恐喝計画の一部としてか、妄想や人間の病気からか、あるいは何が起こるかを見るためだけにか、この種の破壊を引き起こす動機付けになる可能性は小さいながらも十分にある、というもっともらしい仮定が組み合わされていることと、大数の法則から、ほぼ一致しているのである。人間の性格や状況の多様性を考えると、これまでのように不謹慎、不道徳、または自滅的な行動のために、その行動を取ることを選択するだろう人間のいくつかの残留割合がある。このことは、問題の行動が、核攻撃が行われた後、どこでもそうであるように、文化的にも重要な余裕を表している場合には、特にもっともらしいことである。言い換えれば、「簡単に核攻撃ができる」というのは、終末論的な残滓が、文明を破壊するほどの破壊をもたらすと予想されるような、権限を与えられたアクターのセットと十分に大きく交差しているように見えるので、脆弱世界のイラストである。

タイプ2a「安全な先制攻撃」

大量破壊を「民主化」する技術だけが、壺の中から吊り上げられる黒いボールの唯一の種類ではない。

もう一つの種類は、権力者が大量破壊を引き起こすために権力を行使することを強く動機づける技術である。ここでもまた、核の歴史に目を向けることができる。

原爆が発明され、アメリカの核独占が短命に終わった後、アメリカとソ連の間で軍拡競争が始まった。ライバルの超大国は、大量の核弾頭を蓄積し、1986年には最高で7万個の核弾頭を保有し、文明を荒廃させるのに十分な数に達した(Norris and Kristensen, 2010)。1991 年に冷戦が平和的に終結して以来、冷戦の危険性に対する世間の認識は薄れているように見えるが、学術界は、かつての機密文書の公開や、退役した政策立案者、将校、アナリストの証言の恩恵を受けて、繰り返し世界を瀬戸際に追いやったと思われる不穏な慣行や事件の数々を明らかにしてきた(17) 。一部の学者は、核によるホロコーストが回避されたのは運が良かっただけだと主張している。

冷戦を生き延びるためには多くの運が必要だったのか、それともわずかな運が必要だったのかにかかわらず、核爆発を回避する確率が大幅に低下するという逆説は容易に想像できる。これは、核兵器は大規模な技術的に先進的な国家によってのみ製造できると仮定した場合でも同様である（したがって、このケースは「イージー核兵器」のタイプ1の脆弱性とは区別される）。カウンターファクチュアルは、軍拡競争の安定性を低下させるような技術的可能性のフロンティアの変化を含む可能性がある。

例えば、1960 年代半ばまでに両超大国が合理的に安全な第二次攻撃能力を開発したことが、「戦略的安定性」の条件を生み出したと、核戦略論者の間では広く信じられている（Colby and Ger-son, 2013）。この時期以前のアメリカの戦争計画は、どのような危機的状況下でも、ソ連の核兵器に対する先制核攻撃を発動するという、より大きな傾向を反映していた。侵略者が最初の攻撃で敵のブーマー艦隊を排除することは事実上不可能であると広く信じられていたため、原子力潜水艦ベースの ICBM の導入は、第 2 次攻撃能力（したがって「相互に保証された破壊」）を確保するために特に有用であると考えられていた(19) 。例えば、米国が一時的に使用していた選択肢の 1 つは、長距離核爆撃機を継続的に空中警戒態勢に置くことであった（Sagan, 1995）。このプログラムは非常にコストがかかり、偶発的な攻撃や無許可の攻撃のリスクを高めた。もう一つの選択肢は、強化された陸上ミサイルサイロを建設することである。十分な数があれば、原則として一方の側に第二次攻撃能力を保証することができるが、そのような大規模な軍備は、他方の側に対して安全な第一次攻撃能力を提供することを脅かすことになり、再び危機を不安定化させることになる。サイロ型ミサイルよりも攻撃しにくい路上移動型 ICBM ランチャーは、冷戦終結の数年前の 1985 年にソビエト連邦によって配備されたときには、結果的にある程度の安定化をもたらした(Brower, 1989)。

en.wikipedia.org/wiki/Second_strike

そこで、先制的な戦力攻撃がより実現可能なカウンターファクチュアルを考えてみよう。弾道ミサイル潜水艦の追跡を容易にする技術を想像してみよう。また、核兵器がもう少し壊れやすく、別の核兵器の爆発によって核兵器が破壊される半径が実際よりもかなり大きくなっていたと想像することもできる20 。さらに、ミサイルの発射を検知することが非常に困難な技術があったとすると、発射警戒戦略は完全に機能しないことになる。そうなれば、冷戦の危機的な不安定さは大幅に増幅されていたであろう。どちらの側が先に攻撃を仕掛けたとしても、比較的無傷で生き残ることができるだろう（あるいは、少なくとも、核の冬の可能性は当時の戦争プランナーにはほとんど無視されていたので、そうなると信じていたかもしれない）(21) 。このような状況では、相互の恐怖が全面戦争へのダッシュを容易に引き起こす可能性がある(Schelling, 1960)。

他の技術的パラメータの変化も同様に攻撃の確率を高める可能性がある。現実世界では、核による先制攻撃の主な「魅力」は、そうでなければ自分がそのような攻撃の犠牲者になるかもしれないという恐怖を和らげることであるが、核攻撃にはネガティブなものを取り除く以上の利益もあるという反事実を想像することができる。しかし、大規模な核攻撃を開始することで大きな経済的利益を得ることが何らかの方法で可能になったとしよう(22) 。これがどのようにして可能になるのかを理解するのは難しいかもしれないが、自動化された製造技術やエネルギー技術が物理的資源をより価値あるものにしたり、技術によって可能になった人口増加が再び農地をより重要な資源にしたりすることは想像できる(Drexler, 1986)。国際関係学者の中には、産業革命後の時代には征服による純経済的利益が大幅に減少し、この減少が平和に大きく寄与していると考える人もいる23 。もし、強力な国家的経済的動機が戦争の他の原因（自国の安全保障への懸念、非経済的価値をめぐる論争、国の名声の維持、特に特別な利害関係者の影響力など）に加えられた場合、武力紛争がより一般的になり、大規模な核戦争が起こりやすくなる可能性がある。

これらの例では、脆弱性は破壊が容易になることではなく、破壊につながる行動がより強力なインセンティブによって支えられるようになることから生じる。これをタイプ2脆弱性と呼ぶことにする。具体的には、「安全な先制攻撃」のようなシナリオの中で、破壊的な行動がインセンティブになってしまうものをタイプ 2a と呼ぶことにする。

タイプ-2aの脆弱性：強力なアクターが文明を破壊するような被害をもたらす能力を持つ、あるレベルのテクノロギーがあり、半無政府状態のデフォルト状態では、その能力を利用するインセンティブに直面する。

以下では、タイプ2aの脆弱性の例をいくつか見ていこう。

タイプ-2b「地球温暖化の悪化」

世界が低レベルになる可能性がある方法がもう一つある。

現実の世界では、世界の平均気温は経年的に上昇しており、主に二酸化炭素、メタン、亜酸化窒素などの温室効果ガスの人為的な排出が原因であると広く信じられている（Stocker er al)。このような温暖化の影響-海面、気象パターン、生態系、農業への影響-は、通常、人間の福祉にとって正味のマイナスになると予想されている（Field er al)。温室効果ガスは、工業、輸送、農業、電力生産などの幅広い活動によって排出されており、特に先進国や工業化した国からは、世界中から排出されている。排出量を抑制するための努力は、これまでのところ、地球規模でのインパクトはあまり得られていない(Friedlingstein et al 2014))。

さて、地球温暖化の問題が、実際に見られるよりもはるかに悲惨なものになる状況を想像することができる。例えば、一過性気候感度（大気中のCO2が2倍になるなど、何らかの強制力によって地球表面温度が中期的に変化することを表す指標）は、実際よりもはるかに大きくなっていたかもしれない（Shindell, 2014）。もしそれが実際の値の数倍になっていたとしたら、気温の上昇は 3℃ではなく、例えば 15℃や 20℃になっていたであろう – 実際の予想よりもはるかに大きな文明破壊の可能性を秘めている。

24 我々は、地球温暖化をより悪い問題にしたであろう他の現実からの逸脱を想像することもできる。化石燃料は現在よりもさらに豊富で、より安価に利用可能な鉱床で入手できたかもしれない。同時に、クリーンなエネルギーの代替品は、より高価で技術的に困難なものになっていたかもしれない。地球温暖化はまた、もしも正のフィードバックループや非線形性が存在していれば、より深刻な問題になっていたかもしれない。例えば、最初の段階では、大気が温室効果ガスで徐々に満たされていき、あまり観測されたり、有害な影響を受けたりすることなく、その後、気温が急激に上昇する第二の段階が続く。地球温暖化から真の意味での文明の脅威を得るためには、地球工学による緩和は実現不可能であることを、反面教師的に規定する必要があるかもしれない。

このような「より悪い地球温暖化」シナリオが示す脆弱性は、「安全な先制攻撃」のようなタイプ2a のシナリオとは異なる。タイプ2a の脆弱性では、あるアクターが、核の先制攻撃のような、文明を壊滅させるのに十分な破壊的な行動をとる能力を持っている。より悪い地球温暖化」のシナリオでは、そのような行為者は存在する必要がない。その代わりに、私たちがタイプ2bの脆弱性と呼ぶものでは、（半無政府主義的なデフォルト条件の下では）個々に無意味な多数のアクターが存在し、それぞれが、累積的に文明を破壊する問題となるものにわずかに貢献する行動を取るようにインセンティブを与えられている。

タイプ2bの脆弱性である。半無政府状態のデフォルト状態では、非常に多くのアクターが、それらの行動の複合的な効果が文明破壊的な問題となるような、わずかにダメージを与える行動を取るというインセンティブに直面するような、ある程度のレベルの技術が存在する。

タイプ 2a とタイプ 2b に共通しているのは、どちらの場合も、ダメージを与えることが可能なアクターは、ダメージを与えることが可能なアクターが、その状況下で、通常ならばやる気のあるアクターの幅広い範囲に、ダメージを与える行動をとることを促すようなインセンティブに直面しているということである。地球温暖化は、自動車を運転したり、数本の木を切り倒したりすることができるアクターのごく一部のアクターだけがそうすることを選択した場合には問題にはならない。そして、多くのアクターがそのような選択をするためには、その選択は、広くアピールできるインセンティブ（お金、地位、対価など）によって支えられていなければならない。同様に、核の先制攻撃を行うことができるアクターが100万人に1人しかいないとすれば、その能力を持つアクターが一握りであってもそれほど心配にはならないが、通常の動機を持つアクターにアピールするインセンティブ（敵対者の攻撃を先制するという動機など）によって、核攻撃を行うことが強く支持されている場合は心配になる。これはタイプ 1 の脆弱性とは対照的であり、問題は破壊能力の非常に広範な拡散に起因している。この場合の問題は、十分に多くのアクターがそのような能力を持っているならば、終末的な動機を持っているアクターの中には、終末的な動機を持っているアクターもいるということである。

タイプ0「予想できない破滅的リスク」

1942 年、マンハッタンの科学者の一人であるエドワード・テラーは、核爆発が地球の歴史の中で前例のない温度を作り出し、太陽の中心に似た状態を作り出し、これが周囲の空気や水の中で自律的な熱核反応を引き起こす可能性があると考えていた。)テラーの懸念の重要性は、ロバート・オッペンハイマー、ロスアラモス研究所の所長によってすぐに認識された。オッペンハイマーは彼の上官に通知し、可能性を調査するためにそれ以上の計算を発注した。これらの計算は、大気中の点火が発生しないことを示した。この予測は、1945 年に世界初の核爆発物を爆発させたトリニティ実験で確認された25 。

1954 年、米国は、初期のリチウム系熱核爆弾の設計を用いた秘密実験として計画されたキャストル・ブラボー実験を実施した。リチウムはウランと同様に、リチウム-6 とリチウム-7 という 2 つの重要な同位体を持っている。実験に先立ち、核科学者たちは収量を6メガトン（不確かさの範囲は4～8メガトン）と計算した。彼らは、リチウム-6だけが反応に寄与すると考えていたが、それは間違っていた。リチウム-6よりもリチウム-7の方がより多くのエネルギーを寄与したため、原爆は15メガトンの収量で爆発した。予想外の強力な爆風で、実験装置の多くが破壊された。放射性降下物は風下の島の住民や日本の漁船の乗組員を毒殺し、国際的な事件を引き起こした。

トリニティテストが大気圏に発火するかどうかの計算ではなく、ブラボーの計算が間違っていたのは幸いだったと考えてよいだろう。実際のところ、もし大気が核爆発で発火しやすく、この事実が比較的簡単に見過ごせるものであったならば（ブラボー実験でのリチウム7の寄与を見過ごすことができなかったのと同じくらい簡単に言えば)人類の物語（そして地球上のすべての生命の物語）は1945年に終わっていたであろう。私たちはこのシナリオを「ハイパーブラボー実験」と呼ぶことができる。

発明の壺から玉を抜くときはいつでも、考えられることだが、偶発的な荒廃の可能性がある。通常、このリスクは無視できるほどのものではないが、場合によっては重大なリスクとなることもある。特に、問題の技術が自然界に何らかの新しい摂動を生み出したり、歴史的に前例のない条件を導入したりする場合には、そのリスクは大きくなる。このことは、我々が我々の類型論にもう一つのカテゴリーを追加すべきであることを示唆している。

タイプ 0 の脆弱性　タイプ 0 の脆弱性とは、技術に起因する偶発的な文明の荒廃であり、それが発見されたときのデフォルトの結果が不注意による文明の荒廃であるような、隠れたリスクを持つ技術が存在することである26 。

しかし、「ハイパーブラボー実験」がタイプ 0 の脆弱性の完全な例ではないことに注意することは有益である。慎重に計算した結果、核爆発が大気圏と海洋を発火させ、それによって地球上の生命を消滅させる確率が 1%であることが示されたとしよう。さらに、この問題をさらに解決し、その可能性がゼロであることを証明するためには、さらに10年間の綿密な研究が必要であることがわかっていたとする。このような状況下で、マンハッタン計画のリーダーたちがどのような決断をしたかは不明である。マンハッタン計画の指導者たちは、人類が少なくともあと 10 年間は核兵器の開発を控えることが非常に望ましいと考えていたことだろう27 。一方で、ドイツが高度な爆弾開発計画を持っているかもしれないことや、ヒトラーが世界を破滅させるリスクが 1%であることから、もしかしたら核実験を中止しないかもしれないと恐れていた28 。

誰も破壊的な出来事を起こそうとはしなかったのである。しかし、主要なアクターは、リスクがあるにもかかわらず前進させるインセンティブが与えられる戦略的状況にロックダウンされていた。この点では、このシナリオはタイプ2aの脆弱性に当てはまる。原子力技術が可能になると、強力なアクターは、半無政府状態のデフォルト条件の下で、文明破壊的な被害（ここではリスク外部性の形をとる）をもたらす方法でその技術を使用しようとするインセンティブに直面する29 。

したがって、タイプ0 の脆弱性を診断するためには、主要なアクターが破壊を意図していなかったというだけではなく、より強力な条件を満たす必要がある。ここでいう「不注意」とは、不利な結果が不運に起因するものであって、調整の失敗ではないことを意味するものとする。タイプ0 の脆弱性では、主要なアクターは、たとえ適切に調整されていたとしても、利益がコストを上回ると信じて技術の使用を進めることを決定してしまうだろう。

30 「ハイパーブラボー実験」はこの基準を曖昧に満たしているにすぎない（災害がどの程度まで調整の失敗から生じたのか、またどの程度まで誤算や不運から生じたのかは、元々のカウンターファクチュアルでは不明確であった）ので、タイプ 0 の脆弱性のより明確な例を紹介するのは有用かもしれない。例えば、現代の高エネルギー物理学の実験で、普通の物質が奇妙な物質に変換される自己触媒的なプロセスを引き起こすことが判明し、その結果、地球が破壊されてしまうという「驚くべき奇妙な現象」のシナリオを考えてみよう。このシナリオや、加速器実験によって安定なブラックホールが生成されたり、準安定な真空状態の崩壊が引き起こされたりするそのバリエーションは、文献で分析されている(Jaffe et al 2000; Tegmark and Bostrom, 2005)。このような結果が起こる可能性は完全に無視できるほど低いと分析されているため、たしかにこのような結果は非常に驚くべきことであろう。もちろん、十分に運が悪ければ、無視できるほどの確率の出来事が起こる可能性もある。しかし、その代わりに（そしてこの場合はもっと可能性が高いのであるが)ブラボー実験の計算のように、分析に隠れた欠陥があるかもしれない。

安定化の実現

脆弱世界仮説（VWH）の真実は悪いニュースだろう。しかし、それは文明が荒廃することを意味するものではないだろう。少なくとも原理的には、脆弱性が存在しても世界を安定させることができるいくつかの対応策がある。我々は、技術的論理的発展が継続し、半無政府状態のデフォルト状態が継続することを条件に、文明の荒廃が極めて高い可能性を持つ黒いボール技術という観点から、この仮説を定義したことを思い出してほしい。したがって、安定化を達成するための以下の可能性を理論的に考えることができる。

技術開発を制限する
幅広い人間的な動機の不分配を代表するアクターの大集団が存在しないようにする
極めて効果的な予防的な取り締まりを確立する
効果的なグローバル・ガバナンスの確立

(3）と(4）については後述する。ここでは、(1)と(2)について考察する。これらは、潜在的な文明の脆弱性から身を守る方法としては限定的なものであることを論じる。

1.技術的放棄

一般的な形では、技術的放棄はまったく有望ではないように見える。「技術」という言葉を大まかに解釈したことを思い出してほしい。技術的な開発を完全に止めるには、世界中のあらゆる場所で発明活動を停止させることに近いものが必要である。それは現実的ではないし、仮にそれができたとしても、それ自体が実存的な大惨事を構成するという点で、非常にコストがかかるだろう（すなわち、「永久的な停滞」（Bostrom, 2013））。

科学的・技術的な研究の一般的な放棄は、スターターではないということは、しかしながら、発明活動を限定的に抑制することは良いアイデアではないということを意味しているわけではない。特に危険な進歩の方向性を見送ることは理にかなっている。例えば、私たちの「イージー核兵器」シナリオを思い出すと、ウラン濃縮のためのレーザー同位体分離の研究を奨励するのは賢明であろう（Kemp, 2012）。より少ないエネルギーで、あるいはより小さな産業フットプリントで兵器級の核分裂性物質を製造することを可能にする技術は、核拡散の重要な障壁を侵食することになるだろう。原子力エネルギーの価格をわずかに下げることでそれを補うことができるとは考えにくい。逆に言えば、ウラン濃縮がより難しく、より高価になった方が世界は幸せになれるだろう。この分野で私たちが理想とするのは、技術の進歩ではなく、技術の後退である。

目標とする技術の後退は無理かもしれないが、防護技術の進歩速度に比べて、リスクを低減する技術の進歩速度を遅くすることを目指すことは可能であろう。これが技術開発の差動原理の考え方である。本来は実存的なリスクに焦点を当てたものだが、より広範に適用することで、「単なる」破壊的な可能性を持つ技術にも適用することができる。

差動的な技術開発の原則。危険で有害な技術、特に実存的リスクを高める技術の開発を遅らせ、有益な技術、特に自然や他の技術がもたらす実存的リスクを軽減する技術の開発を加速する。

差動的な技術開発の原則は、技術的決定論のもっともらしい形と両立する。例えば、開発可能なすべての技術が開発されると定められていたとしても、それがいつ開発されるかは重要である。理想的には、保護技術は破壊的な技術の前に来るべきである。

あるいは、それが不可能な場合は、そのギャップを最小化して、強固な保護が可能になるまでの間、他の対抗策（あるいは運）で乗り切ることが望まれる。発明のタイミングは、その技術がどのような社会政治的文脈の中で生まれたかにも影響を与える。例えば、文明が黒いボールを処理できるようになるという長期的な傾向があると我々が信じるならば、最もリスキーな技術開発を遅らせるか、あるいは少なくともそれを加速させることは避けたいと考えるかもしれない。文明の荒廃は避けられないと仮定したとしても、多くの人は、それが未来のもっと先の、もしかしたら自分や自分の愛する人たちがもはや生きていないかもしれない時期に起こることを望むだろう32 。

32 差動的な技術開発は、それぞれのボールの色が完全なサプライズとなって現れる元の「創造性の壺」モデルでは、本当に意味を成さない。この文脈で壷モデルを使いたいのであれば、それを修正しなければならない。例えば、ボールには異なるテクスチャーがあり、テクスチャーと色の間には相関関係があると規定することで、ボールを取り出す前にボールの色についての手がかりを得ることができる。この比喩をより現実的なものにするもう一つの方法は、いくつかのボールの間に紐や弾性バンドがあると想像することである。おそらく、壷は非常に筒状になっていると思われるが、それは、他のものに到達する前に特定の技術が出現しなければならないからである（ジェット機やフーリントの斧を使う社会を見つけることはできないだろう）。その代わりに、金と栄光と引用を求めて腕を組んで手を伸ばしている冒険者たちの群衆を想像してみてほしい。

差動的な技術開発を正しく実施することは、明らかに困難な戦略的課題である（Collingridge, 1980 参照）。とはいえ、長期的な成果に利他的に関心を持ち、発明的な事業に関与しているアクター（研究者、資金提供者、企業家、規制者、立法者など）にとっては、それを試みる価値はあるだろう。例えば、レーザー同位体分離の研究をしてはいけない、生物兵器の研究をしてはいけない、そして、ランダムな個人が地球の気候を一方的に大幅に変化させることができるような地球工学の形態を開発してはいけない、というように。そのような奇抜な開発を直接促進するような DNA 合成機などの技術を加速する前に、よく考えてみてほしい33 。しかし、例えば、病気の発生をより効率的にモニタリングできるようにしたり、秘密の大量破壊兵器計画をより簡単に発見できるようにするような、保護的な技術を促進してほしい。

しかし、差動的な技術開発は、それだけでは、長期間にわたって持続する脆弱性の解決策を提供するものではない。

優先順位の修正

文明の安定化を達成するためのもう一つの理論的に可能な方法は、動機の広範で認識しやすい人間的な分布を代表するアクターの大集団が存在するという事実を変えることであろう。様々な形態の調整を増加させることで、独立したアクターの有効な数を減らすような介入については、後ほど検討することとする。ここでは、（多かれ少なかれ一定のアクター集団の中で）嗜好の分布を修正する可能性を検討する。

このアプローチが有望であるかどうかは、どのようなタイプの脆弱性を想定しているかに依存する。

タイプ1の脆弱性の場合、選好の修正は、少なくとも、それを行うための非常に効果的な手段がない場合には、有望とは言えない。タイプ1の脆弱性の中には、破壊的な結果を追求しようとする動機を持つエンパワーされた人間が世界のどこかに一人でもいれば、文明の破滅を招くことになるものがあると考えてみてほしい。その種の脆弱性では、黙示録的な残留物に含まれる人々の数を減らしても、その数をゼロにまで減らすことができない限り、荒廃を防ぐことには何の役にも立たないだろう。例えば、「イージー核兵器」のようなシナリオでは、数百の都市のそれぞれに黙示録的残留者の誰かがいなければならないかもしれない。しかし、これはまだ非常に低い水準である。地球規模で人間の本性を根本的に再設計するような介入をしない限り、黙示録的残留物を完全に除去したり、タイプ1の脆弱性の脅威を大幅に減らすような介入は考えにくいのである。

終末論的な残留物の大きさを半減させるような介入をしても、（少なくともいかなる一次効果によっても）タイプ1の脆弱性から予想されるリスクをこれほどまでに減らすことはできないことに注意が必要である。終末論的な残差を半分にしても、タイプ1のリスクは、5%あるいは10%減少させるだけの効果しかないことがもっともらしい。その理由は、ある新しい黒いボール技術がどの程度の破壊力を持つかについては不確実性が大きいためで、タイプ1 脆弱性が発生した場合に文明の荒廃が発生するために必要となる終末的な残差の大きさについては、対数空間（数等分のマグニチュード）でかなり均一な先行値を用いるべきだからである。言い換えれば、平均的な個人が少なくとも 100 万人を簡単に殺せるような新技術が開発された場合、その技術によって平均的な個人が 100 万人、1,000 万人、1 億人、2 億人、または生きているすべての人間を殺せる可能性は（大体）同じくらいあるかもしれないということである。

これらの考慮事項にもかかわらず、選好の修正は、権限を与えられたアクターのセットが最初は小さな定義可能な小集団に限定されているシナリオでは有用であるかもしれない。黒いボール技術の中には、壷から出てきたばかりの時には、使用が難しく、特殊な装置を必要とするものもあるかもしれない。そのような技術が完成するまでには、数年の期間が必要になるかもしれない。

この初期の段階では、権限を与えられた主体のセットはかなり限定されている可能性がある。例えば、特定の種類の研究室で働く生物科学の専門知識を持つ個人だけで構成されているかもしれない。そのような研究室の役職に就く申請者をより厳しく審査することで、破壊的な個人が、その出現から数年以内にバイオ技術の黒いボールにアクセスするリスクを有意に減少させることができる36。

タイプ 2a の脆弱性の場合、権限を与えられたアクターの数ははるかに少ない。一般的には、ここで扱うのは国家であり、おそらくは数人の特に強力な非国家アクターと並んでいるだろう。タイプ2a のシナリオの中には、2 つの超大国や特別な能力を持つ国家（現在の核兵器の場合のように）だけで構成されている場合もある。このように、少数の強国の選好をより平和を愛する方向にシフトさせることができれば、非常に有益である。「安全な先制攻撃」シナリオは、安全保障上のジレンマに直面しているアクターが、フィンランドとスウェーデンの間に存在するのと同じような態度でお互いに接していれば、それほど警戒心を抱かなくて済むだろう。技術的なブレークスルーの結果として権力を持つアクターに生じる可能性のあるインセンティブの多くのもっともらしいセットについては、問題のアクターがより冷静な判断力を持っていれば、破壊的ではない結果が得られる可能性は大幅に高まるだろう。これを実現するのは難しいと思われるが、アポカリプティックな残余のメンバーのほとんど全員を説得して、自分たちの立場を変えるのと同じくらい難しいことではない。

最後に、タイプ2bを考えてみよう。このような脆弱性は、非常に多くのアクターが「デフォルトで」有害な行動をとるインセンティブに直面しており、その結果、複合的な影響が文明の荒廃にまで発展することを意味していることを思い出してほしい。したがって、黒いボール技術を使用する動機は、世界の人口のかなりの割合を握っているものでなければならず、経済的利益は、ほぼ普遍的な動機の代表例であると考えられる。そこで、ほぼすべての人が利用できる私的な行動を想像してみよう。それは、それを行った人の年収の何分の一か X を節約する一方で、世界の人口の半分がその行動を取った場合、文明は壊滅的な打撃を受けるという負の外部性を生み出している。X = 0 の場合、反社会的行動をとる人はほとんどいないと考えられる。しかし、X が大きくなればなるほど、誘惑に屈する人口の割合は大きくなる。残念ながら、人口の少なくとも半分の人が反社会的行動をとるように誘導するXの値は小さく、おそらく1%未満であると考えられる37 。企業の広告主、宗教団体、社会運動、教育制度など、すでに多くの強力な勢力が心を奪い合っていることを考えてみてほしい）。世界の利他主義の量を劇的に増加させても、災害を防ぐことができるのは、比較的狭い範囲のシナリオ、すなわち破壊的な技術を使用することによる民間の利益が1～2%の範囲にあるシナリオのみである。民間の利益が 2%を超えるようなシナリオでは、やはり文明の荒廃を招くことになる。

まとめると、黒いボールの発見によって破壊的な力を与えられるであろうアクターのセット内の選好分布を修正することは、他の安定化手段の補助として有用であるが、それを実施することは困難であり、せいぜい非常に部分的な保護を提供する程度であろう（世界的な人間性のリエンジニアリングの極端な形態を想定しない限り）38 。

いくつかの具体的な対策とその限界

科学技術の進歩の方向性に影響を与えたり、破壊に関連した嗜好を変えたりする以外にも、文明の脆弱性を緩和するための様々な対策が考えられる。例えば、以下のようなことが考えられる。

危険な情報の拡散を防ぐ。
必要な物質、手段、インフラへのアクセスを制限する。
捕まる可能性を高めることで、潜在的な悪事を働く者を抑止する。
より慎重になり、より多くのリスク評価作業を行う。
破壊的行為の実行を阻止することができるようにするために、ある種のモニタリングと執行のメカニズムを確立する。

これらのうち最初の4つは一般的な解決策ではないことは、これまでの議論や試験で明らかになったはずである。情報の拡散を防ぐことは簡単にはできない。仮にそれができたとしても、その情報が独立して再発見されることを防ぐことはできないであろう。検閲は、せいぜいその場しのぎの措置であると思われる39 。材料、機器、インフラへのアクセスを制限することは、ある種の（グレーボールの）脅威を軽減するための素晴らしい方法であるが、他の種類の脅威、例えば、必要な成分が経済の多くの場所で必要とされていたり、危険なアイデアが発見されたときにはすでにどこでも手に入るようなもの（「イージー核兵器」のシナリオではガラス、金属、電池など）には利用できない。潜在的な悪事を働く者を抑止することは理にかなっている。しかし、十分に破壊的な技術の場合、アポカリプティック（終末）な残留物の存在は、たとえすべての加害者が確実に捕まったとしても、抑止力を不十分なものにしてしまう。

より多くの注意を払い、より多くのリスク評価を行うことも、弱く限定的な戦略である。一人のアクターが一方的に警戒を強めることを決定しても、タイプ2a の脆弱性に関してはあまり役立たず、タイプ2b やタイプ1 の脆弱性に関しては基本的に何の役にも立たないだろう。タイプ0 の脆弱性の場合には、中心となるアクターがより慎重になれば助けになるかもしれないが、それは最初に慎重になったアクターの後に、慎重でないアクターが同じリスクの高い技術にアクセスするために殺到しない場合に限られる（その間に何らかの方法で世界が安定化していなければ）40 。

そして、リスク評価に関しては、それが他の対策の実施につながる場合にのみ、リスクを下げることができたのである41 。

リストの最後の対策であるサーベイランスは、より一般的な解決策の方向性を示している。この点については、で「予防的取り締まり」の見出しで論じることにする。しかし、それだけでは十分ではないことはすでに指摘されている。例えば、「地球温暖化の悪化」のようなタイプ2bの脆弱性を考えてみよう。仮にサーベイランスによって、国家が課すことを選択した環境規制を完璧に実施することが可能になったとしても、必要な規制を採用することに同意してくれる国家を十分な数の国から集めるという問題がある。モニタリングの限界は、「安全な先制攻撃」のようなタイプ2aの脆弱性の場合にはさらに明らかであるが、問題は国家（または他の強力なアクター）が破壊的な行為を行うように強く動機付けられることである。国家が自国の国境内で起こっていることを完全にコントロールする能力を持っていても、この問題を解決することはできない。国際協調の課題を伴う問題を確実に解決するために必要なのは、効果的なグローバル・ガバナンスである。

ガバナンス・ギャップ

これで、潜在的な文明の脆弱性への対応としての技術的放棄、選好の修正、そして様々な具体的な対策の限界が明らかになったはずである。したがって、脆弱世界仮説（VWH）が真実であるかもしれないと懸念される範囲では、安定化を達成するための残りの 2 つの可能な方法を検討しなければならない。

極めて効果的な予防警察能力の構築。違法性の高い行為を行うことを抑止できない個人や小集団を含めて、極めて高い信頼性で予防するために必要な国家内ガバナンス能力を育成すること。
強力なグローバル・ガバナンスのための能力を構築する。最も深刻なグローバル・コモンズの問題を確実に解決し、重要な安全保障上の利益が危機に瀕している場合には、たとえ合意からの脱退やそもそもの署名を拒否する強いインセンティブがある場合であっても、国家間の強固な協力を確保するために必要な国家間ガバナンスの能力を育成すること。

(1)と(2)で反映されている2つのガバナンス・ギャップは、ミクロ・スケールとマクロ・スケールの2つのギャップであり、現代の世界秩序の2つのアキレス腱となっている。これらが保護されていない限り、文明は、そこに攻撃を向けることを可能にする潜在的な技術的黒いボールに対して脆弱ままである。そのような発見が骨壺から出てこない限り、そして出てこない限り、私たちがどれだけさらされているかを見落としがちである。

以下の 2 つのセクションでは、潜在的な文明の脆弱性を安定化させる一般的な能力を達成するために、これらのガバナンスのギャップを埋めることがどのように必要であるかを議論する。(1)と(2)に向けて進展を求めることには、大きな困難があることは言うまでもないし、また、非常に深刻な潜在的な落ち込みがあることは言うまでもない。本稿では、困難についてはほとんど触れず、潜在的な欠点についてはほとんど触れないことにする。しかし、(1)と(2)に対する議論の欠如は、これらの議論が弱い、あるいは重要な問題を指摘していないという暗黙の主張として解釈されるべきではないことを強調する。もちろん、これらの議論は、すべてを考慮した評価の中で考慮されなければならない。しかし、このような評価は、特に脆弱世界仮説（VWH）から派生する考察に焦点を当てた本稿の範疇を超えている。

予防的な取り締まり

1型の脆弱性が開いたとしよう。誰かが簡単に大量破壊を引き起こす方法を発見したとする。その発見に関する情報が広まる。必要な材料や道具はどこでも入手可能であり、すぐに流通から外すことはできない。もちろん、非国家的な行為者が都市を破壊することは非常に違法であり、そのような行為をしているところを発見された者は誰でも厳しい罰則の対象となる。しかし、100万人に1人以上の人が、避けられない終末的な残滓に属しているというのは、ありえそうだ。相対的には小さいが、そのような人がそれぞれ都市を破壊する出来事を起こしたとしても、その絶対数は文明が耐えられないほど大きい。では、どうすればいいのか？

いきなりそんな状況に陥ってしまっては、文明の滅亡を防ぐことはできないかもしれない。しかし、そのような状況を人類社会が無傷で乗り切ることは可能であり、また、個人が単独で都市だけでなく世界全体を破壊してしまうような、さらに困難な状況を想定することも可能である。

このような脆弱性を安定化させるために必要なのは、非常に発達した予防的な取り締まり能力である。国家には、大量破壊行為の準備を始める者を誰でも傍受できるように、市民をモニタリングする能力が必要であろう。

このようなモニタリングと傍受の実現可能性は、シナリオの具体的な内容に依存している。しかし、現在利用可能な技術を最大限に活用する国家によって、タイプ1の脆弱性スペクトルのかなりの部分が安定化される可能性があるのはもっともなことである。また、モニタリング技術の進歩が期待されていることから、達成可能な保護範囲は大幅に拡大するだろう。

本当に集中的なレベルのモニタリング体制がどのようなものになるかについては、次のヴィネットを見てみよう。

ハイテク・パノプティコン

誰もが「フリーダム・タグ」を装着されている。これは、今日ではお馴染みの、より限定的なウェアラブルモニタリング装置の続編で、いくつかの国で刑務所の代替品として使用されている足首のタグ、多くの警察が装着しているボディカム、ポケット・トラッカーやリストバンド、一部の親が子供を追跡するために使用しているもの、そしてもちろん、ユビキタス携帯電話（電話をかけるためにも使用できる個人追跡デバイス)

フリーダム・タグは、首に装着し、多方向カメラとマイクを装備した少し高度な装置である。暗号化されたビデオとオーディオは、デバイスからクラウドに継続的にアップロードされ、リアルタイムで機械的に解釈される。AIアルゴリズムにより、着用者の活動、手の動き、近くの物体、その他の状況的な合図を分類する。不審な活動が検出された場合、フィードは、いくつかの愛国者モニタリングステーションの1つに中継される。

ここは広大なオフィスビルで、24時間365日スタッフが常駐している。そこでは、自由巡査がいくつかのスクリーンに映し出された映像を確認し、ヘッドフォンで音声を聞く。自由巡査はその後、適切な行動を決定する。例えば、タグをつけている人にオーディオリンクを介して連絡を取り、説明を求めたり、より良い景色を見るように要求したりする。自由巡査は、さらに調査するために、検査官、警察の迅速な対応部隊、またはドローンを派遣することもできる。繰り返し警告を受けた後、着用者が禁止された活動を止めることを拒否した場合、ごく一部のケースでは、逮捕されたり、その他の適切な罰則が課されることがある。

市民は、適切な外部センサーが装備されている環境にいる間を除き、自由タグを取り外すことは許されていない（ただし、ほとんどの屋内環境や自動車を含みます）。このシステムは、親密な体の部分を自動でぼかすなど、かなり洗練されたプライバシー保護を提供し、顔や名札などの身元を明らかにするデータを削除し、調査に必要な場合にのみ公開するオプションを提供している。AI を有効にするメカニズムと人間によるモニタリングの両方が、悪用を防止するために自由担当者のすべての行動を綿密にモニタリングしている43 。

ハイテク・パノプティコンの作成と運用には多額の投資が必要となるが、カメラ、データ伝送、ストレージ、コンピューティングの価格の下落と、AI 対応コンテンツ分析の急速な進歩のおかげで、技術的に実現可能であり、手頃な価格であることがまもなく実現するかもしれない。例えば、これを一人の個人に1年間適用するためのコストが140ドル程度に下がれば、世界のGDPの1%以下のコストで全世界の人口を継続的にモニタリングすることが可能になる。その価格であれば、このシステムは、文明規模の大災害を防ぐための使用はさておき、通常の法執行のための有用性のために、正味の節約になると言ってもいいだろう。このシステムが宣伝通りに機能すれば、多くの犯罪の形態はほぼ解消され、それに伴って警察、裁判所、刑務所、その他のセキュリティシステムのコストも削減されるだろう。また、現在のところ社会的信頼の欠如によって阻害されている多くの有益な文化的慣習の成長をもたらす可能性もある。

www.wired.com/2008/08/more-nypd-count/

ハイテク・パノプティコンへの技術的障壁が急速に低下しているとすれば、その政治的実現可能性はどうだろうか。一つの可能性としては、システムに大きな衝撃がなくても、社会が徐々に完全な社会的透明性へと移行していくことが考えられる。人や物に関する情報を収集したり、分析したりすることが徐々に容易になり、それを可能にすることが非常に便利になり、最終的には完全なモニタリングに近いものが現実のものとなり、ネジをもう一回回すだけでハイテク・パノプティコンと化することができるほどになるかもしれない44 。完全に普遍的なモニタリングシステムが存在しない場合に試みられるその他の極端な措置としては、ある個人が都市破壊行為を行おうとする確率が 1%を超えるか、それ以上の確率であることを示す信頼性の低い指標が存在する場合にはいつでも、先制的な投獄政策を採用することなどが考えられる45 。少なくとも、いくつかの壮大な警告射撃が行われている脆弱性の場合には、そのリスクが非常に明確に認識されているだろう。例えば、「簡単に核攻撃ができる」シナリオでは、いくつかの大都市が破壊された後には、次の攻撃を防ぐために、真正な謀略を企てた者ごとに無実の人々を 100 人投獄するような政策に対する国民の強い支持があるだろう(46) 。しかし、このような議論の余地のない証拠が先行していなかったり、それを伴っていなかったりする脆弱性については、強固な予防措置を講じる意志が実現することはないかもしれない。

したがって、第一種脆弱性を安定化させるためには、ユビキタスなリアルタイムモニタリングを可能にした極めて効果的な予防的な取り締まりが必要である。サーベイランスは、タイプ1 の場合のように中央に集中しているわけではないが、他のいくつかのタイプの脆弱性にも関連している。

タイプ2b の脆弱性では、悪い結果は、破壊的な行動をするようにインセンティブを与えられた独立したアクターの集合行動によってもたらされる。しかし、破壊的な行動を観察することが非常に困難でない限り、モニタリングの強化や予防的な取り締まりは、安定化を達成するためには必要ないだろう。例えば、「より悪い地球温暖化」では、個々の行動を先取りすることは必須ではない。危険なレベルの排出量が蓄積されるのには時間がかかるし、汚染者は後になってから責任を問われる可能性がある。

しかし、他のタイプ2bの脆弱性については、モニタリングと社会的管理の強化が重要である。「暴走暴徒」とは、暴徒が形成され、接触した者の中で参加を拒否した者を殺害し、その暴徒がますます大きくなり、中規模化していくシナリオである（Cf. Munz et al 2009）。このような悪しき社会均衡が形成され、伝播していくことの容易さ、一度定着してしまった社会均衡を改革することの実現可能性、そして人間の福祉に与える影響は、技術革新によって変化しうるパラメータに依存している。今日でも、多くの州が組織犯罪を制圧しようと奮闘している。犯罪企業をはるかにスケーラブルにしたり、その社会的影響をより大きくしたりする黒いボールの発明（おそらくは暗号経済メカニズムの設計）は、国家が前例のないモニタリングと社会的統制の技術的な力を持っていた場合にのみ安定化できる脆弱性を生み出す可能性がある。

タイプ 2a の脆弱性に関しては、問題が国家権力や他の強大なアクターが直面するインセンティブに起因しているため、国内のモニタリングがどのように役に立つかはあまり明確ではない。歴史的に見ても、社会的統制のためのより強力な手段は、国家間紛争を悪化させてきた可能性さえある。モニタリング体制の改善は、社会文化の力学を変えたり、軍縮条約や不可侵条約をより検証可能なものにするための新たな選択肢を作り出したりすることで、間接的にタイプ 2a の脆弱性の安定化を促進することが考えられる。しかし、タイプ2a の脆弱性に対する国内モニタリングと取り締まりを強化することの正味の効果は、国際紛争を解決するための信頼できるメカニズムがない場合には、逆の方向（すなわち、脆弱性を安定化させるのではなく、むしろそのような脆弱性を生み出したり、悪化させたりする傾向がある）になるというのが、同様にもっともらしいと思われる。

グローバル・ガバナンス

「安全な先制攻撃」をもう一度考えてみよう。デフォルトで黒いボール技術を利用できる国家は、黒いボールを破壊的に使用したいという強いインセンティブに直面している。最初の例では、核兵器の対実例を示したが、将来的には、生物兵器の進歩や、原子レベルでの精密な製造、あるいは膨大な数の殺人用無人機の作成、人工知能、あるいは他の何かによって、この種の黒いボールを手に入れることができるかもしれない。そして、国家主体の集合体は、集団行動の問題に直面することになる。この問題を解決できなければ、核ハルマゲドンやそれに匹敵する別の災害で文明が壊滅的な打撃を受けることになる。効果的なグローバル・ガバナンスがなければ、国家は実際にはこの問題の解決に失敗するだろう。前提として、ここで私たちが直面している問題は特別な課題を提示している。人類の歴史は、戦争の痕跡で頭から足まで覆われている。

しかし、効果的なグローバル・ガバナンスがあれば、解決策は些細なものになる。安全な先制攻撃」の場合、これを実現するための最も明白な方法は、すべての核兵器を解体し、誰も核能力を再現しないことを保証するために必要なレベルの潜入性を備えた査察体制を構築することであろう。あるいは、グローバル・ガバナンス機関自身が、いかなる脱走の試みに対するバッファーとして核兵器を保持することも可能である。

タイプ 2a の脆弱性に対処するために、文明が必要とするのは、特に国家の行動が非常に大きな外部性を持つ問題において、グローバルな協調を達成するための強固な能力である。効果的なグローバル・ガバナンスは、一部の国家が自国の領土内の個人が破壊的な行為を行うことを確実に防ぐために必要な予防的な警察活動を実施することに消極的なタイプ1やタイプ2bのシナリオにも役立つだろう。

一度の悪意ある使用で何十億人もの人々が死ぬパンデミックを引き起こす可能性があるほど強力なバイオテクノロジーの黒いボールを考えてみよう。一つの国家であっても、国民を継続的にモニタリング・管理するために必要な機械（あるいは、悪意のある使用を完全な信頼性で防止するために必要なその他のメカニズム）を設置しないと、受け入れられないであろう。必要な保障措置の実施を拒否する国家は、個人の自由を重視しすぎている、あるいは国民にプライバシーの内接権を与えているという理由で、国際社会の不良なメンバーとなるだろう。そのような国家は、たとえその統治機構が他の点では立派に機能していたとしても、国家間の統制が取れていないために海賊や国際テロリストの安全な避難所となっている「破綻国家」に類推されるだろう（もちろん、現在のケースでは、その国家が世界の他の地域に課すであろうリスクの外部性の方がはるかに大きいが）。他の国は確かに文句を言う理由があるだろう。

同様の議論は、「地球温暖化の悪化」シナリオのようなタイプ2bの脆弱性にも当てはまる。効果的なグローバル・ガバナンス機関があれば、すべての国家に自分の役割を果たすように強制することができる。

このように、予防的な取り締まりだけで安定化できる脆弱性もあれば、グローバル・ガバナンスだけで安定化できる脆弱性もあるが、その両方を必要とする脆弱性もあることがわかる。個人が規制の難しい活動を行うこともあり、それにもかかわらず効果的に規制されなければならないため、非常に効果的な予防的取り締まりが必要であり、また、国家がそのような活動を効果的に規制する能力を持っていても、効果的に規制しないというインセンティブを持つ可能性があるため、強力なグローバル・ガバナンスが必要である。しかし、ユビキタス・サーベイランスによる予防的な取り締まりと効果的なグローバル・ガバナンスを組み合わせれば、ほとんどの脆弱性を安定化させるのに十分であり、脆弱世界仮説（VWH）が真実であっても科学技術の開発を継続することが安全になる47 。

議論

包括的なモニタリングとグローバル・ガバナンスは、このようにして、広範な文民的脆弱性からの保護を提供することになるであろう。これは、これらの条件を実現するための相当な理由である。この根拠の強さは、「脆弱世界仮説」が真実である確率にほぼ比例する。

言うまでもなく、これまでにないほど激しいモニタリングを可能にするメカニズムや、どの国にもその意向を押し付けることができるグローバル・ガバナンス機関も、悪い結果をもたらす可能性がある。社会的統制のための能力が向上すれば、専制政権が反乱から身を守るのに役立つかもしれない。ユビキタスモニタリングは、覇権主義的なイデオロギーや不寛容な多数派の見解が生活のあらゆる側面に自分自身を押し付けることを可能にし、逸脱したライフスタイルや不人気な信念を持つ個人が匿名性の中に避難場所を見つけることを防ぐことができる。そして、人々が自分の言動がすべて事実上「記録に残る」と信じているならば、人々はより警戒心を強め、政治的に正しい態度や行動の標準的な台本に固執し、暴徒の標的になったり、履歴書に消せない失格の印をつけられたりする危険性のある挑発的な言動を敢えてするのではなく、政治的に正しい態度や行動の標準的な台本に固執するようになるかもしれない。グローバル・ガバナンスは、国家間の競争や多様性の有益な形態を減少させ、単一の失敗点を持つ世界秩序を形成する可能性がある。もし世界政府が十分に悪質なイデオロギーや特別な利益団体に捕らえられた場合、政治的進歩のためのゲームオーバーとなる可能性がある。また、このような機関は、典型的な国家政府よりも個人や文化的に結束力のある「民衆」からさらに離れているため、正当性が低いと受け取られることもあり、官僚的な硬化症や公共の利益からの政治的な逸脱などの機関問題の影響を受けやすくなる可能性がある48。

また、モニタリングの強化とグローバル・ガバナンスの強化は、文明の脆弱性を安定化させる以外にも、様々な良い結果をもたらす可能性があることは言うまでもない（Re, 2016）; Bostrom, 2006; cf. Torres, 2018）。より効果的な社会的統制の方法は、犯罪を減らし、厳しい刑事罰の必要性を軽減することができる。これらの方法は、有益な新しい形の社会的相互作用や経済活動の繁栄を可能にする信頼関係を育むことができる。グローバルな統治は、文明の荒廃を脅かさないものも含めて、国家間の戦争を防ぎ、軍事費を削減し、貿易を促進し、様々な地球規模の環境問題やその他の共同体の問題を解決し、民族主義的な憎しみや恐れを鎮め、時を経て、おそらくは国際的な連帯感の拡大を促進することができるだろう。また、世界の貧困層への社会的移転を増加させる可能性もあり、それが望ましいと考える人もいるだろう。

明らかに、このような方向に進むことには賛否両論がある。本論文は、これらの議論の全体的なバランスについての判断を提供するものではない。ここでの目的はもっと限定的なものである。技術主導の潜在的な文明の脆弱性について考えるための枠組みを提供すること、そして、様々なシナリオにおいて文明を安定させるためには、予防的な警察活動とグローバル・ガバナンスの能力を大幅に拡大することが必要であることを指摘することである。この分析は、こうした能力の開発を支持する追加的な理由を提供している。この理由は、政府のモニタリングについての議論や、国際機関や超国家機関の改革案など、関連する問題についての最近の多くの会話の中で、重要な役割を果たしていないように思われる49 。しかし、この追加の理由が全体のバランスを崩すのに十分な重みを持っているかどうかは、本稿の範囲外の他の考慮事項にかかっている。

本稿の議論は、特定の形態のガバナンス能力強化を支持するものであることを強調する価値がある。モニタリングと予防的な取り締まりに関しては、脆弱世界仮説（VWH）の懸念は、人口のほとんどの大多数派（および権力に重きを置いた国内の利害関係者）によって非常に強く反証されている活動を極めて確実に抑圧することを可能にするガバナンス能力の望ましさを具体的に指摘している。それは、他の形態のガバナンス強化が、この特定の能力の創出を助ける限りにおいてのみ、支援を提供するものである。同様に、グローバル・ガバナンスに関しても、脆弱世界仮説（VWH）に基づく議論は、非常にリスクの高い国際的な調整問題、つまり解決策を見出せないと文明の荒廃を招くような問題を確実に解決する能力を持つ機関の開発を支持するものである。これには、大国間の紛争を防止し、大量破壊兵器の軍拡競争を抑制し、開発競争と潜在的な黒いボール技術の展開を規制し、コモンズの悲劇の最悪の種類をうまく管理する能力が含まれる。それは、他の多くの問題について国家に協力させる能力を含む必要はなく、また、完全に合法的な手段のみを用いて必要な安定化を達成する能力を含む必要もない。これらの能力は他の理由から魅力的なものではあるが、脆弱世界仮説（VWH）を真面目に受け止めたからといって、すぐに必要なものとして現れるわけではない。例えば、脆弱世界仮説（VWH）に関して言えば、理論的には、ある超大国が十分な支配力を持つようになることで、必要とされる世界的な統治能力が生まれ、十分に危機的な緊急事態が発生した場合に、世界の他の国々に一方的に安定化策を課すことができるようになれば、それは満足のいくものになるであろう。

議論しなければならない重要な問題の一つは、タイミングの問題である。発明の壺に黒いボールが入っているかもしれないと真剣に懸念するようになったとしても、仮説での脆弱性がはっきりと見えてきたときに、後になってそれらの措置を講じることが可能になると考えれば、今、より強力なモニタリングやグローバル・ガバナンスを確立することに賛成する必要はない。そうすれば、アラームが鳴るとすぐにベッドから飛び出して必要な行動を取るだろうという確信に満ちた期待の中で、世界は甘い眠りを続けることができる。しかし、私たちはその計画がどれほど現実的であるかも疑うべきである。

ここでは、歴史的な考察が役に立つ。冷戦時代を通じて、2つの超大国（そして北半球全体）は、核による全滅の恐怖の中で生活していた。脅威の現実は、すべての側に受け入れられていた。このリスクは、すべての、あるいはほとんどの核兵器を廃絶するだけで、大幅に軽減することができたのです（この措置は、良い副次的効果として、10兆ドル以上の節約にもなった）。実際、核による全滅の脅威は、今日に至るまで私たちの手元に残っている。条約を執行し、紛争当事者に妥協案を受け入れるよう強制できる強力なグローバル・ガバナンスがない限り、世界はこれまでのところ、この最も明白な集団行動の問題を解決することができていない52 。

しかし、世界が核戦争のリスクを排除できなかった理由は、そのリスクが十分に大きかったからではないだろうか。リスクがもっと高かったならば、世界的な統治問題を解決するために必要な意志が見出されていたのではないかと婉曲的に主張することができる。そうかもしれないが、それは文明の運命を左右するような不安定な地盤のように思える。核兵器よりも危険な技術は、安定化を達成するための障害を克服するためのより大きな意志を刺激するかもしれないが、黒いボールの他の特性は、グローバル・ガバナンスの問題を冷戦時代よりも困難にする可能性があることに注意すべきである。私たちはすでに「安全な先制攻撃」や「地球温暖化の悪化」などのシナリオでこの可能性を説明してきた。私たちは、ある技術セットの特定の特性が、破壊的な利用や、その有害な利用を抑制するための合意への参加を拒否する（あるいはその合意から離脱する）という、より強いインセンティブを生み出す可能性があることを見ていた53 。

最終的に合意に達することができると楽観的に考えていたとしても、時期の問題は深刻な懸念事項であり続けるべきである。国際的な集団行動の問題は、たとえ制限された領域内であっても、利害関係が大きく紛れもないものであったとしても、解決に長い時間を要することがある。なぜ取り決めが必要なのかを説明し、反対意見に答えるには時間がかかるし、協力的なアイデアの相互に受け入れ可能なインスタンス化を交渉するには時間がかかるし、詳細を詰めていくには時間がかかるし、実施に必要な制度的なメカニズムを設定するには時間がかかる。多くの状況では、ホールドアウトの問題や国内の反対が何十年も進行を遅らせる可能性がある。しかし同時に、脆弱性が誰の目にも明らかになってから安定化策を講じなければならなくなるまでの期間は短いかもしれない。脆弱性の性質が否定主義の余地を残していたり、情報の危険性から具体的な説明を広く提供できない場合には、その間隔は負のものになる可能性さえある。これらの考慮事項は、脆弱性が顕在化した場合には、その日を救うために自発的なその場限りの国際協力に頼ることが極めて重要であることを示唆している(54) 。

予防的取り締まりに関する状況は、いくつかの点で類似しているが、モニタリング技術の進歩に牽引されて、効果的なグローバル・ガバナンスへの傾向よりも、市民の行動を個別に把握し、潜在的にコントロールするための国家の能力を高める傾向の方が、はるかに早く、より強固なものとなっていることが見て取れる。少なくとも、物理的な領域に目を向ければ、これは真実である。デジタル情報の領域では、暗号化や匿名化ツールの普及と、破壊的なイノベーションの頻発により、サイバースペースの将来を予見するのが困難になっているため、見通しはやや不透明である。しかし、物理的な空間における強力な能力は、デジタル領域における強力な能力にも波及するだろう。ハイテク・パノプティコンでは、当局が暗号を解読する必要はないだろう。

ある種のプライバシーを犠牲にし、全体主義的な悪夢を不用意に助長してしまう危険性があることを正当化するに足るだけ深刻に見える、特定の文明的な脆弱性が明確に表れてくるまでは、モニタリングや社会的統制の改善方法を開発すべきではない、という立場を取ることもできるだろう。しかし、国際協力の場合と同様に、私たちはタイミングの問題に直面している。「ハイテク・パノプティコン」に描かれているような、高度に洗練されたモニタリング・対応システムは、一朝一夕にして構築し、完全に信頼できるようにすることはできない。現実的には、私たちの現在の出発点からすれば、政治的な支持を得るために必要な時間は言うまでもなく、そのようなシステムを実装するには何年もかかるであろう。しかし、そのようなシステムが必要とされるかもしれない脆弱性は、私たちに事前の警告をあまり与えないかもしれない。先週、あるトップアカデミックなバイオラボがScience誌に論文を発表したかもしれないし、あなたがこの言葉を読んでいる間に、世界のどこかで人気のあるブロガーが、ページビューを熱心に追い求めて、そのラボの結果が誰にでも大量破壊を引き起こすために利用できる巧妙な方法を説明する投稿をアップロードしているかもしれない。

このようなシナリオでは、強烈な社会的コントロールをすぐにスイッチを入れる必要があるかもしれない。好ましくないシナリオでは、リードタイムは数時間から数日と短いかもしれない。そうなると、脆弱性が明らかに見えてきたときにモニタリングアーキテクチャの開発を開始するには遅すぐ。脆弱性を回避するためには、安定化のためのメカニズムを事前に整備しておく必要がある。

理論的に実現可能なのは、侵入モニタリングやリアルタイム傍受のための能力を事前に開発しておくことであるが、最初はそれらの能力をフルに活用しないことである。これは、タイプ1 の脆弱性（および個人の行動を高度に信頼性の高い形でモニタリングすることを必要とする他の脆弱性）を安定化させるための要件を満たす一つの方法である。人類の文明に極めて効果的な予防的な取り締まりの能力を与えることで、私たちは半アナシックなデフォルト状態の次元の一つを脱することになるだろう。

確かに、このようなシステムを構築して待機状態にしておくことは、実際に強烈な形態の社会的統制を導入することによる弊害のいくつかが発生することを意味するだろう。特に、抑圧的な結果が起こりやすくなるかもしれない。

“問題は、モニタリングシステムの創設が、危険なほどにそのバランスを政府のコントロールの方向へと大きく変えてしまうかどうかである。私たちは、何年にもわたって法律を慎重に尊重して使用されている、令状によってのみ起動され、家庭に設置された強制カメラのシステムを想像するかもしれない。問題は、一度確立されてしまうと、そのようなモニタリング体制を解除するのは難しく、パニックや悪意、あるいは公共の利益を密かに判断する能力に対する誤った自信からか、我々に対してそれを利用しようとする人々の手に落ちた場合には、あまりにも強力な制御手段であることが証明されてしまうということである（Sanchez, 2013）」。

ターンキー全体主義のためのシステムを開発するということは、たとえ鍵が回されることを意図していなくても、リスクを負うことを意味する。

適切な技術的・制度的なセーフガードを備えたシステムを設計することで、このリスクを軽減しようとすることができる。例えば、複数の独立した利害関係者がシステムを動作させるために彼らの許可を与えなければならないように情報アーキテクチャを整理することによって権力の集中を防ぐ「構造化されたトランス・パーレンシー」のシステムを目指すことができ、また、ある決定者が合法的に必要とする特定の情報のみが、目的が許す限り適切な修正と匿名化が適用されて、その決定者が利用可能になるようにすることができる。創造的なメカニズムの設計、機械学習、そして派手な暗号化のフットワークがあれば、公的な機能で非常に効果的であると同時に、代替的な用途への転用にも多少抵抗力があるモニタリングシステムを実現するための根本的な障壁はないかもしれない。

これが実際に達成される可能性がどの程度あるのかは、もちろん別の問題であり、さらなる調査が必要であろう55 。全体主義の重大なリスクが必然的に善意のモニタリングプロジェクトに伴うものであったとしても、そのようなプロジェクトを追求することが全体主義のリスクを高めることにはならない。比較的平穏な時期に開始された比較的リスクの低い善意のプロジェクトは、危機の最中に開始されたあまり善意ではなく、よりリスクの高いプロジェクトを先取りすることで、全体主義のリスクを減らすことができるかもしれない。しかし、たとえ全体主義のリスクを増大させる正味の効果があったとしても、（あるいは、非常に効果的なモニタリングと予防的な取り締まりがもたらすであろう他の利益のために）新たに出現した第一種の脅威に対して文明を安定させる一般的な能力を得るためには、そのリスクを受け入れる価値があるかもしれない。

結論

この論文では、文明が技術的創造性のある種の可能性のある結果に対してどのように脆弱であるかを、より容易に見ることができる視点を紹介している。我々は、このような潜在的な脆弱性の類型論を展開し、その中には破壊が容易になりすぎることから生じるものもあれば、少数の強力な国家アクターや多数の弱小アクターが直面するインセンティブの悪質な変化から生じるものもあることを示した。

また、様々な可能性のある対応策とその限界についても検討した。一方では、個人や小集団が極めて違法性の高い行為を行うことを極めて高い信頼性で阻止する予防的な取り締まり能力が欠如していること、もう一方では、重要な国家間の利害関係がデフォルトで国家に亡命を促すような場合でも、最も深刻な国家間の調整問題を確実に解決するグローバル・ガバナンスの能力が欠如していること、である。潜在的な文明の脆弱性に対する一般的な安定化-技術革新が広いフロンティアに沿って急速に起こっており、人間が認識できる多様な動機を持つ多数のアクターが存在する世界では-は、これらのガバナンスのギャップの両方を解消することが必要である。それが実現されるまでは、人類は技術的な黒いボールを描くことに脆弱ままである。

明らかに、これらの考察は、モニタリング能力と予防的な取り締まりシステムの強化を支持し、（一方的な覇権主義的な強さに基づくものであれ、強力な多国間的な影響力に基づくものであれ）断固とした行動が可能なグローバル・ガバナンス体制を支持するための、直接的な理由を提供している。しかし、これらのことがすべてを考慮した上で望ましいかどうかについては決着がついていない。

マクロ戦略の展望に何らかの道標を示すことを主な目的としているため、ここではかなり要約レベルでの議論に焦点を当て、異なるローカルな文脈の詳細とは無関係に、（長期的なアウトカムやグローバルな望ましさに関して）自分自身を方向付けるのに役立つ概念を開発した。

実際には、潜在的な黒いボールに対して文明を安定化させる努力をするとしたら、最初は部分的な解決策と低い垂れ下がりの果実に焦点を当てるのが賢明であると気づくかもしれない。このように、極めて効果的な予防的取り締まりや強力なグローバル・ガバナンスを直接実現しようとするのではなく、黒いボールが最も出現しそうな特定の領域を取り繕うことを試みることができるかもしれない。例えば、主要な材料や機器を追跡したり、研究室内の科学者をモニタリングしたりするためのより良い方法を開発することで、バイオテクノロジー関連の活動のモニタリングを強化することができる。また、バイオテクノロジーの供給部門における顧客周知の規制を強化し、特定の種類のラボで働いている職員や特定の種類の実験に関与している職員の経歴調査の利用を拡大することも可能である。内部告発者制度を改善し、世界的なバイオセキュリティ基準の向上を図ることも可能である。また、例えば、生物兵器条約を強化し、生物兵器に関する世界的なタブーを維持することで、差別化された技術・技術開発を追求することも可能である。資金提供団体や倫理的承認委員会は、特定の研究の潜在的な結果について、研究室の作業員、実験動物、ヒト研究対象者へのリスクだけでなく、期待される知見が将来的にバイオテロリストの能力水準を低下させる可能性のある方法にも焦点を当てて、より広い視野を持つように奨励されてもよい。主に予防的な研究（疾病発生のモニタリング、公衆衛生能力の向上、空気ろ過装置の改良など）は、異なる方法で推進される可能性がある。

とはいえ、このような限られた目的を追求している間は、それらが提供する保護は、シナリオの特別な部分的な部分的なものをカバーしているに過ぎず、一時的なものである可能性があることを念頭に置くべきである。もし、予防警察能力やグローバル・ガバナンス能力のマクロパラメータに影響を与える立場にあるとしたら、それらの領域を根本的に変えていくことが、技術的な脆弱性に対して文明を安定化させる一般的な能力を実現する唯一の方法であると考えるべきであろう。

注釈

1. 明らかに、壷の比喩には重要な限界がある。そのうちのいくつかについては、後ほど説明する。

2. 人間以外の動物の状態に及ぼす正味の影響を評価することは困難である。特に、現代の工場農業では、大量の動物が虐待されている。

3. しかし、イースター島（ラパ・ヌイ）の人々やメサベルデの先住民族（アナサジ）のように、自らの森林を伐採して環境破壊に陥った「文化」や地域住民の例もある（ダイヤモンド（2005）によると）。

4. 進化的適応を発明と考えれば、他の種にも例があるかもしれない。例えば、種や個体群の絶滅につながる進化の行き詰まりが、特殊化（狭いニッチへの適応が、より広い範囲の環境で生き残るために必要な形質の不可逆的な損失を伴う可能性がある）に関わるもののような有利な進化の変化から生じる可能性があることを探求した文学的な記事がある。(Day et al 2016)、近交系の社会システムの出現(例：社交クモの間で) (Aviles and Purcell, 2012)、または自給への転換(例：外交から自給へ移行する花卉種の間で) (Igic and Busch, 2013)などがある。

5. プロジェクトに関わったほとんどの科学者は、原子力エネルギーを国際的な管理下に置くバルヒ計画のような提案を支持していたが、この時点では意思決定権はほとんど持たなかった。

6. もちろん、比喩的な意味での話である。しかし、議論の余地なく、この比喩では、広く委譲された指揮統制を考えると、それぞれの側には震える指が一本以上あるはずである(Elsberg, 2017; Schlosser, 2013)。

7. しかし、与えられた国家内では、核攻撃を開始する権限を与えられたアクターの数は非常に多いかもしれない。エルスバーグ（2017）は、冷戦時代の少なくともかなりの部分では、核兵器を発射する権限は米国の指揮系統の複数の階層に委譲されていたと主張している。核兵器を発射する権限はないが、核兵器を発射する物理的な能力を持つオフィッカーの数も、必然的に多くなっていた。ソ連では、1991 年 8 月のミハイル・ゴルバチョフに対するクーデターの際に、ソ連のチェゲット（「核ブリーフケース」）が 3 つともクーデター指導者の手に渡ったことがある（Sokoski and Tertrais, 2013; Stevenson, 2008）。

8. 「情報ハザード」とは、例えば、情報によって一部のエージェントが危害を加える可能性があるため、真の情報の流布に起因するリスクである。Bostrom (2011)は、情報ハザードについてより一般的に論じている。

9. オープン化は、より多くの人が対策に取り組むことができるようになるので、利益になると主張するかもしれない（例えば、インフルエンザウイルスの機能獲得に関する議論;(Duprex et al 2015; ファウチ et al 2011; Sharp, 2005)を参照のこと）。彼らはまた、政府が秘密情報を参照することによって非人道的な行動を正当化し続ける限り、市民に対して危険なほど説明責任を果たせなくなるだろうと主張するかもしれない。同じような信念が、1970年代後半にアメリカの雑誌『プログレッシブ』が、米国エネルギー省の法的挑戦にもかかわらず、水爆に関する秘密を公表するという決定を下した動機となった。秘密そのもの、特にいくつかの話題について立入禁止を宣言する少数の指定された『元専門家』の力は、核施設が通常通り事業を行い、これらの恐ろしい兵器の生産を保護し、永続させることができるような政治的な環境に貢献している」と書いている。

10. 一般に、複数のアクターがそれぞれ一方的に行動を起こす可能性がある場合には、アクターの数が増えるにつれて、その行動が起こる確率は 1 になる傾向がある。この現象が、目標は共有しているが判断が不一致であるアクターに対して、アクターが曝される環境や推論のランダム性のために生じる場合、「一方的な行動の呪い」が生じる(Bostrom et al 2016)。この呪いとは、核兵器の設計図を公表する決定のような非常に賢明でない決定であっても、十分なアクターが一方的にそれを行う立場にある場合には、それが行われる可能性が高いことを意味している。

11. 今日、悪意のあるサイバー攻撃を行う「ブラックハット」ハッカーの間では、このような同じ動機が多く見受けられる。例えば、恐喝の方法として、匿名のハッカーの中には、住民に重要なサービスを提供する都市の能力を奪うことを厭わないことを証明している者もいる（Blinder and Perlroth, 2018）。エコノミー的なダメージを与えるサイバー攻撃の動機には、政治的イデオロギーと好奇心の両方が含まれているようだ。現代のサイバー攻撃は核兵器を使った攻撃に比べて破壊力が格段に低いため、核兵器の使用や使用を脅かす行為者の数は、悪意のあるハッキングに従事する行為者の数よりもはるかに少ないことは確かである。とはいえ、両方のケースに関連する社会的・心理的要因は似通っているかもしれない。

12. この概念は、国際関係の分野における国際的なアナーキーとは異なるものである。本概念では、アナーキーは程度の問題であり、IR の異なる学派の間では比較的中立的なものであることを強調している(cf. Lechner, 2017)。より重要なのは、それが「上」だけでなく「下」のガバナンスの欠如を内包しているということである。つまり、半無政府状態とは、現在の世界秩序においては、グローバル・ガバナンスや国家の行動を制約し、グローバルな調整問題を解決するための十分に有効な手段が欠如しているため、国際レベルではある程度の無政府状態が存在するだけでなく、高機能な国家であっても、そのような小さなアクターの行動を完全に規制する能力が現在のところ欠如しているという点で、一般市民（および他のサブ国家アクター）のレベルでもある程度の無政府状態が存在しているという事実を指している。例えば、多くの国家が自国の領土内での強姦や殺人を事前に防ごうとしているにもかかわらず、強姦や殺人はゼロではない頻度で発生し続けている。もしインディビジュアルがはるかに大きな破壊能力を手に入れれば、底辺の無政府状態のこの程度の結果は、大幅に拡大する可能性がある。

13. 比較のために、現在の世界人口の15%の死者数は、世界人口に占める割合としては、第一次世界大戦、スペイン風邪、第二次世界大戦の影響を合わせたものの2倍以上になる（その差は絶対的な意味でさらに大きくなる）。世界のGDPが50%減少するということは、歴史上最大の落ち込みよりも大きいのである。例えば、世界大恐慌の間、世界のGDPは推定15%以下の下落で、ほとんどが数年以内に回復した（一部のモデルでは、世界経済を慢性的に打撃を与えた貿易に長期的な抑圧効果もあったことを示唆しているが）（Bolt et al 2018; Crafts and Fearon, 2010）。

14. 本稿では、技術的脆弱性に焦点を当てている。また、人類の文明の進歩とは無関係に発生する自然の脆弱性、例えば、将来的に地球に衝突するような激しい流星の弾幕のようなものもあり得る。自然の脆弱性としては、以下のようなものがある。
は、我々の技術的能力のレベルがある閾値(例えば、流星を偏向させる能力)を超えれば、安定化する可能性がある。技術的脆弱性のリスクは自然の脆弱性のリスクよりも大きいのは確かだが、文明の荒廃の深刻度のカットオフを実存的大惨事に設定した場合に比べれば、このことが明確ではない(Bostrom, 2013;Bostrom and Cirkovic, 2011). この主張（技術的脆弱性が支配的であるという）の（大きな）証明となるのは、世界が価値の可能性をかなりの割合で出血しているとは限らないことを前提としていることである。代わりに、「出血する世界仮説」と呼んでもよいものが真実であるという観点から物事を評価するとすれば、自然の（つまり人間以外の）プロセスから生じるデフォルトの荒廃が方程式を支配しているということになるかもしれない。出血する世界の仮説は、例えば次のような場合に成立する。(1) 評価者が既存の人々(自己および家族を含む)について多くを気にし、彼らはかなりの割合で自然に死につつある(例えば老化から)。(1) 評価者は既存の人々(自己と家族を含む)に多くの関心を寄せており、彼らはかなりの割合で自然に(例: 加齢による)死にかけており、それによって自分たちの人生を楽しみ続ける能力と、技術の成熟時に可能となるような膨大なレベルの幸福の機会の両方を失っている。(3) 外生的に設定された文明の破壊率(例: 自然災害、我々の活動とは無関係なランダムなシミュレーションの終了 Bostrom, 2003)があり、時間の経過を許容している間に、我々の技術的潜在力を最大化する前に破壊される累積的なリスクが発生する。 (4) 我々が現在よく理解していない物理学を用いて、価値創造の急成長プロセスを開始する方法があり(例えば、住人が圧倒的に幸せになる赤ちゃんユニバースの指数関数的なカスケードを作成するなど)、評価者はそのような創造についてスケールに敏感な方法で気にしている。(5) 評価者が気にしていることに大きな影響を与える立場にある他の超知性層は、私たちが何らかの進歩を遂げることを切望しているが、その価値は時間の経過とともに急速に低下していく。

15. 技術が大きく後退した後も、例えば、文明が後退して人工的に新しいものを作ることができなくなった後も、多くのプレハブの核が残っていると、世界は脆弱ままである可能性がある。

16. 当初の「簡単な核」シナリオにとって重要なのは、各核の使用には、一人の個人または少数のグループの努力が必要であるということである。このシナリオでは、文明を壊滅させるには何百人ものアクターの努力が必要になるかもしれないが、結局のところ、一つの都市や都市圏を壊滅させることは、文明を壊滅させることと同じではない。これにより、終末論的な残滓が登場することが可能になる。

17. Baum et al 2018）は、核兵器の使用が検討された原子力事故と機会の最新リストを提供している。Sagan (1995)は、冷戦時代の危険な慣行についてより詳細な説明を提供している。Schlosser (2013)は、特にタイタン II ICBM の非核爆発をもたらした 1 つの事件に焦点を当てて、ニアアクシデントを検証している。

18. このような結果を回避するための運の程度を評価しようとする学者の試みはほとんどないが、ヒヤリハット事例のデータセットを用いた最近の研究では、米ソ両国が核戦争を回避する確率を 50%以下としている（Lundgren, 2013）。これは、ジョン・F・ケネディ大統領のように核危機に詳しい一部の政府関係者の見解と一致しており、彼は後から見れば、キューバのミサイル危機が核戦争に至る確率は 2 分の 1 から 3 分の 1 であったと考えている。それにもかかわらず、ケネス・ウォルツやジョン・ミューラーのような著名な国際安全保障学者の多くは、核戦争の可能性は一貫して非常に低いと考えている（ミューラー 2009; Sagan and Waltz, 2012）。

19. おそらく誤って信じられているのだろう。元米太平洋艦隊司令官によれば、冷戦時代には対潜モニタリングが非常に効果的になった時期があったという。ソ連の潜水艦の身元を船体番号で特定することができたので、死体の数を計算して、彼らがどこにいるのかを正確に知ることができた。港にいても、海にいても。私は、ソ連の SSBN 艦隊に対して、ほとんどどんな状況でも、非常に短い通告で非常に深刻なことを行う能力があると安心していた」(Ford and Rosenberg 2005, p. 399)。(Ford and Rosenberg, 2005, p. 399 に引用)。

20. 実際、リモートセンシング、データ処理、AI、ドローン、核配送システムの進歩は、現在、特に比較的小規模で高度でない核兵器を保有する国家にとって、核抑止力を弱体化させる脅威となっている（Lieber and Press, 2017）。

21. もちろん、無傷というわけではない。放射性降下物は同盟国やある程度は祖国に影響を与えるだろうし、経済的な影響は市場に大混乱をもたらし、世界的な不況をもたらすだろう。経済的な影響は市場に大打撃を与え、世界的な不況をもたらすだろう。それでも、攻撃の対象になるよりははるかに好ましいだろう（特に、核の冬はさておき）。

22. もう一つの可能性としては、核兵器使用の意思を示した後、第三者に対する核抑止力が高まるなど、政治的な利益が得られる可能性がある。
23. Brooks (1999); Gartzke (2007); Gartzke and Rohner (2011)。否定的な見方としては、Liberman (1993)を参照のこと。

24. 過去の二酸化炭素レベル（カンブリア紀には 4,000ppm、現在は約 410ppm）は、おそらく複雑な生命の進化を深刻に破壊したことになるので、地球の気候が二酸化炭素の影響を受けやすかった場合、人類の文明はおそらく発生しなかったであろう。あまり遠くない反事実は、代わりに、自然界ではかなりの量で発生しないが、そのようなクロロフルオロカーボンなどの人間の文明によって生成されるいくつかの化合物を含むかもしれない。CFCはオゾン層に破壊的な影響を与えるため、モントリオール議定書によって段階的に廃止されているが、キログラム当たりでは非常に強力な温室効果ガスでもある。そのため、フロンが工業的に有用なものであったとしても、それをはるかに上回る規模で、地球規模の気候への影響が劇的に遅れて累積されていたという逆効果を考えることができる。

25. オッペンハイマーに依頼された報告書は次のように締めくくられている：「この論文の議論は、N + N 反応が伝播することを期待するのは不合理だと結論づけることができる。無制限の伝播は可能性が低い。しかし、議論の複雑さと満足のいく実験的基盤の欠如は、このテーマのさらなる研究を非常に望ましいものにしている」(Konopinski et al 1946)。

26. タイプ 0 は、タイプ 1 の限界的なケースと見ることができる。これは、文明の荒廃をもたらすためには、悪意のあるアクターがゼロであることを必要とする脆弱性を意味している。

27. そして、10年であれば、なぜ永久にではないのか。

28. 実際、ドイツの人工衛星大臣であったアルベルト・スピアーの説明によると、ヴェルナー・ハイゼンベルクは、暴走する連鎖反応の可能性についてヒトラーと話し合っており、その可能性がヒトラーの爆弾追求への熱意をさらに弱めた可能性があることを示唆している(Rhodes, 1986)。

29. この種のタイプ 2a の脆弱性の実世界版は、主要なアクターが文明に望ましくないリスクをもたらす行動を取るという戦略的インセンティヴに直面しており、機械超知能の開発競争の文脈で発生する可能性がある。好ましくない状況下では、競争力のある開発者は、安全になる前に独自のAIを起動するか、より大きなリスクを負うことを厭わない他の開発者に主導権を放棄するかの選択を迫られる可能性がある(Armstrong et al 2016)。

30. 成長を誘発するイノベーションが寿命を縮めるイノベーションを導入するリスクも伴う様々なモデルにおいて、合理的なプランナーがどのように消費成長と安全性のバランスをとるかについては、Jones (2016)を参照のこと。

31. 「驚くべき変人」シナリオでさえ、「ブラボー実験/三位一体テスト」よりも程度は低いが、調整の問題で混乱する可能性がある。科学研究費の配分を決定する人々は、科学研究費を提供している一般の人々とは異なる優先順位を持っているかもしれない。
資金調達のためには、知的好奇心を満たすことが重要である。例えば、知的好奇心を満足させることに高い価値を置き、リスクを低く保ち、短期的な物質的利益を大衆に提供することに相対的に価値を置くかもしれない。主エージェントの問題は、調整の問題がなければ、そのような実験が得られるよりも、素粒子加速器のためのより多くの資金提供につながる可能性がある。国家間の威信争いもまた、調整の失敗とみなされる部分もあるかもしれないが、一般的な基礎科学、特に高エネルギー物理学への資金提供を促進する要因になるかもしれない。

32. 壊滅的な被害が発生した時に生きている人たちは、自分たちが生まれる前の早い時期に発生していた方が良かったと思うかもしれない。彼らの好みは非同一性の問題にぶつかっているように見える。なぜなら、もし彼らが妊娠する前に文明の荒廃が起こっていたとしたら、ほぼ確実に彼らは存在していなかったであろうからである(Parfit, 1987)。

33. より大まかに言えば、バイオテクノロジーのツールや技術の多くの改良は、以前は十分なリソースを持つ専門の研究室でしかできなかったことを、素人の DIY バイオハッカーが容易に実現できるようにしているが、この観点からは疑念を抱かざるを得ない。DIY バイオハッキング（暗闇で光るハウスプラント？）の利点が、バイオエンジニアリングを潜在的に危険な、あるいは悪意のある目的に転換させる能力を、比較的責任のない行為者にまで拡大する価値があるのかどうかは、非常に疑問である。

34. 自分が開発しなければ他の誰かが開発する。だから自分が開発した方がいい」という反論は、ある科学者や開発者が、新発見の期待される時期に少なくとも何らかの影響を与えているという事実を見落としがちである。もし本当に科学者の努力が発見や発明がなされる時期に違いをもたらすことがないとしたら、その努力は時間と資源の浪費であり、その理由から中止されるべきであるように思われる。ある技術的能力が利用可能になる時期（例えば 1 ヶ月）の比較的小さなシフトが、シナリオによっては重要になるかもしれない（例えば、その危険な技術が、効果的な防御策が開発され、展開されるまでの間、1 ヶ月あたりのリスクが非常に大きい場合など）。

35. 「技術的成熟」とは、経済的な生産性と自然に対する制御のレベルを、実現可能な最大値（時間の完全性）に近い形で達成することを意味する（Bostrom, 2013）。

36. バイオサイエンスにおけるアクセス制御は 2001 年の「Amerithrax」事件以降、その重要性が増している。米国では、危険な病原体を扱う機関は、アクセス権を持つ従業員の適性を評価することが義務づけられており、これも連邦機関によって審査されている（Federal Select Agent Program, 2017)同様のアプローチがバイオセキュリティインフラを開発している国に推奨されている（Centre for Biosecurity and Biopreparedness, 2017）。既存の体制は 2 つの欠点に悩まされている。第 1 に、世界的な調整が行われていないため、悪質な行為者がより緩い規制環境を求めて「買い回り」をする可能性があること、第 2 に、生物学的物質（特定の微生物のサンプルなど）へのアクセスに重点が置かれていること、一方で生物学的情報や技術が安全保障上の関心事の主要な対象となっていることである（Lewis er al)。

37. 1%を大幅に下回るXの値は、ほとんどの人が世界的な慈善活動に寄付をしていないことと一致しているように思われる。しかし、行為と任務を区別することで、世界的な悪に貢献しないためには、世界的な善に貢献するためよりも、かなり大きな個人的な犠牲を受け入れようとするようになる可能性がある。

38. しかし、選好分布の正のシフトは、たとえ破壊的な選択肢を選ばないようにするだけで大災害を回避するには不十分であっても、重要な間接的効果をもたらす可能性があることに注意してほしい。例えば、多くの人々が少しだけ善意に傾くようになれば、社会をより協調的な均衡へとシフトさせ、以下で説明するようなより強力なガバナンスに基づく安定化手法を支えることになるかもしれない（「道徳的強化」;Persson and Savulescu, 2012参照）。

39. 世界レベルでは、各国の分類スキームと情報管理システムがパッチワークのように組み合わされている。これらの制度は一般的に、軍事機密や諜報機密を保護したり、政権内部の人物についての恥ずかしい事実が公表されないようにするために設計されており、科学技術的な見識の普及を規制するために設計されているわけではない。例外もあるが、特に国家の安全保障に直接関係する技術的な情報の場合は例外である。例えば、米国の 1951 年発明秘密保護法（Invention Secrecy Act of 1951）は、国防機関に特許の付与を禁止し、発明の秘密保持を命じる権限を与えているが、特許の保護を求めない発明者はこのような規制の対象にはならない（Parker and Jacobs 2003）。これは、核兵器の設計、開発、製造に関するすべての情報を、その起源にかかわらず、公式に機密解除されていない限り、機密扱いにすると宣言したものである（Parker and Jacobs 2003）。輸出規制などの他の法的手段もまた、科学情報の流れを阻止する試みに利用されてきた。1970 年代と 1980 年代に開発された強力な暗号化プロトコルの公開と使用を阻止するために、複数の米国政府機関が行った（成功しなかった）努力は、注目に値する例の一つである（Banisar, 1999）。レオ・シラードは、（マンハッタン計画が開始され、公的な秘密主義が始まる前に）物理学者の同僚に核分裂の側面を公表しないように説得することに部分的に成功したが、彼は自分の研究を雑誌に載せることを望む一部の科学者や、オープンであることが科学の神聖な価値であると感じている一部の科学者の反対に遭った。さらに最近では、鳥インフルエンザ研究に関連して、科学的な自己検閲の試みが行われている（Gronvall, 2013）。この場合、ある結果が公表されるべきかどうかについてのオープンな議論に端を発した論争が、公表された場合に受けたであろう結果以上の注目を集めたことから、効果がなかっただけでなく、逆効果となった可能性がある（いわゆる「ストライサンド効果」）。全体的に、科学的な自己検閲の試みは、かなり中途半端で効果的ではなかったように見える。しかし、科学的な情報を抑圧する試みが本当に成功したとしても、必ずしも公の記録に現れるとは限らない。) たとえ数人のジャーナル編集者が、情報の危険性がある論文の扱い方の基準に合意できたとしても、不満を持った著者が、基準の低い他のジャーナルに原稿を送ったり、個人的なインターネットのページに掲載したりすることを防ぐことはできない。ほとんどの科学コミュニティには、情報ハザードに効果的に対処するために必要な文化もインセンティブも、セキュリティやリスク評価の専門知識も、制度的な実施メカニズムもない。科学的な倫理観はむしろ次のようなものである：すべてのボールを可能な限り早く壷から取り出し、世界中の誰もがすぐに明らかにしなければならない。黒玉の可能性は方程式には入らない。

40. いずれにしても、一般的には、より慎重になることを本当に望むのかどうかは不明である。世界的に極端なダウンサイドがあり得る状況では、特により大きな注意を促すことが（様々な評価の観点から）望ましいのかもしれない。しかし、規範的に過剰なリスクテイクの理由が調整問題である場合には、これらの原因で自発的な注意と自制を促すことはあまり効果的ではないかもしれない。したがって、このような場合には、解決策としてグローバル・ガバナンスの強化が必要となる。

41. リスク評価作業が情報ハザードを発生させることで、リスクのレベルを高めることも可能である(Bostrom, 2011)。

42. オルウェル的な響きの名前は、もちろん意図的なものであり、このようなシステムが適用され得るあらゆる方法を思い起こさせるためである。

43. 実装の詳細は説明のためだけのものである。例えば、同じような機能を、ネックレスの代わりに混合現実眼鏡で提供することができる。デバイスのバージョンは、モニタリング機能とともにユーザーに多くの利点を提供するように設計することができる。理論的には、モニタリングの一部をクラウドソース化することも可能である。不審な行動がAIによって検出されると、ビデオフィードは匿名化され、無作為に100人の市民に送られ、その市民の義務はフィードを見て、それがさらなる投資を必要とするかどうかを投票することである。

44. より侵入的なモニタリングを推進する「便利さ」の例としては、様々な種類の消費者向けアプリケーションや経済的に有用な、あるいは収益性の高いモニタリング（広告ターゲティングや価格差別など)児童虐待や小規模なテロなど、国民の怒りを引き起こす様々なことを防止する能力、そして特に権威主義的な政権の場合は、政治的な反対意見を抑制する能力などが挙げられる。

45. この政策のマイルドなバージョンは、破壊的効果を生み出すのに必要な装置や材料へのアクセスを、そのような弱小な容疑者から奪うだけのものであるかもしれない。これがどの程度効果があるかは、シナリオの詳細に依存する。

46. 46. ハイテク・パノプティコンの部分的な実施が、このシナリオでは投獄に取って代わるかもしれない。

47. もちろん、理論的には、これらの救済策のいずれかが、潜在的な黒いボールに対する文明の総体的な脆弱性を低下させるのではなく、むしろ高めてしまう可能性がある。例えば、適切なグローバルな調整によって極めて効果的な国家の取り締まりが可能性を低下させた場合、あるいはその逆の場合などである。また、予防的な取り締まりやグローバル・ガバナンスが強化された場合に発生しがちな体制の性格も、現状とは異なる形で、文明の脆弱性の一部を増減させるような形で、現状の体制とは異なる可能性がある。例えば、モニタリングランスの権限を与えられた世界の指導者は、多かれ少なかれ、タイプ 0 の脆弱性を高めるような愚かな決定を下す傾向があるかもしれない。

48. タイプ2a の脆弱性の特別なケースとして、いくつかの体制が共同で自分たちの集団に危害を加えることで壊滅的な閾値を達成した場合がある。例えば、ある政治指導者が極めて悲観的な見方をしていて、それが権力を維持したり、より多くの資源を得たりするのに役立つのであれば、自国民のごく一部を殺しても構わないと考えていたとしよう。今日では、そのような大量殺戮のイニシアチブは、リーダーの視点から見れば通常は逆効果である（反乱を引き起こし、経済を崩壊させるからだ）が、例えば、高度に中央集権化されたAI警察が抵抗を確実に抑制し、ロボットが人間の労働者に簡単に取って代わることができるようになれば、これらの制約が緩和されるであろう別の技術環境を想像することができる。幸いなことに、これらのことが技術的に実現可能になる多くのシナリオでは、支配者の大量殺戮行為へのインセンティブも弱くなるだろうと思われる。

49. 例えば、モニタリングの議論は、個人のプライバシーの利益と、小規模なテロ攻撃に対する安全保障に対する国民の要求との間のトレードオフに焦点を当てることが多い。(9.11 同時多発テロ事件のように、通常は大規模とみなされるテロ事件であっても、本稿で使用する基準では、取るに足らないほどの小規模なものである)。

50. Schwartz(1998)によれば、冷戦期の核軍拡競争は、アメリカの支出だけで 5.8 兆（1996 年ドル）を要したが、これは 2018 年のドルで 9.3 兆に相当する。この支出はかなり包括的で、燃料サイクル、兵器、配送システム、廃炉などを網羅している。他国の支出を加えると、人類の文明は、核武装で自滅する能力を開発・維持するために、10兆ドルをはるかに超える費用を費やしたと結論づけることができる。この費用のほとんどは、世界のGDPが現在よりも大幅に低かった時代に発生したものである。さらに大きな金額が非核軍事能力に費やされた（米国だけでも2018年のドルで20兆ドルを超える）。核支出が非核軍事費を削減することで、バランスよくお金を節約した可能性がある。核・非核軍事費ともに、人類文明がグローバルな協調を解決できなかったことを反映している。

51. すべての核兵器が解体されたとしても、新たな核兵器が生まれる可能性があるため、完全ではなく実質的に。

52. 核軍縮の合意には、もちろん、戦略的安定性を損なわないように、通常戦力やその他の事項についても何らかの規定を盛り込まなければならないかもしれない。

53. より大きな参照クラスを得るために、他の歴史的な例を見ることもできるかもしれない。地球温暖化対策に関するこれまでの世界の努力は、より困難な世界的な集団行動の問題に迅速に対処する能力に自信を抱かせるものではない。一方、オゾン層破壊の問題は、モントリオール議定書で成功裏に解決された。

54. 一方的な押し付けはより迅速であるかもしれないが、そのためには、ある行為者が世界の他の国々に自分の意志を一方的に押し付ける能力を持っている必要がある。もしあるアクターがそのような圧倒的な力の優位性を持っているならば、事実上の（弱い、あるいは潜在的な）グローバル・ガバナンスの形がすでに存在していると考えられる。

55. 例えば、意図されたプロジェクトがその実施中に裏切られることもあれば、バグや制度設計上の欠陥があることが判明し、それが通常の運用を行った後に初めて明らかになることもあるだろう。システム自体が意図された通りに正確に機能し、破壊されずに残っていたとしても、同じ民主的なセーフガードを持たない他のモニタリングシステムの作成を刺激する可能性がある。