Existential Risks & Humanity’s Future | Toby Ord
人類の絶滅や永久的かつ劇的な人類の減少を引き起こしうるものは（人類）存亡リスク （英: existential risk）として知られる。 … 潜在的な地球壊滅リスクは人類（の技術、統治、気候変動）によって引き起こされる人為的（英: anthropogenic）リスクと、非人為的もしくは外的リスクを含む。
Matrix Phenos 0:21
みんな、元気かな？私の名前はMatrix Phenos です。このポッドキャストでは、投資家、起業家、そして一般市民が、明日の課題や機会を予測するために必要な知識を身につけることで、優位に立つことができるよう支援しています。私の批判的思考法を共有することで。そして、私たちの世界を形成している権力構造に関するコンセンサス・ナラティブに挑戦することで、より大きな絵を見るためのつながりを作り、より賢明な意思決定ができるようにしています。
今週のエピソードでは、オックスフォード大学哲学科の上級研究員であり、『the precipice』の著者でもあるToby Ord に話を聞きました。この本は、人類が直面している大局的な問題、私たちの長期的な未来、そして私たちの存在を早急に終わらせてしまう恐れのあるリスクに焦点を当てています。
一見すると、人類存亡リスクの研究に人生を捧げることは、少し憂鬱なことのように思えるかもしれません。結局のところ、人類が最終的に終焉を迎える可能性のあるさまざまな方法について考えることに日々を費やしたいと思う人はいないでしょう。
しかし、トビーの本を読めば読むほど、彼の作品の核心は、そもそもなぜ私たちが関心を持たなければならないのか、私たちが種として生き残ることができるのかどうかについての瞑想であることに気がつきました。私はこれまで、この問題を考えたことがありませんでした。むしろ、人間がいないほうが世界のためになるのではないかと考えたこともあります。
人間がいるからこそ、人間の行動があるからこそ、人間の膨らんだ自我や破壊能力に甘えているからこそ、この世界には多くの苦しみが生まれているのですから。そして、実際に腰を据えて考えてみると 日の出を見たり、天地創造の神秘に驚嘆したりする最後の人間が、自分や自分の子供、孫、ひ孫になると知ったとき、自分が何を感じるかを想像したとき、私は悲劇の感覚を覚えました。
今日の対談の目的は、まず、未来の人類に戦う価値があるかどうか、この問題について考えてもらうことです。そして第二に、それが人間の行動、政治、グローバルな協力の面でどのような意味を持つのかを考えていただくことです。私たちが種として直面している人類存亡リスクとは何でしょうか？そのリスクをどのように計算するのでしょうか。どこに注意を向ければいいのでしょうか。どうやって優先順位をつけるのでしょうか？そして最後に、注意を払う価値があると思われるリスクを軽減するためには何ができるのでしょうか。
これは哲学的な話であると同時に、実践的な話でもあります。主に人類存亡リスクについての議論に興味がある方へ。この部分は40分ほどで始まり、通常のエピソードの残りの部分では、核戦争の脅威とその可能性を高める地政学的側面について議論します。
時間外は主に、自然および人工的なパンデミック、生物学的テロリズム、人工知能がもたらすリスクについて議論しています。魅力的で示唆に富んだ会話です。それでは早速、今週のゲスト、Toby Ord さんのエピソードをお楽しみください。Toby Ord さん、Hidden Forceへようこそ。
Toby Ord 3:43
ここに来ることができて嬉しいです。
Matrix Phenos 3:45
先週、あなたの本を読み終えたところです。人類存亡リスクを見るために人生を捧げるなんて、なんて素晴らしいことなんでしょう。興味があるのですが、どうやってこの世界に入ったのですか？あなたのバックグラウンドは何ですか？その通りです。
Toby Ord 3:58
私は科学、特にコンピュータサイエンスのバックグラウンドを持っています。哲学に転向したのは、論理学と重なる部分があったからですが、同時に道徳哲学にも転向しました。私が最初に興味を持ったのは、世界の貧困問題でした。
10億人以上の人々が基本的な生活必需品を手に入れることができず、その状況を改善するために私たちができることは非常に限られているのです。私はこのような世界的な課題にとても興味がありました。
例えば、世界で最も大きな問題は何か？そして、私たちはどのようにその問題に取り組み、個人としてどのように生活の中に取り入れるべきなのでしょうか？
Matrix Phenos 4:50
未来の人類研究所にいらっしゃるのですね。
Toby Ord 4:51
ですよね？ええ、オックスフォード大学です。
Matrix Phenos 4:54
同じようなバックグラウンドを持つ人はどれくらいいますか？私が知っているのは、ニック・ボストロムがそうだとは限らないということです。私は哲学、特に道徳哲学を学びましたが、彼が仕事や著書『スーパー・インテリジェンス』の中で取り組んでいる問題の多くは、哲学、価値観、道徳の問題を扱っていて、もちろんコンピュータ・サイエンスとも交わっていますよね。それはもちろん、コンピュータ・サイエンスと交差するものです。私はそれについて興味があります。
Toby Ord 5:19
ええ、ニックと私はこの分野でかなり似たような経歴を持っています。彼は大学で7つの異なる専攻を学んだと思いますが、基本的に何でもやりました。しかし、私たちは大局的な問題に関心を持つ人間であることが多く、それが重要な点だと思います。また、私たちはテクノロジーにも非常に興味があります。富士重工業のほとんどの人は、テクノロジーにとても興味を持っています。
私たちの生活を変えるテクノロジーの力を目の当たりにしています。テクノロジーが私たちの生活を一変させることは間違いありません。しかし、時が経つにつれ、テクノロジーには他の側面もあることに気づきました。そして、悪い側面を排除して良いものをすべて手に入れようとすることが、本当に重要なのです。それが私たちのこだわりです。
Matrix Phenos 6:04
あなたの本のタイトルは「The precipice」ですね。サブタイトルは「人類存亡リスクと人類の未来」です。この本の執筆にはどのくらいの期間をかけたのですか？また、この本を書こうと思った理由は、単にこれらの問題に何年も費やしてきたことの集大成であるということ以外に、何か特別な理由があったのでしょうか？また、「崖っぷち」とはどういう意味ですか？
Toby Ord 6:28
2019年に最終原稿を提出するまでの3年間、この本の執筆に取り組んでいましたが、結局、パンデミックが発生した直後に出版されることになりました。パンデミックについては、COVID以前の時代の話ですが、よくまとまっていると思います。私がこのことを考え始めたのはもっと前、16年ほど前の2004年で、私がオックスフォード大学にいた頃ですが、ニック・ボストロムも同じような時期に登場しました。
彼は、絶滅リスクの概念を拡大した、人類存亡リスクに関するアイデアを展開していました。人類が絶滅すれば、現在の生活が破壊されるだけでなく、未来全体が台無しになってしまうというものです。これは重要な問題であり、今後も取り上げていくことになるでしょう。しかし、同じような影響を及ぼす可能性のある大災害は他にもあります。
例えば、文明が崩壊し、その崩壊が回復不可能なものであった場合、同様に人類の未来の可能性が失われてしまいます。そこで彼は、この種のリスクには独特の特徴があるのではないかと考えました。私はまだ世界の貧困問題に取り組んでいましたし、その後も10年は取り組むつもりでした。しかし、ちょっと待って、もしこれが深刻な問題ならば、これが本当ならば、この問題は解決できるかもしれないという虫に刺されたのです。
もしこれが本当なら、これは非常に大きな問題になる可能性があります。人類の未来全体が破壊されること以上に大きな問題はありません。問題は、それが実際に取り組んで前進できるテーマなのかということです。何年もかけて、私はそれが可能であることを発見しました。
それで、私は研究の脇道にそれを置いておいたのですが、この10年ほどの間に、この問題について本当に深く考える上で、ますます大きな役割を果たすようになりました。
Matrix Phenos 8:17
あなたがこの分野に入ってから、この分野は大きく広がりましたか？参入する前はどうでしたか？あなたがこの分野に入る前はどうでしたか？この種の問題に取り組んでいる人はどれくらいいましたか？
Toby Ord 8:26
正確な推定値を出すのは非常に難しいのですが、その主な理由は、人類存亡リスクに取り組んでいるカウンセラーの数を知ることが難しいからです。
例えば、核戦争と戦うために、何十年も核軍縮条約に取り組んできた学者や市民社会の人々の大きなコミュニティがありますし、気候変動に取り組んでいる人々もいます。これらの分野はどちらも人類存亡リスクですが、ほとんどの活動は人類存亡リスクとしてではなく、人類にとって非常に大きな問題として迫ってきていて、それが恒久的な破滅のリスクであろうと、日常的な大災害であろうと関係ありません。
非常に難しいことですが、人類存亡リスクを防ぐために世界が費やしている費用は、アイスクリームに費やしている費用よりも少ないと言ってもいいでしょう。ですから、世界が特に真剣に考えていることではありません。統一された人類存亡リスクの分野として、本当に注目している人の数は、おそらく数十人でしょう。
Matrix Phenos 9:36
では、このようなことに取り組もうとすると、ゲーム理論的な力学が働いて、いわば「コモンズの悲劇」になってしまうということでしょうか。
Toby Ord 9:47
例えば、私が住んでいるイギリスの人口は世界の1%程度ですから、核戦争や人類を滅ぼすような災害が起きた場合、その被害を受けるのはたった1人です。そのため、そのリスクを下げるためにどれだけの費用をかけるべきかを考えると、実際の価値よりも100分の1程度に過小評価してしまうのです。
これは、各国間の「コモンズの悲劇」のようなもので、解決しなければなりません。全員が約束を守れば全員が利益を得ることができますが、他の人がリスクにもっと注意を払うことでタダ乗りして欲しくないのです。それが問題なのです。
しかし、まだそれほど多くの人が取り組んでいないのは、それが理由ではないと思います。核戦争の研究をしている人の多くは、確かに全員ではありませんが、かなりの数の人が核戦争の研究をしていると思います。
倫理学の研究も行われていましたが、それは「核倫理学」と呼ばれていました。なぜなら、彼らが考えていたのは1つの人類存亡リスクだけだったからです。このようにして、すべてがこのカテゴリーにまとめられたのです。
最近になってようやく、気候変動が最も極端な可能性を持つ場合、人類存亡リスクをもたらす可能性があることに気がつきました。そして、このようなものが大量に存在しているということです。小惑星の衝突のような自然のリスクもありますが、これは1980年に恐竜を殺したものとして確認されたばかりです。
核の冬という考え、つまり核戦争によって人類が滅亡するというメカニズムは、1983年に発見されました。これは本当に発見されたものです。つまり、これらはすべてごく最近のことなのです。核問題や気候問題については、学術的にも一般的にも関心が高まっていると思います。しかし、どちらの場合も、発見されてから数十年が経過し、これらが大きなリスクであることが確認されてから、人々が真剣に考えるようになったのです。このようなケースでは、「これは本当に人類に脅威を与えている」と認識してから行動に移すまでに、数十年もかからない可能性があるからです。
Matrix Phenos 12:06
そうなると、あなたがおっしゃったように、優先順位の問題が出てきます。これは、この本から得られる大きな実用的なヒントの1つだと思います。この本を読んでいる皆さんに考えていただきたいのは、皆さんが行ってきたことの価値の多くは、最も大きな変化をもたらすことができる場所、リスクの影響が最も大きい場所、関連する確率などに、私たちの注意を集中させるためのものだということです。
その前に、もうひとつ質問があります。それは、あなたが人類存亡リスクと定義するものと、人々が考えるリスクとの間には、どの程度の整合性があるのでしょうか？たとえ全員が死ぬわけではなくても、どんな状況でも起きてほしくないような悪い結果になるものはありますか？なぜなら、多くの人はそのような種類の大災害について考えるからです。
Toby Ord 12:57
ええ、これは考えるのがとても難しいことだと思います。身近な人が亡くなったり、家族に大きな緊急事態が発生したりすると、それ以上に悪いことはないと思ってしまいます。そして、もっと大きな災害、例えば自然災害を目の当たりにすることもあります。私たちはそのような災害に感情的に共鳴し、自分の財布に手を伸ばして、そのような災害で困っている人々を助けるために活動している慈善団体に寄付をしようとする能力があります。
しかし、自然災害で亡くなった人の100万倍もの人が亡くなる可能性があるものに関しては、毎晩テレビ画面に映し出されていますが、100万倍も気にかけることはできません、人間の脳では不可能なのです。人間の脳にはとても無理です。
例えば、北朝鮮とアメリカの間で核戦争が勃発するのではないかという深刻な懸念があったときのことです。多くのメディアでは、冷戦時代にソ連との間で懸念されていたような核交換と同義に扱われていましたが、その時点では、北朝鮮はアメリカに届く核ミサイルを数発持っているだけでした。つまり、インバーテッドコンマで言うと、アメリカが2,3の都市を失うだけの話だったのです。
普通に考えれば、太平洋沿岸のいくつかの都市が核兵器によって完全に破壊されるという考えは、その先に行く必要はないでしょう。これは、「こんなことが起こるのは絶対に許せない」と思わせるには必要な程度に悪いことなのです。
しかし、アメリカを滅ぼすことや、世界のすべての国を滅ぼすことまでには、まだまだ時間がかかります。そして、現在の世界のすべての国だけでなく、今後存在するであろうすべての場所の未来全体を破壊し、美しさや愛を賞賛する場所や、そういった高次の感情を持つ場所が宇宙にはもう存在しないようにするのです。
ですから、これらのレベルを分けておくことは本当に難しいことです。多くの場合、区別する必要はなく、「ああ、これはやりすぎだ」と言えばいいのです。どんなことがあっても、それを認めるわけにはいきません。そして、多くの場合、これは正しいアプローチです。ある程度までは、私や他の人が、大災害と呼ぶには必要な1000倍、100万倍の規模のものに対して、奇妙な強迫観念を持っていると思われるかもしれません。しかし、私はそうは思いません。それは、このような事態に対処するためには、特別なタイプのアプローチが必要だからだと思います。
例えば、人類の可能性を永久に破壊してしまうような人類存亡な大惨事が発生した場合、それは人類の未来において一度たりとも許してはならないことなのです。これまで20万年、1万世代と続いてきたのは、拷問が世代から世代へと引き継がれてきたからだと思います。知識や文化、制度などの膨大な財産を築き上げ、昔よりも良い生活を送れるようになりました。
しかし、もし私たちの世代がそれに失敗したら、次の1万人、あるいはそれ以上の世代が来ることはなく、何もない状態になってしまいます。だからこそ、試行錯誤から学ぶことができず、1つの失敗でもゲームオーバーになってしまうため、このような独自の対処法が生まれるのです。
もし私たちがこの問題に真剣に取り組まず、他の大災害と同じように扱うのであれば、この問題に対処するために私たちの生活や主権などに必要となるかもしれない変化を起こす準備ができないと思います。
Matrix Phenos 16:55
世界の終わりをめぐる終末予測や恐怖、社会的な恐怖とでもいうべきものの歴史を調べたことはありますか？ 核兵器の出現と冷戦の始まりにより、人類は初めて、過去には実際にはあり得なかった完全な破滅という明確な感覚を経験したと思います。過去には、社会の規模が小さく、洪水などで自分たちの世界が破壊されるような時代もありました。あなたはそのようなことを調べたことがありますか？そして、そのことが、私たちが種の存続を重要視することについて、何を教えてくれるのでしょうか？
Toby Ord 17:44
そうですね。。ここではいくつかの異なることが起こっています。その1つは、小規模なすべてのものの終焉、つまり既知の世界の終焉のようなものについての疑問です。これは、文明の崩壊という問題にもつながります。これを研究している人たちがいます。
例えば、ケンブリッジ人類存亡リスク研究センターでは、歴史的な記録を調べて、文明は平均してどのくらい続いたのか、崩壊率はどのくらいなのかを研究しています。文明の崩壊率はどのようなものなのでしょうか？文明には加齢効果があり、古くなればなるほど滅びる可能性が高くなるのでしょうか。あるいは、古くなればなるほど、あと1年は生き延びる可能性が高くなるのかもしれません。
実際、彼らの実績では、次の年に失敗する可能性は、これまでの生存期間とは無関係であることがわかっています。これは、アジアの文明の半分に相当するものです。非常に興味深く、好奇心をそそられるものですが、これまであまり調べたことがありませんでした。なぜなら、これらの文明は極めて小規模なものだったからです。
今日の世界的な規模からすると、古代エジプトや失敗、ローマの崩壊などの話になりますが、これらは当時、世界を揺るがすような出来事であり、少なくとも地中海周辺では非常に大きな混乱が生じていたのです。しかし、他の大陸に何十億人もの人々が住んでいる世界では、ナイル川が干上がったからといって、人類が滅亡するようなことにはなりません。そして多くの場合、それは他のグループに征服されたからであって、全世界に起こることではないのです。
だから、非常に弱い例えにしかならないことが多いのですが、興味をそそられるし、面白いので、ぜひ調べてみてほしいと思います。なぜなら、私たちが話しているのは、何百人、何千人、何百万人という集団であって、その何千倍もの規模で、全世界に広がっているものではないからです。
もう1つの興味深い質問は、世界の終末に関する思想の歴史についてです。これについては、私の同僚であるトーマス・モイナハンが素晴らしい仕事をしていて、彼は『Xリスク』という本を書いています。この本は、人類存亡リスクの背後にある考え方の歴史について書かれています。私はこのようなことをあまり知らなかったので、とても目からウロコでした。
彼は、世界の終わりに関する多くの考え方を調査し、ごく最近まで、それらはすべて非常に宗教的な文脈であったことを発見しました。世界の終わりに関する宗教的な考えは、私たちが生き残れるかどうかという自然科学的な疑問とは全く異なります。何か壮大な物語が展開されていて、その物語は多くの場合、ある種の予見された世界の破壊で終わるという意味で、それはより道徳的な問題です。しかし、政策の選択を誤ったために核戦争を許してしまうような、物語が崩壊してしまう可能性があるという考えではありません。
Matrix Phenos 20:52
彼らは、それをより大きな宇宙生成サイクルの一部だと考えています。
Toby Ord 20:55
まさに、事故や不測の事態が起こって、それに備えなければならないというよりも、大きな宇宙サイクルの一部だと考えているのです。むしろ最終決戦のようなものです。そして、その戦いに勝利することがあらかじめ決められているのです。ですから、政策の選択や、国連はもっとこうすべきではないか、といったような類の疑問は生まれません。また、科学的な調査でもありませんでした。錬金術に関する多くの予測が化学に役立ったのと同じように、このことが現代の科学分野に大きく影響しているとは思えません。
Matrix Phenos 21:34
確かに、過去の実績は将来の収益の指標や予測にはなりません。では、文明の崩壊自体が人類存亡な出来事を構成するケースはあるのでしょうか？言い換えれば、種そのものの終焉ということでしょうか。あるいは、崩壊によって人間を人間たらしめているものが回復不能なほど失われたからでしょうか。つまり、上にも下にも進化の問題があるということです。それについてはどのようにお考えですか？
Toby Ord 22:15
これは起こりうることだと思います。私が考える「人類存亡大災害」とは、人類の長期的な可能性を破壊するものです。人類の長期的な可能性とは、現在達成可能なすべてのことを指しています。
私たちに開かれた世界を見てみると、もし私たちがある種の行動を起こし、ある種の目的に向かって努力しさえすれば、地球をどのようにすることができるでしょうか。私たちの周りの宇宙をどうすることができるでしょうか？
私たちができる様々なことがあります。そして、私たちの可能性は、私たちができる最高のこととして良いものです。常識的な理解では、子供の可能性とは、その子に開かれているすべての人生を考えると、まだ開かれている最高の種類の可能性であると思います。それは、早死にしてしまったり、四肢麻痺になってしまったりと、致命的ではない恐ろしい事態に見舞われることで、突然、人生の可能性が非常に小さくなり、満足できるものではなくなってしまうのです。
これが私の考える「人類存亡破局」です。最も自然なものは絶滅です。私たちにできることは何もなく、選択肢はもうありません。しかし、回復不可能な文明の崩壊のような可能性もあります。そこでは、おそらく1000分の1の数の人々が、より少ない機会で非常に貧弱な生活を送っています。そこから立ち直れなければ、私たちの可能性のほとんどが無駄になってしまうと思います。
したがって、それは人類存亡な大惨事そのものと言えるでしょう。そして、それは最終的には絶滅につながるでしょう。その出来事をすべて考えることはできませんが、私たちは、約100%の確率で、将来のどこかの時点で絶滅するでしょう。問題は、それまでにどれだけのことを成し遂げられたか、できたかということです。
さて、特に文明の崩壊ということになると、かなりの確率で修復されると思います。つまり、崩壊するのはかなり難しいと思います。黒死病はヨーロッパの3人に1人を死に至らしめましたが、ヨーロッパはそこから非常に早く回復しました。黒死病が原因で永久に破綻した国はありませんでした。
このように非常に多くの死者を出したにもかかわらず、文明は崩壊しませんでした。技術的にも何百年も前に戻ったわけではありません。つまり、私たちはかなり頑丈であることを知っていますが、もし90%の人が何らかの災難で死んでしまったら、あるいは99%の人が死んでしまったら、どうなるかはわかりません。
私は、人類が文明を失い、農業以前の状態になる可能性は十分にあると考えています。なぜなら、文明は実際には世界のさまざまな地域で5回も独立して作られたことがわかっているからです。ですから、元に戻れる可能性は大いにあると思います。しかし、私たちが絶滅するのは非常に難しいことでもあるので、まだ大きな問題があります。
世界的な核戦争のような大災害が発生した場合は、絶滅するよりも文明が崩壊する可能性の方が10倍高いかもしれません。しかし、その崩壊した文明から回復する可能性も90%くらいあるでしょう。つまり、全体的に見ると、これらの異なる理由によって、人類存亡な大惨事の可能性にほぼ同じように貢献しているのではないかと思います。
Matrix Phenos 25:45
あなたが考えた思考実験はありますか？大変動があまりにも大きく、例えば、地球上で利用可能なエネルギー量が減少した場合、人間は生き残ることができますが、ますます進化した形で生き残ることになります。そして、より適応力の高い種が生まれ、生き残った人類がある意味では進化していくのですが、実際には文明を作ることができなくなっています。人類のような高度な知的生命体は異常な存在であり、進化の過程における自然なプロセスではないということですね。
Toby Ord 26:28
このような世界で、何かが起こって文明の回復がほぼ不可能になるような状況に陥ることはかなり難しいと思いますが、それを排除することは困難です。
もし、私たちが気候を完全に破壊し、そのダメージが例えば10年、1000年単位で続くとしたら、例えば気温が10度高くなり、それが10年、1000年単位で続いたとしたら？そのような状況では、文明を回復することはできないかもしれません。そのどれもが、おそらく私たちはそれと同じくらい悪い気候の中にいます。ですから、もしかしたら本当に元に戻るのは不可能かもしれません。
資源の枯渇もそのひとつで、簡単に手に入る化石燃料を使って上昇するという考え方もあります。なぜなら、戦略的な石油埋蔵量や石炭埋蔵量、そして実際に石炭のレベルまで掘り下げた露天掘りの炭鉱など、大量の化石燃料があることがわかったからです。また、簡単に入手できる鉄鉱石を大量に使用していますが、建物や構造物には膨大な量の鉄や鋼が使われています。最終的には、メイフェアの錆びた鉄柵を新しい鉄製の道具に変える方が、鉄鉱石から作るよりも簡単です。
ですから、資源の枯渇がこのような事態を引き起こすというシナリオは、実際には困難だと思います。しかし、私がまだ知らない現実的なシナリオがあって、それによって私たちが実際に何かに行き詰まり、私たちを打ちのめすようなことがあったとしても、私は驚かないでしょう。
Matrix Phenos 28:11
ここで、人間の可能性についてのあなたの見解に戻りたいと思います。そして、「なぜそれが重要なのか」という質問をしたいと思います。言い換えれば、人間の潜在能力を発揮することがなぜ重要なのかということです。ヘラクレイトスの言葉を借りれば、「人間は万物の尺度である」ということになります。人間性に与える価値、そしてその継続は、これまた間違いなく人間の主観によるものです。そして、その価値を判断する人間がいなければ なぜそれが重要なのでしょうか？
Toby Ord 28:42
そうですね。。この種の議論は、「死は悪いことではない」というエピキュリアンの議論によく似ていると思います。なぜなら、あなたがそれを経験するためにそこにいなければ、それは悪いことではないからです。つまり、私が生きている間は、私の死は私にとって悪いものではありません、という考え方なのです。そして、私が死んでしまえば、その時の私にとっては悪いことではありません、なぜなら悪いことをする私がいないからだ、というようなことです。
それと同じように、物事の良し悪しは私たちが判断することである、という考え方があるようです。つまり、未来の私たちは、それを悪いと判断するためにそこにいるわけではないのです。
これに対しては、2つのことが言えると思います。一つは、エピキュリアンの議論はあまり良いものではないと思います。何が問題なのかを正確に理解するのは、ちょっとしたパズルのようなものかもしれません。しかし、誰も本気で信じていません。「患者が死んでも構わない」と言って医療政策を決める人はいないでしょう。
不快な思いをするのは悪いことですが、それに苦しむためにまだそこにいるのですから。しかし、患者が死んでも問題はありません。だから、私たちはただ、患者を死なせるのです。そんなことを政策として真剣に考える人はいないでしょう。そんなことを言う政党には誰も投票しないでしょう。
Matrix Phenos 29:39
他の人の死が私たちに影響を与えるからです。
そうですね。。
Toby Ord 29:43
しかし、私たちはそこに行きたいとも思っていません。なぜなら、愛する人も周りにいる人もいない人の死は、重要ではないということになるからです。
Matrix Phenos 29:52
これは、人間が生きるか死ぬかを経験的に気にしているということの別の言い方です。
Toby Ord 29:58
確かに、私が言いたいのは、このような叙事詩的な議論にはある種の哲学的な興味がありますが、私たちは実際にはそれを信じていませんし、誰も実際にはそれを信じていないでしょう。ホームレスの人が簡単に防げる病気で死ぬことが許されたら、その先にあったかもしれない全ての人生を失うことになり、希望や夢を叶えることができず、良い人生を送ることができなくなってしまいます。そして、より充実した長い人生を送る代わりに、より短く、より悪い人生を送ることになるのですが、その人にとっては全く悪いことではありません。
それは、その人にとっては悪いことではなく、その人を悼む人にとっては不便なことかもしれない、と考えるのです。それは死についての考え方ではないと思うのです。そして、この議論は、悲しみの時や、死ぬのが怖い時の慰めにはなりますが、方針を決めるための行動指針のようなものとして扱うべきではありません。
これは、人類の終焉についても同じことが言えると思います。もし、「悪いことではありません、自分たちがやることではないから」という考えを真剣に受け止めれば、世界規模の核戦争も全然問題ないかもしれません。避ける理由が全くないのですから。
誰かが選挙に立候補して、「もし物事が悪くなりそうだったら、心配しないでください、私はこの新しい政策を持っています。事態が悪くなりそうなら、このような世界規模の核戦争を起こしてやろう。」そして、それは悪くない。どちらにしても、悪いことにはなりません。それは、対応策としては非常識なことだと思います。このように考えてみると、この議論が本当に機能していないことに気づくと思います。そして、それは外から見ているだけで、この議論が機能していないことははっきりしています。しかし、この議論のどこが間違っているのかを正確に診断したいのであれば、その答えは、「ここから判断できる」ということだと思います。
例えば、私から遠く離れた場所で、動物が苦しんでいることに気づかないでいることが悪いことであるのと同じです。そして、それをここから正しく判断することができる。それと同じように、未来がないのはよくない。そして、その未来に自分がいなくても、それを判断するために、現在から判断することができます。ですから、このような時間を超越したアプローチをとることが解決策になると思います。
この解決策は、ある時間を見て、その時間に自分が存在していないことを認識して、その時間が自分にとって悪いものであると考えるのではなく、自分の人生を全体として、時間を超えて見てみるというものです。そして、早死にする人生は短く、良いものが少ないことに気づきます。一方、もう一つの人生は長く、良いものを多く持っています。
Matrix Phenos 32:25
名前は忘れましたが、企業やある企業が、事実上の自殺薬を作るという映画がありました。そして、人の子であったかもしれない世界があまりにも悪くなってしまったので、人々は選択的に自殺し始めたのです。以前にも、カルト宗教などで集団自殺が行われたことがあります。
また、文明や社会が侵略者の大群に襲われた場合、多くの女性はレイプされるよりも崖から身を投げたといいます。つまり、人類は苦しみの果てに自殺を受け入れようとしているのです。これは興味深いことだと思います。
私はまた、この推論を使い果たしてしまいたいと思っています。地球上の生命全体から見れば、人間の存在によってもたらされたすべての利益よりも、人間が苦しみに貢献したことのほうが多いのですから。私たちがいないほうが世界は幸せになるという主張には、どう答えますか？つまり、私たちは早く死に始めたほうがいいということですね。
Toby Ord 33:41
ええ、つまり、その議論には何かあると思います。最終的には、私はそれを否定します。その理由を説明しましょう。しかし、人類が他の人間に害を与えていることに人々が気づくのは良いことだと思います。人間の一部が他の人間に多大な苦しみを与えていることを考えると、人間の幸福のバランスはポジティブなのかネガティブなのか、という疑問が生じます。また、人間以外のものに対する人間の害のバランスを問うことは良いことだと思います。
例えば、個々の動物に対する害、動物の福祉や幸福、あるいは動物の権利の侵害、さらには種の喪失など、特定の個人に対するものではない環境的な害などがあります。ですから、私の考えでは、これを秤にかけるとプラスになると思うのですが、それを知るのは難しく、それを明確に計算しようとする人は比較的少ないと思います。
私は、世界中のほとんどの典型的な人々は、ご存じの通り良い生活を送っていると思います。それを確認できる理由のひとつが、先ほどおっしゃっていた自殺の可能性です。もし人々が本当に悲惨な人生を送っていて、その人生を続けることが何もしないよりも悪いことだとしたら、少なくともその人生を終わらせ、何らかの方法を見つけることができるはずです。
しかし、それはあまり起こりません。しかし、工場での畜産を考えると、もっと妥当な話だと思います。鶏の1時間の苦しみと人間の1時間の苦しみを比較して、どのように判断するのかという非常に難しい問題があります。これは簡単な問題ではありません。
しかし、少なくとも、痛めつけられた動物がたくさんいるのだから、今、私たちが作っているものは、良いことよりも悪いことをしているのではないかということは、もっともなことだと思います。しかし、私が思うに、この質問に対する答えは、「現在、私たちは善よりも害を多く生み出しているのでしょうか？」私たちの潜在能力はゼロなのか、将来期待される善の量はゼロなのか、という疑問とは密接に関係していないと思います、私たちの貢献は。その理由は、道徳的な進歩のおかげで、私たちはとてつもない進歩を遂げてきたからです。
100年前を振り返ってみると、女性が投票権を持っていた場所はほとんどなく、異なるグループに対して非常に不平等な扱いを受けていました。また、100年前に戻ってみると、奴隷制度がもっと一般的で受け入れられていたり、動物や環境への配慮がほとんどなかったりします。私たちは長い道のりを歩んできました。そして、この進歩が継続される理由があると思います。そして、すべてに終止符を打つべきかどうかという、より広範な問題については、次のように考えています。
私はよく、人類の便利な例えを考えます。一人一人の人間の命という観点から想像してみてください。完璧な例えではありませんが、参考になると思います。典型的な哺乳類の種について考えると、彼らは約100万年持ちます。ホモ・サピエンスはこれまで約20万年持ちこたえてきましたが、あと80万年は持ちこたえられると考えています。
しかし、その場合、私たちは現世ではティーンエイジャーのような青春時代になります。この例えは、私たちが最終的に、思春期のように自分たちを本当に困らせるだけの力を持つようになったということを示すものです。そして、次の4時間のために、あるいは、1日のような1世代のために、私たちの時間を使って人々にわずかな利益をもたらすために、私たちは残りの人生全体を危険にさらすことも厭わないのです。これは便利な例えだと思います。
そして、「未来は生きる価値があるのか」という質問になると、これも少し似ていると思います。これは、自分の将来について憂鬱や不安を感じている思春期の若者の質問に少し似ていると思います。将来の人生が生きがいのあるものになるかどうかわからず、自殺願望があり、すべてを終わらせたほうが世界のためになるのではないかと考えています。
あるいは、他の人のためになるかもしれない、誰かに悪いことをしたという自責の念に駆られて、それが自分を燃え上がらせているのかもしれません。そして、自分は何もしないよりも悪い存在だと考え、すべてを終わらせたいと思うのです。そういう人のことを考えてみると、とても共感できるし、その人の気持ちも理解できる。
しかし、同時に、何か悪いことが起こったときの気持ちで将来を判断してはいけない、良いときの気持ちと同じように、悪いときの気持ちも考慮すべきだと思うのです。また、誰かが自分のしたことを後悔し始めているという事実もあります。周りの人を傷つけてしまうことがあることにも気づくことができます。これは、彼らが実際に改善方法を学び、他人の関心をより真剣に受け止め、他人を気遣うようになったことを示すポジティブな兆候です。だからこそ、正しい行動、正しい反応は、「周りの声を聞いたから、もう終わりにしよう」ではなく、「周りの人を傷つけないようにしよう」だと思います。
そのためにはどうしたらいいのか、考えてみたいと思います。そして、どうすれば世界をより良い場所にすることができるのか、それが正しい答えだと思います。これは人類にとっても正しい反応だと思います。人間が全体的にマイナスの価値を持ちうるかどうかが問題になるのは恐ろしいことです。
しかし、それを世界への貢献度がゼロであることの理由にしてはいけません。私たちの子供たちの世代には、私たちがプラスの影響を与えているかどうかを疑問視する人がいなくなるように、行動を起こすための警鐘として扱いましょう。
Matrix Phenos 39:31
美しいですね。トビー、あなたの人間に対する愛情は、本の中でとてもよく伝わってきます。それは本当にパワフルなことだと思います。つまり、この本は人類存亡リスクについて書かれているようですね。マイクをつける前にも言いましたが、最後の方、最後の2つの章、もしかしたら最後の1つの章では、この本があなたの人間に対する愛と同じくらい、いやそれ以上のものであることが明らかになっています。そして、この本は、人間性と人間の経験の価値についての瞑想です。
それでは、あなたが概説したリスクについての話に移りましょう。まず、これらのリスクをどのようにして選んだのでしょうか？
Toby Ord 40:10
最初に説明したように、私は長い間、人類存亡リスクを追いかけてきました、もう16年になります。そして、このような議論に注意深く耳を傾け、新しいものがリスクとして提案されたときには、それを本当に理解しようとし、科学を掘り下げ、その分野の著名人と話し、それらが本当に人類にリスクをもたらすのかどうかを調べてきました。
ニック・ボストロムが設立したFuture of Humanity Instituteは長い間この活動を行ってきました。しかし、その中で、どのようなものが大きなリスクで、どのようなものが小さなリスクなのかを見極めるのは非常に難しいことでもあります。
本の中では1段落しか書いていませんが、例えば、地球が時々磁場を反転させて、地球の磁極の北極と南極が入れ替わるという話を聞くことがあります。その間、宇宙線から守られていない期間があるのです。それが絶滅のリスクになるのではないかとよく言われています。人類とチンパンジーが進化の過程で分岐して以来、何度も起こってきたことなのです。また、種は非常によく生き残るものであり、種の絶滅と世論調査の結果が逆転した時期との間には相関関係は知られていないため、除外することができます。
しかし、より妥当性のあるものもあります。私はそのようなリスクに焦点を当てようとしてきました。このような自然のリスクに関しては、もし本当にリスクがあるとすれば、データの恩恵を受けることができます。
確率を考えようとすれば、できることなら周波数にアクセスしようとするのが一番です。つまり、過去100万年の間にこのようなことが何回あったのか、ということです。そして、十分な回数が得られれば、確率の信頼性を少しずつ高めていくことができます。
例えば、様々な大きさの小惑星が地球に衝突する頻度については、かなりの信頼性がありますが、6500万年前に恐竜を絶滅させたのは半径10キロの小惑星で、過去6500万年の間に同じ大きさの小惑星は2度と来ていませんでした。
このように、100万年単位の期間が65回も連続して発生していないというのは、非常に参考になります。そして、その可能性についても把握することができます。しかし、核戦争のような人為的なリスクに関しては、核兵器が開発されてから75年間しか生き延びることができませんでした。この実績では、確率が90%であることや、確率がゼロであることと互換性がある確率について、それほど多くのことを語るには十分ではありません。しかし、最終的には、100年に1度の確率と考えたいと思います。そして、そのような短い実績からはほとんど何も学べませんでした。ですから、人為的なリスクを整理しようとすると、より難しく、より多くの判断が求められます。
Matrix Phenos 43:29
つまり、血栓症のリスク要因に関連した絶滅イベントは、本質的にもっと高い誤差を伴うということでしょうか？つまり、人為的なリスクに関連した絶滅イベントの可能性の絶滅は、あなたによれば、自然のリスクよりもはるかに大きかったということですね？それは、これらのリスクが非常に新しいものであるためです。データが少ないからでしょうか？
Toby Ord 43:55
ええ、いい質問ですね。本の中で、私はこれらのリスクを推定しようとしています。科学の世界では、同じデータを見た知的な観察者が、お互いによく似た確率を判断するような状況が望ましいとされていますが、これは本当に客観的な尺度だと考えられます。一方、今回のケースでは、誰もが同意できる証拠があり、大惨事の実際の発生確率については、人々の間で非常に大きな意見の相違があります。多くのリスクの場合、専門家の間で10分の1程度の差があると言われています。
例えば、今後100年以内に核戦争による人類存亡な大惨事が起こる可能性について、私は1000分の1程度だと考えています。しかし、私の同僚の中には、100分の1、1万分の1と言う人もいるかもしれません。つまり、通常、10分の1の差で人々が意見を異にする場合、あなたの推定値にとって非常に悪いニュースとなります。しかし、この場合は、それが1%なのか1万分の1なのかわからなくても、どちらにしても、私たちがより多くのことを知っている小惑星による絶滅よりも、はるかに可能性が高いことはわかっています。
Matrix Phenos 45:12
文脈的にはどうでしょうか？リスナーの皆さんのお役に立てると思います。1950年当時、核戦争のリスクはどうだったと思いますか？もし、あなたが全く同じ計算をせずに再生していたとしたら、その結果がどうなるかは必ずしもわからないのではないでしょうか？きっと、もっと高いリスクを設定していたでしょう。問題は、それが当時の一般的なムードを反映したものなのか、ということです。それとも、核兵器が新しいものであり、私たちがその素晴らしい可能性に取り組み始めたばかりだったため、正当にリスクが高かったのでしょうか。
Toby Ord 45:50
滅亡の可能性に取り組み始めた頃だからでしょうか？ええ、そこにはいくつかの理由があります。1つは、私の1000分の1という見積もりは、今後100年以内に核戦争が起こる可能性ではなく、人類の今後の可能性をすべて破壊する核戦争が起こる可能性を示しているということです。
Matrix Phenos 46:07
これは、人類存亡リスクと本当にひどい、最悪の結果との間の整合性に戻るものだと思います。
Toby Ord 46:14
その通りです。核戦争が起こる可能性は、まさに本当にひどい結果であり、人類の暗黒時代となる可能性でもありますが、一人残らず死んでしまう可能性や、文明が完全に崩壊してしまう可能性よりも、かなり高いのです。つまり、大規模な核戦争に見舞われる可能性と、それが人類の破滅につながる可能性を合わせたものです。20世紀について考えてみると、大規模な核戦争が起こる可能性は3分の1くらいではないかと思います。62年のキューバ危機は、核戦争に最も近づいた出来事だったと思いますが、2週間の間に何度も危機が訪れました。当時の大統領だったJFKは、振り返ってみると、本格的な核戦争に発展する可能性は3分の1から2分の1だったと考えています。私はそれが妥当だと思います。キューバ・ミサイル危機では、ケネディが知らなかったことがありました。それは、ロシアの潜水艦が核魚雷を搭載していたことです。艦長は、封鎖しているアメリカ艦隊に向けて発射するように命令しました。もしそれが発射されて、全艦隊を核のインフェルノで破壊したとしたら、アメリカの対応は核戦争しかない。核兵器を使用した場合には、ソ連に対して全面的な報復を行うことがすでに決まっていたのです。最終的には、艦長が監査し、政務官が同意し、唯一幸運だったのは、船団司令官のワシリー・アルクヒポフがたまたまその潜水艦に乗船していたことでした。そして、彼の同意も必要でした。そして、彼はそれを拒否して、艦長に話をして、代わりに浮上して降伏するように説得したのです。しかし、このように、アメリカはキューバに戦術核兵器があることを、潜水艦にも地上にも知らなかったのです。潜水艦にしろ、地上にしろ、キューバに戦術核兵器があることすら知らなかったのですから、情報が少なかったわけです。そして、戦略核兵器だけが関与していると仮定して、ひどい脅しや最後通告を行ったのです。しかし、このような魅力的なエピソードがあるからこそ、私たちは本当に核戦争に近づいたのだと思うのです。
Matrix Phenos 48:41
そうですね。。そのことをじっくり考えてみると、狂気という言葉がぴったりですね。狂気と恐ろしさを併せ持っています。生き残れた幸運だけでなく、こういった種類のリスクについて話すとき、何が起こるかわからないという恐怖感を感じます。最初の攻撃はさておき、仮に最初の攻撃が行われたとして、その後の攻撃はある意味では必要ではありませんが、全体的な戦略ゲームの中では必要なことです。
しかし、全体的な戦略ゲームの中では必要なことなのです。この場合、JFK政権は報復攻撃をしないことの意味を長期的に計算していたのです。今日の世界が地政学的にどのような状況にあるのか、特に世界秩序の極性がどのように変化しているのか、中国、ロシア、イラン、北朝鮮などの国々が米国に対抗するために同盟関係を強化しているのか、という点について考えてみましたか？
もちろん、核兵器は常に大きな存在であり、私の歴史の読み方では、主にミスの可能性のために、核イベントや戦争が起こる可能性が最も高いと思われます。しかし、それ以上に恐ろしいのは、新兵器の開発です。この話は最終的に、人工知能や非同盟型AIの話になります。人類存亡な出来事が起こるきっかけとして、どのように考えているのか興味があります。
Toby Ord 50:35
ええ、たくさんあります。あなたの言うとおり、ゲーム理論が登場する場所はたくさんあります。実際、米ソの核体制の背後にあるゲーム理論は非常に複雑なものでした。
例えば、相互確証破壊（Mutually Assured Destruction）という考え方があります。これは、敵を破壊するほどの激しい報復攻撃を行うことを約束する必要があり、その約束をしてしまえば、相手は攻撃する価値がないので攻撃してこないという考え方です。だから、先制攻撃はしないのです。その話は誰もが聞いたことがあるでしょう。
しかし、それは一つのピースに過ぎません。ゲーム理論の移り変わりには様々な側面がありますが、技術があるからこそ先制攻撃が優位に立った時代もありました。それは西部劇のようなもので、自分が先に銃を取り出して、他のプレイヤーを撃ち殺すようなものでした。
Matrix Phenos 51:25
限定的な核戦争については、キッシンジャーがハーバード大学時代に研究していましたが、60年代には最終的に廃止されたのでしょうか？
Toby Ord 51:33
なぜなら、核兵器のない世界では、地政学的な緊張が生じたときに、一方の国がすぐに核兵器を開発し、相手が報復のための武器を開発する前に先制攻撃をするという義務が生じるからです。
このように、ゲーム理論はまだ模索中なのです。
Matrix Phenos 51:53
私たちはある種の均衡を築いたのです。
Toby Ord 51:56
そうですね。。ミサイルを発射して、発射前にICBMに着弾させると、他のミサイルのほとんどを破壊することができます。そして、要塞を強化しても破壊してしまうのです。しかし、MERV兵器（Multiple Independent Reentry Vehicle）が開発されると、1発の核ミサイルが複数の弾頭に分割され、それらがすべて敵国の独立した目標に着弾するようになりました。
つまり、最初に発射すれば、土曜日によっては5発以上のミサイルを破壊することができたのです。その後、報復を制限することができるため、再び先制攻撃へと移行していきます。このような新しい技術を開発することで、彼らは、個々の国が開発することにメリットがあると考えていました。この技術を開発することで、戦略的な状況が変化し、相手が自分たちを攻撃する動機付けとなりました。
また、比較的平和な時期であっても、青天の霹靂のような攻撃をして、敵を将来の核戦争のリスクから排除する動機付けとなりました。これが何度も繰り返されたのです。これは、私にとって本当に目からウロコの出来事でした。部外者がそれを知ることは非常に難しいということを実感しました。新しい防衛技術を作っても、その防衛技術が判明してしまうことが多いのです。
例えば、不死身のミサイルシールドを作ることができたとすると、相手が完成する前に攻撃するインセンティブが働きますよね。
Matrix Phenos 53:25
レーガンは、相互抑止の抑止力として相互確証破壊を行うつもりだったのです。そして、理論的には防ぐことができる能力を持っていたために、まさに核戦争を起こしてしまうことになるのです。
Toby Ord 53:40
その通りです。ですから、とても混乱しています。良かれと思って行った介入が、かえって事態を悪化させてしまう可能性が多々あるのですから、これは本当に難しいことです。私が提言したいのは、究極的にはICBMをなくすべきだということです。アメリカが一方的にICBMを撤去し、代わりに潜水艦を増設する価値があるという意見にも同意します。
なぜなら、潜水艦は位置が不明で、相手が破壊するのは非常に難しいからです。潜水艦は場所が分からず、相手に取られるのは非常に難しいため、依然として信頼できる脅威となり得ます。しかし、ICBMの「使うか、使わないか」という問題はなくなります。
つまり、攻撃されるのではないかと思っても発射しなければならない可能性があるということです。なぜなら、発射する前に本当に攻撃があったかどうかを確認することができず、警告があったときに発射しなければならなくなったからです。
このように、ゲーム理論は非常に複雑なものなのです。現在の機密情報を知っているような戦略組織の人間ではない私たちにとって、何が実際に役立つのかを知るのはとても難しいことです。というのも、彼らは専門家ではないからです。
例えば、人類存亡リスクや、自国への核攻撃と引き換えに大規模な核戦争を起こすと脅すことが正当かどうか、といったことを知りません。もしそうすることで、事実上、全世界の人々を永遠に大量虐殺すると脅しているのであれば、たとえ実際に実行するつもりがなくても、自衛手段としても、合理的な意味で許されないことのように思えます。
申し訳ありませんが、あるいは、誰かに殴られるとは思っていないので、そこを通過する必要がないと思っている場合。相互確証破壊という状況は、アクション映画のクライマックスのようなものだと思います。主人公と敵役がそれぞれ、例えば相手の子供を人質にして、頭に銃を突きつけて、「俺を撃つな、さもなくばお前の子供を撃つぞ」と言っている、そんな感じですね。
彼らは最終的に、もし攻撃されたら、戦闘員ではない相手国の何百万人、何億人もの市民を殺害すると脅しているのです。これはジュネーブ条約に反していますし、戦争の法律や倫理の合理的な理解、あるいは人間の基本的な理解、つまり基本的な人間性にも反しています。映画のクライマックスのように、一瞬、テントがいくつか張られ、数分間のにらみ合いがあって、なんとか緊張が解けて、人質が向こう側に解放されるような場面を想像してみてください。
そして、悪党がヘリコプターで脱出し、我々はまた次の日に戦うために生きている、ということになるのかもしれません。しかし、その代わりに、75年経った今でも、誰かが自分に何かしてきたら、相手国の国民を殺害するという積極的な脅迫が行われているのです。これは本当に衝撃的です。このような姿勢がどれほど道徳的に間違っているのか、軍や戦略機関が真剣に考えているとは思えません。
Matrix Phenos 56:40
よくある誤解のひとつに、ソ連が先制攻撃を行い、十分な数のICBMを破壊した場合、我々の対応能力が大幅に低下する、あるいは完全に損なわれるというものがあります。しかし、それこそが核三国志なのです。だからこそ、私たちは複数のミサイル発射手段を持っているのです。そして、いつでもどこでも攻撃できる能力を与えてくれるのは、間違いなく原子力潜水艦なのです。そして、敵対者がそのすべてを破壊することは不可能なのです。
Toby Ord 57:12
その通りです。私の相手を想像してみると、これらのICBMのほとんどを一方的に解体することに反対する最良の反論は、交渉の切り札を放棄するのではなく、二国間の軍縮を推し進めることができれば、なお良いと思います。しかし、アメリカはそうしようとはしません。
Matrix Phenos 57:30
どちらも逆なのです。実は、新START条約の期限が切れようとしています。さて、新STARTは現在更新されています。更新されたので、ああ、面白いなと思いました。更新されることになったんですね。だから 2021年まで延長されたと思っていました。しかし、その通りです。
Toby Ord 57:45
そしてそれは、バイデン政権の最初の1ヶ月の間に出てきたと思います。興味深いですね。トランプが失効させるつもりだったとは気がつきませんでした。バイデンが入ってきて辞任し、何年延長したかは覚えていませんが、また復活したわけです。これは良いニュースですね。潜水艦に頼るというアプローチに対して誰かが言える最善のことは、技術がまた変わってしまったらどうするかということです。潜水艦用ドローンを海に放ち、敵の潜水艦を見つけて追跡し、どこにいるのかを把握できるようになったらどうでしょうか。
あるいは、新しい形の衛星モニタリング、つまり海中にあるものを検知することで、これと同じようなことができるとしたらどうでしょう。そのような技術が生まれれば、突然、相手のカウンターストライク施設を知り、無力化することができるかもしれません。
そうなると、本当かどうかはわかりませんが、先制攻撃のバランスが取れるようになるかもしれません。そうなると、戦争の可能性が高まるのではないでしょうか。繰り返しになりますが、どれほどの可能性があるかはわかりませんが、これは非常に複雑であることを示しています。そして、軍部はその複雑さを悪用して、他の人たちに「難しいことはわからないから、やめておけ」と言ってきたのではないでしょうか。
しかし、彼らは倫理や関連分野を考えている人たちからのアドバイスを求めていません。つまり、パズルの一部分を手に入れただけなのです。そして多くの場合、私たちはパズルの他の部分を持っているのです。すべてのパーツを組み合わせる必要があるのに、この1つのパーツだけで解決するのは非常に難しいのです。しかし、実際にはそんなことはありません。
Matrix Phenos 59:20
最終的には人間がコントロールするシステムが存在するというのは恐ろしいことですが、正直なところ、機械にコントロールされるのではなく、人間にコントロールされていることを嬉しく思います。それはもうひとつの恐怖ですよね。というのも、ゲーム理論の話に戻ります。自律型兵器に投資して開発を進め、現場での判断をAIに委ねるようになってきている国、特にアメリカと中国には、こうした投資を行うだけのリソースがあるというインセンティブがたくさんあります。
その理由のひとつは、AIだけでなくロボットを導入することで、パイロットの身体に危害を加えるリスクを減らすことができるからです。実際にパイロットをしている人たちは、ドローン戦は最先端の技術ですから、ヒューマンエラーの可能性を減らすことができるのですが、もちろん、より大きな人類存亡リスクを生み出すことにもなります。
Toby Ord 1:00:20
ええ、その通りだと思います。繰り返しになりますが、致死性の自律兵器に関する多くの事実や議論にアクセスできなければ、正しい判断を下すことが非常に困難な分野です。なぜなら、私たちは民間人として、それがすべて軍事的なものであることを忘れてしまうことがあるからです。
軍事技術の大部分は、武器の殺傷力を高めるためのものであり、それは日常的に行われています。普段はあまり議論されることはありません。そして、報復を恐れずに使用できる武器のアイデア。これも長い間続いていることです。弓矢が発明された時点で、自分の身を危険にさらすことなく敵を殺そうとしていたのですから。
このように、私たちがドローンを特別なものだと思いがちなものには、新しい特性があります。しかし、それは非常に一般的なものであることがわかりました。洗練されたバージョンのドローンでは、民間人の犠牲者が少なくなることは十分に考えられます。ドローンは確かに、爆撃機よりも民間人と戦闘員を区別する能力が高いのです。ドローンには欠点がありますが、それを補って余りある能力を持っています。しかし、あなたは重要な問題を指摘していると思います。自動化されたシステムが急激にエスカレートすることです。核兵器と同じように、一人の人間の選択によって、少なくとも何百万人もの死と、場合によっては人類の滅亡を引き起こすことが可能であることを意味しています。このようなドローンの群れや、そのための戦略的司令部などをどんどん自動化していくと、小競り合いやいたちごっこではなく、「相手のドローンが自分のドローンを撃ち落とした」というような状況にすぐに陥ってしまう可能性があります。小競り合いやいたちごっこではなく、「向こうのドローンがこちらのドローンを撃墜したので、こちらも撃墜したい」というように、またしても、その対応が国家を戦争に巻き込むようなものになってしまう可能性があるのです。これが最大の問題の1つであることには同意します。
マトリックス フェノ 1:02:37
つまり、規模と安定性の間には、人類存亡リスクの軽減には必ずしも好ましくない関係があるということですね。そうですね。、私も言おうと思っていたのですが、セーガンのこの言葉を思い出しました。私の記憶が正しければ、私たちが直面する危険の多くは、力を得てもそれに見合うだけの知恵を得られなかったことに起因する、というような内容でした。
Toby Ord 1:03:02
その通りです。それはカール・セーガン氏の指針となる考えであり、私がこの本を書いている間、非常に心に残っていました。
通常兵器について考えていたときに印象的だったのは、一つのミスで同じような状況に陥る可能性があるということでしましたが、その場合、誤って戦争に巻き込まれる可能性はあるのでしょうか？そして、彼らは知っていると思いますが、例がありますよね。
だから、間違いなく、第一次世界大戦は、一種の誤った戦争への入り口だったのです。しかし、あまり知られていない興味深い例として、FDRが誤って日本に無条件降伏を要求してしまったことがあります。これは、第二次世界大戦末期に、チャーチルと一緒にカサブランカからラジオ放送をしていたときのことでした。彼の台本には、降伏を呼びかけるという矢印が書かれていましたが、そこに無条件降伏という言葉を付け加えただけで、完全なゲームになってしまいました。だから、条件付きで降伏するだけの無条件降伏を回復することはできないと、特に重視していたのです。そう、FDRはラジオ放送で間違ったことを言ってしまったのです。
そして、チャーチルは愚かにも彼を支持することにしたのです。自叙伝にも書いてありますが。彼は、これらの大国の2人のリーダーには一貫性が必要だと考えていました。だから彼は、日本の無条件降伏の要求をさらに強めたのです。
Matrix Phenos 1:04:34
そして、それが実際に政策として実現したのです。では、あの失敗がなければ、実際に日本に2発の核兵器を投下していたかどうかを評価する作業はどのくらい行われたのでしょうか？
Toby Ord 1:04:46
私が理解している限りでは、核兵器は投下されなかったでしょう。また、なぜ日本は降伏しなかったのかという疑問もあります。なぜ日本は降伏しなかったのか、なぜ日本は降伏に固執し、多くの日本人を死なせてしまったのでしょうか。その答えの大部分は、この無条件降伏の要求にあるのではないか？
マトリックスフェノ 1:04:59
第二次世界大戦前の日本人には異質な文化でしましたが、現在では当時とは全く異なる社会になっています。
Toby Ord 1:05:05
確かに。しかし、このような欧米の指導者たちが、「何か少しでも何かをすべきだった」と言った後に、ただ声明を出さなかったことも魅力的です。
さて、ちょっと待って、他の人たちを部屋から出しましょう。あなたと私で、この件について話し合ってみましょう。私たちは本当にこれを意味しているのでしょうか？。1週間後に「無条件降伏はもうしません」とか「あれは間違いでした」と説明書を出すのは、恥ずかしいことですよね。しかし、ラジオ番組の誤りのために、何千人の米軍と何百万人の日本人を死なせてしまったことは、もっと恥ずかしいことです。
Matrix Phenos 1:05:44
それは、恥ずかしさと関係しているという考えなのでしょうか？なぜなら、私たちが見失っていることのひとつに、戦争中に人間が意思決定を行う際の操作環境は、平時とは劇的に異なるということがあるからです。それがどのようなものか、私たちには想像する能力がないのです。
つまり、このような重要な時期にアメリカの大統領になることは、とても想像できないことなのです。そのストレスの大きさを考えると、FDRは、この時期に修正案を出せば、組織や同盟構造の中である程度の混乱が生じ、同盟国が日本と交渉する際に悪影響を及ぼすと考えたかもしれません。そして、それが実現すれば、より大きなリスクを負うことも厭わなかったのかもしれません。
Toby Ord 1:06:37
そうですね。それはおそらく、これらすべてのことに悪影響を及ぼしたでしょう。その通りです。私の考えでは、やはり実際に行われるべきだったと思います。戦後、このことについて真剣に質問された場合、FDRはそれを見るまで生きていなかったのではないかと思います。
しかし、彼らは、これはかなりひどい結果だったと認め、実際にはそれを撤回した方がよかったと思うでしょう。このレベルの降伏を要求すると言っておきながら、安心させるために考えを変えるというのはわかりますが。
Matrix Phenos 1:07:06
シリアでのオバマ大統領のレッドラインは、状況的に何かあるのかもしれません。
Toby Ord 1:07:11
レッドラインを移動させるのは、あまりいいことではありません。しかし、興味深いのは、なぜこれほど似たようなことになったのか、ということです。その答えのひとつは、ラジオの生放送という技術にあると思います。しかし、興味深いことに、指揮を執る一人の人間が、選択を間違えるだけでなく、何かを間違えてしまうような可能性があるのです。
Matrix Phenos 1:07:46
トビー、これまでの話は、本当にもっと、何と表現したらいいのか、このような会話を素晴らしいと表現するのは難しいのですが。最初の1時間で様々なリスクについて話し合うことができると思っていたのですが、予想以上に深く、目を見張るような内容でした。実際には、核戦争の話に終始し、そこから派生して、自然界のリスクにはあまり触れていませんでした。小惑星には触れましたが、私が最も興味深いと思った小惑星の衝突や火山の噴火については、もう一度書いておきました。
また、人工的なリスクという意味では、「核戦争」があります。核戦争もその一つです。また、AI、AIシンギュラリティ、あるいはミスアライメントに関連したイベントも書いておきました。また、生物兵器や、単に実験室で病原体が開発され、それが誤って放出されることもあるでしょう。私たちが知っている限りでは、以前にもこのようなことがありました。この問題の時限性を考えると 私たちはこの点に注目したいと思います。私はニック・ボストロムの著書『超知能』を読みましたが、読んでいてとても興味深かったです。
人工知能を開発しようとする際に内在する課題、アライメントの問題、イザットギャップなどの結果、社会が終わるだけでなく、私たちが非常に悪い結果になってしまう可能性があるという、実に恐ろしい内容でした。そして、生物兵器やパンデミック。この2つが最も重要な点だと考えています。そして、これまで核戦争に費やしてきた時間を踏まえて、時間がある限り、超巨大な火山噴火や小惑星のリスクについても触れたいと思います。
初めてご覧になる方のために。 hidden forcesはリスナーに支持されています。広告主や商業スポンサーは受け付けていません。番組全体の資金は、あなたのようなリスナーが上から下まで提供しています。トビーとの会話の後編や、今回のエピソードやこれまでのすべてのエピソードのトランスクリプトや概要にアクセスしたい場合は、hidden forces.ioにアクセスして、エピソードライブラリをチェックするか、patreon.com/hidden forcesのパトロンページで直接購読してください。また、このエピソードの概要ページには、残業フィードを携帯電話に接続する方法の説明が記載されたリンクがあります。通常のポッドキャストを聴くのと同じように、この特別な議論を聴くことができます。Toby お付き合いください。会話の第2部を購読者の残業に移す予定です。今日のエピソード「Hidden forces」はニューヨークで収録されました。今週のエピソードについての詳細や、関連番組に簡単にアクセスしたい場合は、ウェブサイトHidden forces.ioにアクセスして、無料のメールリストに登録してください。各エピソードに関連するリンクや詳細情報が満載の番組概要、エピソードのトランスクリプト、オーバータイム・セグメントへのアクセスをご希望の方は、Hidden forcesのウェブサイト、またはpatreon.com/hidden forcesにあるPatreonページからプレミアム購読をご利用ください。本日のエピソードは、私が制作し、Stylianos Nicolaouが編集しました。他のエピソードについては、ウェブサイトHidden forces.ioをご覧ください。 Facebook、Twitter、Instagramのhidden forces podで会話に参加するか、DK at Hidden forces.ioまでメールをお送りください。 いつもお聴きいただきありがとうございます。来週もよろしくお願いします。