How do we find meaning in a post-AGI, solved world?
Nick Bostrom & I discuss his brand new book "Deep Utopia" on this week's Win-Win podcast right here on X.
We also get into Superintelligence, Vulnerable World Hypothesis & Digital Minds.
Co-hosted with @IgorKurganov… pic.twitter.com/PVC0DveD6E— Liv Boeree (@Liv_Boeree) March 29, 2024
AGI後の解決された世界で、私たちはどのように意味を見出すのでしょうか？
ニック・ボストロムと私は、彼の新著「ディープ・ユートピア」について、このXのWin-Winポッドキャストで議論します。
スーパーインテリジェンス、脆弱な世界仮説、デジタルマインドについても。
共催
イゴール・クルガノフ
タイムスタンプ
1:42 – なぜユートピアの本を？
3:31 – ユートピアのさまざまなタイプ
11:40 – 解決された世界における目的の発見
18:31 – 潜在的なテクノロジーの限界
22:34 – 競争が果たす役割とは？
30:24 – 超知能とAI
34:39 – 脆弱世界仮説
39:48 – スーパーポジションで考える
41:24 – 脆弱な世界への解決策
46:34 – 防御的技術に市場を合わせる
48:43 – デジタルマインドとアップロード
52:25 – 意識
55:08 – アウトロ
トランスクリプト
ニック・ボストロム 0:00
ディープ・ユートピアの問題とは、解決された世界で私たちが何をするかということです。例えば、数学を知るためには、数学を学ぶために多くの時間と労力を費やす必要がありますが、技術的に成熟した世界では、ボタンを押すだけでMASM Algebra Twoモジュールをダウンロードすることができれば、数学を学ぶために労力を費やす必要がなくなります。それ以来、このような活動の多くを省くことができるようになります、目的とか意味とか究極の価値とか、そういうことを本当に考え直さなければならないような、よりラディカルな問題です。
リブ・ブーリー 0:36
皆さんこんにちは、そしてwinwinポッドキャストへようこそ。今日のエピソードは、ユートピア、ディストピア、思考実験についてです。ニック・ボストロムと話しているからです。ニックは、世界で最も偉大な現存する多神教徒の一人です。
彼は過去15年間、オックスフォード大学の哲学教授として働いてきました。さらに、理論物理学、計算神経科学、論理学など、幅広い学問的背景を持っています、
彼は10年ほど前にスーパーインテリジェンスという本を書きました。今日のエピソードは、彼の新著『ディープ・ユートピア人生と解決された世界における意味』についてです。それでは、ニック・ボストロムとの対談をお楽しみください。
リブ・ブーリー 1:42
ニック、参加してくれてありがとうございます。今日、あなたと話したいと思った理由のひとつは、あなたが『ディープ・ユートピア』という本が出版されたからです。あなたはこれまで、世界的な大災害リスクに関する著作で知られてきました。それが今回、ユートピアについて語るというのは、非常に重要なことです。この変化のきっかけは何だったのでしょうか？
ニック・ボストロム 2:07
暗くて陰鬱な雲を照らす、小さな太陽の光のように？いいえ。実際、その片鱗を垣間見ることはありました。私は何年も前にユートピアからの手紙というものを書きました。
それは、達成できるかもしれないポジティブなものを詩的に呼び起こそうとしたものでした。ただ、過去のさまざまな時点では、分析を行い、うまくいかない可能性のあるさまざまな事柄に注意を向け、それを回避できるようにすることのほうが急務であったように思います。そして、その落とし穴を避ければ、最終的には、私たち自身のために確保したであろうこの大きな未来をどうするかについて考える時間を十分に持てるようになるのです。
イゴール・クルガノフ 2:56
人類存亡リスクや世界的な破局的リスクについて考えたり働いたりしている人たちの多くが、それについて考えるのが好きだからそうしているというのは誤解だと思います。そうではありません、道中の落とし穴を避けさえすれば、いいことがあるかもしれないと考えるのが好きなのです。だから、ユートピアの可能性を達成するために、落とし穴について考えるのです。
ニック・ボストロム 3:21
多くの研究者をこの分野に向かわせるのは、フィルム・ノワールへの大きな憧れや、ある種のダークなものではないのですね、私はそうは思いません。
リヴ・ブリー 3:31
ユートピアというトピックを掘り下げるには、その意味を正確に定義することが必要だと思います。では、この本の中であなたが述べているさまざまな定義について、いくつか説明していただけますか？
ニック・ボストロム 3:47
技術的成熟とは、物理的に可能で、実現可能な開発の道筋があるすべての技術が開発された状態、あるいは少なくともそれにある程度近い状態であると私は定義しています。
この本では多くのことを括弧書きにしていますが、特に、ここからそこへ到達するためにはどうすればいいかという問題を括弧書きにしています。つまり、私たちの前に横たわる現実的な困難はすべて脇に置いておくということです。
スーパーインテリジェンスの前作では、「AIで何がうまくいかないのか」という問いかけが95%のページでさまざまなリスクについて書かれていました。この本では、もし物事がうまくいったらどうするのか？最終的には、技術的な成熟の条件みたいなものがあると思います。これが、いくつかの前提を設定するのに役立つ一つの言葉です。
それから、「世界の魂」という概念があります。これは、技術的に成熟した世界と考えることができます。その上、協調の問題や政治的な問題、公平性の問題もすべて解決しています。つまり、ある意味では、しかしおそらく重要な修飾条件付きで、人間の願望や価値観に最大限に適合可能な世界があるわけです。
ディープ・ユートピアの問題は、解決された世界で何をするかということです。もし人間の道具的努力がOTRSになれば、そして。あなたは知っています。私たちは本当にロボットが私たちの食べ物を提供し、することができます知らない必要はありません、そのような根本的に変化した状態で、人間の存在に意味と目的を与えるものは何でしょうか？
イゴール・クルガノフ 5:59
あなたはまた、以前に説明されたユートピアのさまざまなタイプや、統治と文化のユートピアのようなものを説明することもできます。そうですね、それなら、ポスト欠乏のような他のユートピアと違って、技術的に実現されていないユートピアの方がいい。
ポスト・ワーク・ユートピア、ポスト・インストゥルメンタル・ユートピア、ポスト・プラスチック・ユートピア。今お話に出たのは、可塑的なものに近いですね。そうですね。そして、そのようなものだと思います、
私は、この異なるタイプの区別が役に立ちました。それは 1つは、存在したさまざまなユートピアの著作が、そのさまざまな段階について語っていることに気づきます。しかし、ポスト労働とは、完全な自動化がない状態です。そして、ポスト・インストゥルメンタルは、基本的に働く場所です。後でそのことを知るために学ぶことさえできません。
ニック・ボストロム 7:11
この領域での多くの努力、ユートピア的想像力。ユートピア的な想像力というものです。それはとても自然なことです。つまり、ユートピアの最も原始的な形のようなものがあり、ほとんどすべての文化が持っているのです、 そして、もし社会的な圧力や束縛が強かったら、社会的な風紀が緩むような宴会やパーティーの時間を想像するかもしれません。
そして、そのような状態では、すでにファンタジックなファンタジーとして十分なのですが、さらに、象徴的な政治的闘争のようなユートピアのクラスがあります。現代社会のさまざまな傾向を警告するようなユートピアで、このままではもっとあからさまに悪い状態になってしまうというものです。
『1984』や『ブレイブ・ニュー・ワールド』など、ユートピアを装った政治的な著作がたくさんあります。そして最近では。オートメーションはどうなのか？AIがこのようなことをすべてやってくれるとしたら？人間の労働市場はどうなるのか？そして、そのようなことのより急進的な形態は？もしロボットが経済的な人間の労働をすべてこなせるようになったらどうでしょう。
そのような世界では、教育システムや文化はどうなるのでしょうか？しかし、この旅には少なくとも一歩先の段階があると思います。
それは、堅実な世界では不要になるのは人間の経済的な努力や労働だけでなく、他のあらゆる人間の努力も同様に不要になるということを理解することです。例えば、数学を知る唯一の方法は、数学を学ぶために多くの時間と労力を費やすことです。しかし、技術的に成熟し、ボタンを押すだけで数学、代数2のモジュールをダウンロードできるようになれば、数学を学ぶために労力を費やす必要がなくなります。ジムに行って運動しなければなりません。
でも、もし錠剤を飲めば、体は同じことをします。そうすれば、現在、達成した人の日々を感じるようなことを、一回一回やっていくことができます。私は、レジャー、定年退職を迎え、多くのお金を持っているような、知りません。このような活動の多くを除外したり、少なくとも疑問符を付けたりすることができます。
しかし、今日、これらの活動の魅力の多くは、それをすることによって得られる何らかの結果があるということにあるようです。そして、もしそうだとしたら、ある種の無意味さを感じるでしょう。数学を勉強することはできるけど、ダウンロードすることで同じように数学が得意になれるとしたら、なぜでしょう。あるいは、人々は楽しい娯楽として買い物に行くのが好きかもしれません。最終的に、自分の生活をより豊かにしてくれるような、あるいは洋服であれば自分に似合うような、本当に気に入ったものを手に入れることができるかもしれません。
でも、自分で選ぶよりもいいものを選んで注文してくれるようなレコメンダー・システムがあったとして、その結果、AIに任せるよりも悪いものを手に入れることになったら、それはそれで楽しいですよね。そうすると、より過激な、そう、ディープ・ユートピアの問題に突入するわけです、目的とか意味とか究極の価値とか、そういう問題を根本から考え直さなければならないような、よりラディカルな問題ですね？
リブ・ブーリー 11:40
あなたが今言ったようなことは、基本的に、すぐに満足できる、何でも手に入る世界ということですね。何の努力もせずに、すぐに手に入れることができるのです。それなのに、多くの常識が、私の直感がそうであるように、すぐに狂ってしまうのです。これは悪いことです、
私たちは、闘争や、少なくとも達成という意味での努力から意味を見出すことが多いのですが、それは本当に問題だと思いますか？それとも、それは未来の社会が解決できることなのでしょうか？もしそうなら、どうやって？
ニック・ボストロム 12:13
まず最初に、この本は、結論の本というよりも、読者が疑問を投げかけ、それについて考え、意識的に認識するのを助けるような本なのです。
そして2つ目。そうではありません。いろんな意味でアンビバレントな本です。最終的には希望に満ちていると思いますが、そうではありません。この本では、問題は実際には存在せず、すべてがうまくいっているということを説いているのではありません。
私は、一度このことを考え始めると、多くの分からないことがあると思います。つまり、解散とか、ちょっとしたこととか。それを乗り越えればでも、少なくともそれに慣れるまでは、多くの点で、人間的でなかったり、ちょっと異質な感じがするでしょう。
まともなラミネートをし、歯を磨きたいのであれば、あれやこれやと時間をかけ、努力をしなければならないのです。昆虫が外骨格のようなもので、ネバネバした部分を固定しているように。私たちが人生で直面する道具的な制約が、人間の魂を支えているのだと思います。それを取り除くとしたら…、私たちは、薬漬けの快楽の塊のような、無定形の何か以外のものになれるのかという疑問があります。
イゴール・クルガノフ 13:47
そのユートピアの中でさえ、おそらく機械ではできないことも指摘していますね。特に、私がかわいいと思った例を書いていますね、クレヨンを使った子供の作品は、それを作ったのが子供であるという理由で、両親にとって特に大切なものかもしれません。この小さな労働は、脳神経外科医やデリバティブ・トレーダーの仕事よりも自動化が難しいかもしれません。今の親が子どもの絵を見るときに、そのことを心に留めておくことを想定しておくというアイデアはいいですね。他に人間らしさを保てるものはありますか？プラスチック製のユートピアであっても？
ニック・ボストロム 14:27
そうですね。私は、人間が努力をする必要がないような場所を探すことができます。なぜなら、努力をすることが本質的に価値があると考えるからです。しかし、努力をすることに何か特別な価値があると考えるかもしれません。努力をすることで、自分でなければ達成できなかったことが達成されたり、成し遂げられたりするような道具的な理由があるような場合です。
その可能性の多くは、様々な社会的文化的なもつれに関係していると思います。基本的に、あなたの価値観の好みの1つが、相手の好みを満足させることだとします。もし相手が何らかの理由で、努力を必要とすることをあなたにやってほしいと思っていて、機械にやってもらうのではなく、あなたにやってほしいと思っているとします。
だから、これはこのような単純な設定では、少しばかばかしいように思えますが、もっと微妙なバージョンがかなり浸透していると思います。
イゴール・クルガノフ 16:02
というのは、それほど陳腐には見えないという意味です。この例は基本的に。つまり。私は現在のライブを想像することができ、これは現在、ライブコードに適用される単純なフォームになります。私は例えば運動し、それを達成するために私のための唯一の方法は運動することです、
彼女は私の肉体的な変化や健康増進のためにそれを望んでいるのではなく、私自身がそれをするタイプになるためにそれを望んでいるのかもしれません。そうですね。そうすると、私にはその仕事を実際にこなす以外に、それを達成する方法がないんです。ということの良い例だと思いますか？
ニック・ボストロム 16:33
例えば？とはいえ、本当にそうでしょうか？ もし、あなたが本当に、つまり、おそらくですが、私が生きていくために、あなたに運動してほしいと思っているのであれば、そう言えるかもしれません。
リブ・ブーリー 16:50
暴君的な理由ではありません。
イゴール・クルガノフ 16:55
あなたがしてほしいことをするタイプの人間になってほしいという理由ではありません。
リブ・ブリー 16:59
どちらかと言えば。私は逆を望んでいます。私は抵抗が好きですが、私はあなたが私たちを助けるために最初に、いくつかの抵抗をしたい。
イゴール・クルガノフ 17:07
フェアですね。というのも、彼女が私にそうしてほしいという具体的な目標は、もうその世界には存在しないからです。でも、もし彼女の中にそういう欲望がまだあると仮定したら、私でなければできないことかもしれません。
ニック・ボストロム 17:27
現実にあるのは、必ずしも楽観的に考えるのではなく、Aという個人とBという個人がいて、1,2,3という個人を好むというような、より競争的なものだと思います。私たちは、ある文化的な形式や伝統にこだわりを持っているかもしれません。何世代にもわたって、彼らはこの祝日をこうやって祝ってきた、とか、
そして、私たちはそれを守りたいと思うのです。それはもう十分長い間続いています。そして今、私たちがその伝統を引き継ぐことができる唯一の方法は、私たち自身で、さまざまなことをすることなのです。ですから、私たち自身の参加を必要とするような、人々が関心を寄せるある種の事柄があるのです。そして、そのようなものは、人間による道具的な努力の要求があるかもしれません。
イゴール・クルガノフ 18:32
技術的成熟度という概念では、A.もしそうだとしたら、私はこう想像します。例えば、その世界には何兆人という大規模な生物学的人間がいて、さらに多くのデジタル・マインドがいて、そのそれぞれが、例えば分子レベルの精度で生物学的存在を創造するような複雑なことを必要とするようなことが、観測可能な宇宙で起こることを望んでいるのです、このようなことは、高いエネルギーと計算能力を必要とするため、観測可能な宇宙の能力の限界の外にあるのかもしれません、
ニック・ボストロム 19:12
現実の世界でも、私たちが到達しうる未来でも、実現不可能な値がたくさんあり得ます。というのも、現実の世界や私たちが到達しうる未来では、実現不可能な価値がたくさんありうるからです。そして、いずれは資源が枯渇するような人よりも多くの人を作れば、確かに資源は枯渇します、マルサスのような状態になるのです。
イゴール・クルガノフ 19:50
ユートピアが外から見てどれだけよく見えるかではなく、むしろその中にいる個人にとってどれだけよく感じられるかが重要なのです。
ニック・ボストロム 20:04
必ずしも正確に感じるのではなく、その中で生きることがいかに良いことであるかということです。このような問いにどのようにアプローチするかは、ある種のレンズの視点のようなもので、実際にどのような未来に住みたいかを考えるのと、SFのシナリオの中で探求する最もクールな未来はどのようなものかを考えるのでは、まったく異なる答えが得られると思います。
さて、このように質問を提示した場合、明らかに両者を混同することは不可能です。しかし、現実には、人々がこのような未来について考えるとき、外からの視点からの直感を必要以上に忍び込ませてしまう人もいると思います。
さて。自分の思考を、多かれ少なかれ受けた影響や読んだ文献の再掲以上のものにするのは、一般的に難しいことです。ですから、人口倫理の分野では、より形式的な仕事があります。分析的な仕事です。そのような議論をすることで、知的な進歩を遂げることは簡単です。
しかし、価値観そのものとなると……。というのも、価値観は多くの点で非常に主観的なものだからです。そして、もしあなたがこれらのことについて、あなたの気分や、あなた自身の特異な性格や、たまたまあなたが育った特定の文化的メディア以上のものを反映した考えを持ちたいのであれば、それは難しいことなのです。
一般的に、シグナルを持つ可能性は、それを許せば高まると思います。そしておそらく、さまざまな選択肢が自分の魂と戯れ、ある価値観の枠に入り込むことを許す程度には。そして、ある期間、その価値観に身を任せ、また別の価値観に身を任せるのです。もし、あなたが言葉や記憶、意見調査などのレベルで活動しているのであれば、このような最終的な価値に関する質問に関する情報である限り、情報を追加する可能性は低いと思います。
リブ・ブリー 22:35
繰り返しになりますが、もしあなたが根本的に豊かな世界にいて、何でも解決してくれるスーパー・インテリジェンスを持っているような気がします。そして、必ずしも努力しなければならないことは何もなく、競争の場もありません。
私たちは基本的に、宇宙と人間の相互作用の方法から競争を根絶しました。競争は変化や進化を促す大きな要素です。では、人工的な希少性を再び導入し、本質的に偽物を作り出すことで、人々は意味を導き出す方法を見つけると思いますか？ゼロサムゲームの小さなポケットのように、意味を導き出すために？
ニック・ボストロム 23:21
そう、つまり競争です。私たちは、ただ意図的に、コンピューターゲームの競技の中に運動競技を作り出すということをたくさんやっています。そして、適切な種類の競争を可能にするために、人工的な希少性を生み出しているのです。
ユートピアにとって、さまざまな形のゲームプレイに含まれるのは明らかなことのように思えます。狭義にはゼロ和かもしれませんが、広義にはプラス和かもしれません。狭義にはゼロ和で、一方が勝つ可能性が高ければ高いほど、もう一方が負ける可能性が高くなるようなものですが、広義には、2人ともうまくいけば楽しいし、より多くのテストを学んだり、コミュニティに参加したりすることができます。
というのも、プラスチックでできた世界には、多くの機会があるからです、 山登りなどをして、たとえ山の頂上までリフトがあったとしても、わざわざそれを使わないという選択をするかもしれません。
プラスチックの世界でも。そのような現実的な理由で、道具的な努力が必要とされるポケットを作ることができるのです。しかし、このような人工的な目的に加え、私はこう呼んでいます。私たちは、このような道具的な理由による活動に従事できるように、意図的にこの状態を作り出したのです。
そして、現在の世界に浸透している最も明白な歴史的な目的の多くは、なくなってしまうのではないでしょうか。そうですね。生計を立てるために働く必要はありません。健康のために運動する必要もありません。これらすべてを好きになる必要はありません。でも、もっと繊細な目的や価値観がたくさんあるんじゃないかと思うんです。
しかし、そのような緊急の叫びが静まれば、より繊細なささやきが聞こえるようになるのです。つまり、飢餓に苦しむ子供たちがいる一方で、私たちがどう行動するかについて発言するべきだと考えるような、さまざまな微妙な美的次元を気にしすぎるのは軽薄に感じられるということです。
でも、もし飢餓に苦しむ子供たちがいなくなり、ガンにかかる人がいなくなり、政治的不公正がなくなり、戦争の危険性がなくなったなら、私たちの行動を形成する上で、このような静かな価値観がより大きな役割を果たすようになるのは、まったく理にかなっていることかもしれません。そして、このような自然な目的が十分にあるのかもしれません、人間の存在を大きく制約し、形づくるために、
イゴール・クルガノフ 27:03
国際機関が「今年は予防可能な病気で亡くなる子どもが昨年より10万人少なかった」という報告書を発表したときよりも、サッカーチームがゴールを決めたときに席を立つ人のほうが多いということです。もしこの2人を外に連れ出すとしたら、
予防可能な病気の撲滅は、何らかの形で人々がもっと席を立って飛びつくべきことのように思えますが、そうではありません。このような宇宙が人為的な欠乏を作り出したり、あるいは他のことが非常に大きく迫ってくるかもしれません。
ニック・ボストロム 27:43
ニューロ技術や時間的な意欲や動機づけがあれば、あるいは、誰かがあれやこれやの無作為のゲームに多大な興味を持つように、ある種の微調整ができれば、それを強化することは些細なことでしょう。
ですから、ディープ・ユートピアでチェックできるようなことを考えれば、それは可能でしょう。そうですね。それは脳の快楽システムを操作することで、目的意識を感じたり、朝ベッドから飛び起きるようなモチベーションを持ったりすることです。それも、私たちが望めば、簡単な神経工学のようなもので、間違いなくできることです。
そこで、もうひとつの制約に戻ります。つまり、資源のプールには限りがあるということです。ですから、人口が十分に増加すれば、最終的には資源が尽きてしまいます。これが1つの制約です。もちろん、光速などの物理的制約もあります。また、技術的に可能であっても、道徳的に許されることを制限する道徳的な制約もあるでしょう。
最も明らかなのは、道徳的な地位を持つ心のインスタンス化を必要とするような、ある種の技術的余裕がある場合でしょう。例えば、ある人が他の存在と相互作用することを好むが、その相互作用を完全に現実的なものにする唯一の方法は、その他の存在が意識を持つか、道徳的に重要な存在であることである場合、最初の人の好みは、ある種の相互作用は満足できないかもしれません。
このような理想化された状況であっても、その唯一の方法は、他の存在が存在するようになることであり、その後、苦しんだり、自分の好みを侵害されたりすることだからです。そうですね、ユートピアで実現可能なことをある程度制限するような、道徳的な制約があるような、もっと微妙な方法が他にもあるかもしれません。
リヴ・ブーリー 30:24
そこから少し離れて。あなたは2014年に『スーパーインテリジェンス』を書きました。それ以来、AIでは多くのことが起こっています。その本であなたが提唱した視点や信念が、10年後の2024年の今、変わっているのかどうか気になります。
ニック・ボストロム 30:48
そうですね、私たちはより粒度が細かくなり、大まかな確率分布をよりシャープにすることができるようになりました。タイムスケールについては、特に、その一部はすでに発表されていますね。
私たちはまだそれを持っていません。そしてまた。全体として、時間軸の分布は短い方に向かっていると言えます。私はそう思います。多分、ミディアムでは遅いと思います。スピード離陸は、高速離陸と比べると、信じられないような速さです。
しかし、あるポイントに到達するまでは、このような知性の爆発的な効果を得るまでは、かなり控えめに見えるかもしれません。比較的短い年月の間に、このようなことが主流になる度合いを目の当たりにしたことは、非常に印象的でした。それは、この分野に近い人たちが、このようなことが長年いかに薄っぺらなものであったかを思い知らされたからではないでしょうか？
SFのような未来論や、インターネット上のイカれた野郎のようなもので、今となってはそれが現実のものとなっています。主要なフロンティア研究所はすべて、この研究に取り組んでいるチームを持っています。ホワイトハウスのトップ政策立案者たちから、ますます多くのことが語られるようになっています、グローバルAI、サミットなど。AIがもたらす変革的な影響については、あまり議論されていません。
イゴール・クルガノフ 32:19
2015年になってようやくこの分野に関わるようになりました。私たちがこの分野に関わるようになったのは、2015年になってからです。その当時でさえ、私たちが人々と話をするときは、一部の人たち以外はまだフランスやSFの世界でした。あなたが2000年代以降にいたとは想像できません。その頃はもっとフリンジだったかもしれませんね。聞いてみたいですね。でも、そうですね、その2025年の間に、あなたのグループ以外の人たちとAIの安全性について話した経験はどのように進展しましたか？
ニック・ボストロム 32:59
アレックス・ネットや、特にディープ・マインドのような初期の仕事、アタリのようなもので、ディープ・ラーニングが最初に復活したときに、少し変化し始めたと思います。そして、同じ頃に出版された本や他のもので、「Yeah」がそうであったように、朝、目が少し開いたような感じだったと思います、
そして半分開いたような状態でした。そして最近、警鐘が鳴り響き、私たちが少し寝坊していることに気づいたのだと思います。そして、それはいつ来るかわからないし、数年以内に来るかもしれないし、いつ来るかは誰にもわかりません。
しかし、私たちはその準備ができているのでしょうか。それは、誰もがパンツを履こうと奔走しているようなものです。このような状況は 2005年にFHIが取り組んできたような他のさまざまなトピックと同様、AIでも顕著に見られます。FHIが設立された当時は、地球外生命体の探索やナノテクノロジーの未来など、学術界で唯一、人々が大きなテーマについて考えることのできる場所でした。
そして今、多くの専門組織による幅広いエコシステムがあります。そして、EA運動や合理主義運動のコンセプトの多くが採用され、より多くの人々が、有用で賢明な方法でこれらのことについて考えることができるようになったのです。
リブ・ブーリー 34:40
あなたは数年前に「脆弱な世界仮説」を書かれましたが、ご存じない方のために説明しておくと、人類が技術を進歩させるにつれて、それぞれの弾丸が異なる技術であると想像して、私たちは壷からさまざまなボールを選び続けているという主張です。これらの技術のほとんどは素晴らしいもので、私たちの生活をより良くし、世界をより安全に、世界をより豊かにします。しかし、時折、あなたはボールを得るかもしれません、
人類は、実際には非常に危険で、しかも使いやすい技術を生み出しました。権力の民主化が進めば進むほど、私たちはある種の大災害に対して非常に脆弱な世界に身を置くことになるかもしれません。では、あなたがこの文章を書いてから、私たちが実際に脆弱な世界にいるという可能性は上がったのでしょうか、それとも下がったのでしょうか？
ニック・ボストロム 35:35
下がってはいません。少しは上がったかもしれません。特に、より多くの種類のシステム的な不安定性があると思います。技術というのは、それが一つの特異な技術であろうと、ある種の技術的フロンティアであろうと、多くの人々のインセンティブを再構築するような形で動くものです。
私たちは人類という種として、さまざまな道を検証し、どのような社会を望んでいるのでしょうか。良識ある世界的な言説と、自己修正と批評の能力、そして物事についての考え方において、真理や善良さに向かって少しずつ前進していく能力を持つことは、比較的もろいことのように思えます。
ソーシャルメディア・プラットフォームが機能する方法について、いくつかの設定に比較的小さな微調整を加えることが、さまざまなセンサーや宣伝担当者が正統性を強制するために自由に使える道具になることは、比較的容易に想像できます。ですから、超巨大核兵器が爆発するようなものではない、比較的微妙なブラックボールのようなものがあるかもしれません。ナノテクや生物兵器のような超破壊的なものです、
また、AIの進歩にも関係しているのですが、このような使い方もあります。しかし、それに加えて、もっと微妙なシステム的な摂動があり、運が悪ければ、現在私たちが持っている準機能的な均衡を打ち壊してしまうかもしれません。
イゴール・クルガノフ 37:33
解決策という意味では。あなたは論文の中で、役に立つ可能性のある、あるいは改善する必要のある4つの異なる要素を示し、予防的な取り締まりや、より機能的なグローバル・ガバナンスがより効果的であることを示唆しました。しかし、最初の2つ、技術的発展の差と、人間の嗜好の強いばらつきを減らすことだと思うのですが、何か最新情報はありますか？
ニック・ボストロム 38:02
そうですね。つまり、これも良いケースで、あなたが前に言ったことを言い直すと、複雑な形をしていて、それをある視点から見て、見えているものを説明しようとすることができる、ということです。しかし、その側面が正しいとか、唯一の側面であるとは限らないということです。
そして確かに、この特定の論文では。私が言ったことを誤解している人たちがいると思います。私が知りたかったのは、人々が首から下げているもので、その人が話すことすべてを記録し、カメラで周囲の状況や帽子をかぶっていることを記録するというコンセプトです、私はそれを「自由のタグ」と呼んでいます。私はこれを「フリーダムタグ」と呼んでいます、
イゴール・クルガノフ 38:51
私は、人々がそれを見逃している理由だと思いますが、私はそれを指摘したいだけです。論文の議論のように。あなたは、このようなパノプティコン的なものを植え付けることの明確で恐ろしいマイナス面を指摘しています。しかし、人々はあなたがそうしていることに気づいていないのではないでしょうか。
自由というタグや、それがいかにクレイジーであるかを示すような、ちょっと舌足らずな表現です。しかし、人々はあなたが主張しているように見ています。というのも、あなたの文章を読んでいると、問題に対するアプローチの仕方が、「こういう形をしている。
この側面から見た場合、あなたが見るものはすべてこのようなものです。そして、こちら側からは、それらが見えるでしょう。そして、このように判断することなく、どのように見ればいいのか、私がこの側面から最大限に説明したので、私はこの側面が正しいと思うということです。しかし、現在、多くの人々がこのような現在のようなものを持っています、あなたはどっちの味方なの？最終的には、その答えを引き出したいという願望があるのです。
ニック・ボストロム 39:50
でも、スーパーポジションで考えることについては、ある種のサロン的な投稿が必要なんじゃないかと思うんです。つまり、異なる思考体系を自分の中に共存させることで、そのどちらかを選択する必要性を感じさせないということです。
つまり、最終的には、特定の疑問が浮かんだら、確率を割り出したり、行動したりしなければならないでしょう。でも、特に哲学者やヨブ記のような人であれば、より包括的に物事を考えることができます、いくつかの世界観を自分の中に持つことができるということです。
つまり、文字どおり同時にとまではいかなくても、少なくとも、ある週に1つ、あるいは別の週に1つそして徐々に、それらを融合させたり、どちらかが消えていくようにするのです。そして、時には自分自身が少し両義的であることを許し、自分自身と矛盾することを書くことも、一貫して間違っていることを自分に強いるよりはいいかもしれません。
リブ・ブリー 41:04
そうですね。それはある意味、ポーカープレイヤーの思考に似ています。ポーカープレイヤーはポーカープレイヤーは、確率で考えることを奨励されています。ある人がハッタリか、ハッタリでないかを確信することはなく、ただ頭の中でさまざまな仮説を同時に立てているだけです。そして、もし脆弱な世界仮説が真実であれば、論文で言及されているような2つのアトラクター状態が存在することに気づくのです。
ですから、それに対抗するには監視を強化しなければなりません。そして中央集権化。そしてもちろん、それは永遠に恐ろしい専制政治を許すことになります。ですから、必要なのは第3のアトラクターなのです。ダニエル・ケマクソン・バーガーはご存知でしょう。彼はこのポッドキャストの以前のゲストの一人です、
彼は第三のアトラクター状態を見つける必要性について話していて、それは基本的にアナーキーな世界とコントロール中心の世界の良いところを取り入れつつ、その両方のマイナス面を最小限にするものです。
ニック・ボストロム 42:31
監視とグローバル・ガバナンスのどちらも、明らかにディストピア的な悪用の可能性がありますね。つまり。少なくとも、もしそうだとしたら。これらが良い目的のために行使されるような。希望に頼るのではなく、巨大な権力と影響力を持つこれらの結節点をコントロールするための追加的な構造を作り、警察やシークレットサービス、あるいは彼らがすべきでない何かではなく、民意や、より反映的なバージョンのような、間違ったことをする可能性の低い他の機関に対して、彼ら自身が説明責任を負うようにするのです。
しかし、原理的には、これらは支配と権力の道具であり、どのように使われるかということです。この中に差し込むための父親のパラメータであるように。しかし、私は私が意味すると思います。そうではありません。私はこれらの社会システムを設計するのが好きです。
それは違うと思います。つまり。こういう制度設計のアイデアって面白いですよね。予測市場のようなものだと思います。ただ、今の時代でも、ただ漫然とやっているだけで、今、このような請求権付きのお金とか、そういう小さなものが、物事の確率を引き出す操作に強い方法を作る上で、人類が持っている最高のもののような気がして、ちょっと悔しいんです、
これは、ノルウェー銀行が年間100億ドル補助するようなものを作り、基礎となるグローバル・ポートフォリオに投資して、長期的な取引コストを基本的にゼロにして、補助金を出し、さまざまな顧客が予測市場に参加できるようなプロセスを作るべきです。
そして、人々がメッセージをねじ曲げたり、回転させたりすることができるような、このような歪みをすべて断ち切ったのです。いろいろなことをしたらどうなるかという、明確な洞察のようなものです。世界的なアップグレードができるように思えますが、その代わりに、小さなオンラインプラットフォームでトークンのようなものを手に入れることができます、
イゴール・クルガノフ 44:51
私たちは予測市場で長い間失敗してきたので、問題はそれ自体で解決できるかもしれません。ジェイコブ・スタインハートによる最近の論文があります。その論文では、過去の綿密な質問に対してG.を使って、解決済みであるかのように評価し、実際にすでにアウトパフォームしています、
多くの問題で細心の注意を払っていたと思います。ですから、私たちは長い間とても悪いことをしてきただけで、オラクル型のAIが登場し、それがこれらの問題のいくつかに答えてくれるようになったのかもしれません。
ニック・ボストロム 45:20
そうですね。しかし、もし人々が実際にAIに注目し始めたとしたら、例えば、政府がAIに注目し始めたとしたら、AIが政策立案者の聞きたくないことを言わないように、AIを変えてしまうかもしれません。
予測市場には、正しいというインセンティブがあり、それを歪めるのは難しいのです。市場に資金を投入することで市場を歪めることはできますが、基本的には万能薬ではなく、市場に資金を提供することになります。問題を引き起こす可能性のある方法は他にもありますが、その一例として挙げただけです。
しかし、制度設計のような素晴らしいスキームがあったとしても、それが真剣に実行される見込みがあれば、他の権力者が参入してプロセスを腐敗させたり舵を切ったりする莫大なインセンティブが生まれます。だから、誰も気にしないような小規模なものではうまくいっても、それを形成し始めるような強力なアクターがいるところでは、必ずしもうまくいかないのです。でも、そうですね、その解決策はありません。
リブ・ブーリー 46:37
市場といえば、もし私たちが防衛技術のような古典的な市場ではあまり喜ばれないものに対して、市場のインセンティブをより一致させる方法を見つけることができれば、それはそのような方法になるような気がします、
そうすれば、それはもうひとつの潜在的な解決策になるでしょう。それは技術を制限しすぎるようなことではありません。市場を制限するのでもありません。ただ許可しているだけです。人類が技術的な壷からボールを取り出してやり続けることを可能にするのです。
イゴール・クルガノフ 47:20
そうですね。ということは、基本的には、もし何らかの形で市場が技術開発の差に従うようなインセンティブを与えられたとしたら、つまり、最初に防衛に偏った技術、そして後にもう少し破壊的な技術や二重用途の技術に偏った技術ということになるのでしょうか？そうですね。
そうですね。そこまでたどり着けるかどうかはわかりません。しかし、例えば、バイオセーフティに関する懸念の一部には、将来的に遺伝子操作によるパンデミックが発生する可能性があるという懸念もありました。
もし私たちが、より優れた防衛技術、より優れた空気浄化、より優れた抗ウイルス剤、より優れた実際に機能するワクチンなどを高速で手に入れることができれば、心配の多くを減らすことができるでしょう。そうすれば、心配事の多くを減らすことができるでしょう、
潜在的な可能性のいくつかを変えることができるかもしれません。色を変えることもできます。もっと白いボールになるように。
ニック・ボストロム 48:19
ええ、確かに私たちがやりたいことは簡単なことです。技術的なAIの調整とかね。ええ、それを加速させることができればいいのですが。新たなパンデミックに対する物理的な対策として、個人防護具や紫外線殺菌、継続的な環境モニタリングなど、本当に良いことだと思います。それは良いことだと思います。
イゴール・クルガノフ 48:47
あなたはまた、デジタル鉱山についてもたくさん考え、書いていますね。デジタル地雷について考えるとき、炭素をベースとしない心が意識を持ちうるかどうかという問題と、道徳的な関連性を持つに値するかどうかという問題との間には、関連性のある区別があるように思います。少なくとも私にとっては、どちらの場合も答えは「イエス」です。そして、私や私自身、あるいはどのような人間も、異なる基質の上に存在し続けることができるかどうかという、あまり明確ではない問題、これは、個人のアイデンティティーや継続性に関わる問題で、少しはっきりしません。あなたはその点についてどのようにお考えですか？
ニック・ボストロム 49:32
そうですね。。この2つは異なる問題だと思います。私の推測では、デジタル基板上に道徳的に重要な存在を持つことは可能であり、原理的にはデジタルマインドになることも可能です。未来的な技術によって、神経細胞を1つずつ、他の新しい神経細胞と同じ入力出力機能を持つ人工神経に置き換えていくような、漸進的な置き換えのシナリオを考えてみてください。あなたは何も違いに気づかないでしょう。そして、その結果があなたでないとは考えにくいのです。
イゴール・クルガノフ 50:12
私もその意見に同意します。それは、時折語られるような、非常に直接的で、劇的で、特異なアップロードの瞬間とはちょっと違うということです。そしてそれは、おそらく一般的なことだと思うのですが、非常に速いスピードで何かが起こるよりも、低速で何かが起こる方が、アイデンティティの連続性を想像しやすいのです。
そうでしょう？テーセウスの船のように。つまり、少しずつ交換されて、新しい板がテーセウス船の一部として関連性を持つようになった場合、間違いなくまだテーセウス船です。もしそうなら、完全に交換されただけです、そして、新しい板には鋭さのようなものは与えられないと。そうですね。
ニック・ボストロム 50:57
それから、元の形から取り除かれた板を使って別の船を作るとどうなるんですか？人間の心がコピー可能であることを想像すると、個人的なアイデンティティのパズルがたくさん出てくると思います。
デジタルであることと生物学的であること。それが最も重要な次元だとは思いません。つまり、私たちが知っていることでは、私たちはすでに非常にデジタルな存在なのかもしれません。そして、それはデジタル性の別のレベルのようなものでしょう。
もし、それが内部的なものだとしたら。マインクラフトのような、ビッグクラフトゲームのようなものです。そこでコンピューターみたいなものを作ることができます。で、ちょっと走るとか。もしマインクラフトの中に生物学的な脳があったら、こう思うかもしれません、そして、それは1つ上のレベルに行くようなものです。
イゴール・クルガノフ 52:12
デジタル基板上の意識的な心の存在や道徳的な無関係な心の存在は、ほとんどの人にとって想像することさえ非常に簡単だと思います。そして、しばしば立ちはだかるのが、私たちがAIを擬人化しているようなものだということです。あなたはAIを擬人化していますが、私たちは意識という概念そのものも擬人化していると思います。しかし、それは明らかに馬鹿げています。道徳的な配慮を必要とする、まったく異なる意識を想像することはとても簡単です。
ニック・ボストロム 52:50
私が言いたいのは、その価値があるかどうかということです。私は、意識は道徳的な地位のために必要なものでもないのでは？十分かもしれません。つまり、意識的に苦しむことができるのであれば。それは間違いなく道徳的地位を与えるでしょう。
でも、別の属性があれば、特定の方法であなたを扱うことは間違っていると言えるかもしれません。意識という概念は、一見すると直感的にとても明白に思えますが、もっとよく見てみると、漠然としていることに気づきます。漠然としていて、多次元的で、さまざまな方法でそこに到達できることに気づくでしょう。
神経科学とか、哲学的な考察とか。でも、瞑想をたくさんしている人たちが、主観的な道を通して同じような気づきを得ることもあります。
つまり、私たちの意識的な生活は、細部まで完全に満たされているというような、素朴な認識を持っているのです。それは常にそこにあり、私たちは何が起こっているのか知っています。でも、もっと注意深く見てみると、それは本当にたくさんあることがわかります。
しかし、もっと注意深く見ていると、それは非常に多いことに気づきます。複数の異なる次元に意識の度合いがあるかもしれません。あなたの普段の経験は、あなたが意識していると思っているほとんどのことのように、もっと断片的で、ちぐはぐで、部分的なものかもしれません。実際には意識していないなど、いろいろなあり方があります。
そうなると、意識の奇妙な形態や種類、部分的な種類を想像しやすくなると思います。人工的な基質まで視野を広げれば、意識という言葉が当てはまるかどうかもはっきりしないような境界線上にあるものまで含めると。そうすると、明確な客観的答えがある二元論ではなく、豊かな可能性の空間のように見えてくるのです。
イゴール・クルガノフ 55:02
イラクが突然道徳的な価値を持つようになったということではありません。でも、そうですね、そうですね。たぶん。
リブ・ブリー 55:14
では、この辺で。皆さん、ご清聴ありがとうございました。そして、私たちのために時間を割いてくれたニックに心から感謝します。特に「脆弱な世界仮説」は非常に重要な論文で、私たちの技術的能力が高まるにつれて、ますます関連性が高まっていることは間違いありません。もし冒険心がおありでしたら、ぜひお読みください、
ディープ・ユートピアに関する次の新刊をチェックしてみてください。ご視聴ありがとうございました。また次回お会いしましょう。