The Optimistic Hansonian Singularity
Robin Hanson Debates Roko on AI Risk and the Dangers of Rapid Change
open.substack.com/pub/transhumanaxiology/p/the-optimistic-hansonian-singularity
ロコ 0:01
そして、録画しています。オーケー。はじめまして、ロビンです。この会話に同意してくれてありがとうございます、私たちはここで会話をして、AIのリスクやAIの心配事について、そして、この会話が本当は何についてなのか、具体的にどんな心配事があるのかについて、人々がある種の合意に達し、そして、テキストでできるだけ早く、ある種のもっと詳しいレベルのクラックスに来ります、それでいいのでしょう？
ロビン・ハンソン 0:32
ええ、私たちはゆっくりと慎重に行く人間的な会話をしようとしています、そしてうまくいけば、典型的なTwitterよりも良いでしょう。そう、怒鳴り合いとかね。ですから、私たちのどちらかが、望む限り具体的または明確な主張をすることをいとわないことから始めるべきです。私の主張は何かと聞かれたら、私でもいいし、あなたが主張しても構いません。
ロコ 0:53
なるほど、つまり、現段階での私の主張は、私たちは間違いなくAIの進歩を遅らせるために働くべきだということですね。そして、シンギュラリティへの道を、混沌とした競争的なものではなく、意図的で組織的な、つまり、何が起こってもいいような、成り行きに任せるような道を選ばないようなことを目指すべきでしょう。
ロビン・ハンソン 1:27
あなたは、ほとんどの業界や製品カテゴリーなどでは、混沌とした道を選ぶことに同意しているのでしょうね。ですから、これは例外で、他の業界や私たちができることと比べて異常だと考えているのでしょう。そうすると、少なくとも証明責任や説明責任を負わなければならなくなりますね。
ロコ 1:51
つまり、人々が消費するほとんどの製品には、規制という意味で政府の関与があるのです。実際、AIは、あなたが着ているシャツに比べると、おそらく異常に規制されていないでしょう。あなたが着ているシャツは、実際にはかなり規制が緩いのですが、それをカバーする規制があるのは間違いないでしょう。しかし、食品とかには規制があるんですよ。
ロビン・ハンソン 2:18
なるほど、しかし、一般的な最適な規制のレベルというウサギの穴に行くことになるんですよね？
ロコ 2:24
だって、これは例外でしょう？なぜなら、本当に危険なものであっても規制されるもののほとんどは、一般的にリスクが発生した後に規制されるものだからです。
ロビン・ハンソン 2:35
私の主張のひとつは、「平均よりも危険なもの、あるいは平均よりも規制に値するものであっても、私たちは通常、心配している問題の比較的具体的なバージョンを見るまで待つべきではないだろうか」ということです。そして、実際に目にした問題の分布に合わせて、規制や対応の信頼性の枠組みを設計するのです。
ロコ 2:56
そうですね。AIが例外であるのは、非常に明白な理由があるからです。それは、AIがもたらすリスクは、それが発生した最初の事例で私たちを一掃することができるようなものだからです。そして、私たちは何の反応もなく、どんな結果であれ、ただ耐えることになるのです。
ロビン・ハンソン 3:25
さて、最初の事例という概念ができました。つまり、私たちは少なくとも70年前からAIと呼ばれるものを見てきましたし、人々は70年前からコンピューターを使ってきました。そして、コンピュータのサブカテゴリーとして、人々はAIと呼んできました。私はその分野で9年間、プロのAI研究者として働いてきました。ですから、最初のAIというのはありえないんです。これまでにもたくさんのAIがありました。
ロコ 3:53
ですから、最初の人類全体を倒すことができる最初のシステムです。
ロビン・ハンソン 4:03
人間性もケージマッチなんですよね？私たちは、全体のような、私たちはつもりはありません。
Roko 4:09
私たちは、軍事クーデターに近いものを話しています。ええと、そうではないかもしれませんが、他の軍事クーデターを見れば必ずしも馴染みがないかもしれませんが、その種の出来事は、次に何が起こるかについての人間のコントロールが取り除かれます。意思決定のプロセスに人間がいないのです。
ロビン・ハンソン 4:28
覚えておいてほしいのは、ここでのすべての議題は、これらのことを通して、ゆっくりと慎重に行こうとすることです。ある種のAIが基本的に世界を征服するシナリオを心配しているのですか、それとも他のすべてのAIと戦うのですか？それとも、重要なのはたった1つのAIだけなのでしょうか？
ロコ 4:51
さて、私たちは実は知らないのです。というのも、これが例外的なものであることを示す別の方法があるのです。例外的に危険であるという点では刺激的です。しかし、予測するのが非常に難しいという点でも、例外的なのです。
ロビン・ハンソン 5:06
そうでしょう？でも、私のような人に心配させるのなら、あなたが何を使っていたかを書いて、私たちに伝える必要があります。
ロコ 5:12
つまり、極端に具体化しようとすると問題があるのです。ここでハミルトンの立場を取って、私はギャリー・カスパロフがチェスで私に勝てるとは思っていない、私を倒すためにどのような手筋を使うのか、正確に説明してほしい、と言うことができます。
そして、あなたがその一連の動きを思いついたとき、私は、ああ、彼はキングサイドを広げることができるんです、と思うでしょう。あなたに対するカウンターがこれです。ですから、あなたは心配する必要はないのでしょうか
ロビン・ハンソン 5:37
可能な限り具体的にと言ったのは、もちろん、完全に準備することは不可能だという意味です。しかし、私たちは、少し高く浮き上がった抽象的なものを警戒しているのです。そう、私たちはできるだけ具体的な抽象化をしたいのです。
ロコ 5:50
見つける。そうです。だからここで問題になるのは AIシステムがあれば戦略的な計画を立てるのが上手で人間よりはるかに優れているのです。コンピューターシステムを操作したり、コンピューターハッキングしたり、そういうことです。私対カスパロフのチェス勝負のように、何をやっても失敗するような状況にはならないですよね？私がカスパロフになるような一連の動きがあるのです。
ロビン・ハンソン 6:21
なるほど、しかし、すぐにはわからないという、このフレーミングが心配です。
もし世界がダビデ対ゴリアテの大乱闘だったら、私たちはダビデとゴリアテについて知りたいと思います。
ロコ 6:35
時間帯を詳しく詳しくどうなるかですから、でも私は
ロビン・ハンソン 6:40
というのは、私たちは、ご存知のように、世界をケージマッチに設定しているわけではないのです。ですから、問題は、なぜAIが他の人たちと相対的に能力を発揮することが重要であるという状況になるのでしょうか。例えば、アメリカには軍隊があり、軍隊は他の国よりも強力です。
軍隊が他の国と戦えば、おそらく多くの点で勝利するでしょう。あるいは、各企業のリーダーには、かなり頭が良く、社内のほとんどの人よりも賢く、ほとんどの投資家よりも賢いCEOがいますよね。しかし、そのようなケージマッチ的なことは心配していません。
私が心配しているのは、トップの将軍や大統領が私たちよりも賢く、軍やその支配者が私たちよりも強力であるために、私たちが国家や国をコントロールできなくなることです。ですから、私たちが恐れるのは、世界には私たちよりも強いものがある、という一般的なことではありません。ですから、このシナリオをもっと詳しく説明する必要があるのです。なぜ今、私たちはそのことを心配しているのでしょうか？
ロコ 7:43
むしろ、それに対して普段から心配して書いているんです。そうです。ですから、軍隊は、おそらくアライメントと呼ばれるようなものだと思います。そして、軍隊が持っている価値観は、私たちの幸福を念頭に置いた内容なのです。軍隊のメンバーは皆、人間です。彼らの多くはアメリカ人です。願わくば、彼らのほとんどが、アメリカのあるべき姿について、ある基本的な目標を信じていてください。ですから、軍隊が突然殺人鬼になるのはとても難しいことなんです。
ロビン・ハンソン 8:23
それは本当だと思いますか？そして、世界中のかなり多くの軍隊がですか？彼らはすべて、彼らは全体として人類を気にしています。彼らは彼らの仲間の市民を気にしています。
ロコ 8:32
カンボジアにある殺戮の場、ご存じない方もいらっしゃると思いますが、軍事クーデターがあり、過激派に乗っ取られ、軍隊を使って組織的に皆を虐殺し、木に立てかけて頭を撃ち抜くのですね。あらゆる種類の恐ろしいことが行われているのです。
つまり、人間中心の強力な組織が極端な行動に出るというシナリオはあり、それは犠牲となる人間の効用関数から見れば極めて悪いことなのです。しかし、私たちが現在いる世界は、中期的なタイムスケールでは、比較的安定しています。
そして、軍隊が国民と戦うことは、ある意味、稀なことです。しかし、COVIDのロックダウン事件では、カナダのトラック運転手など、国家と国民が対立し、ちょっとした争いが起きて、その後、解決に至ったというようなことがありました。では、なぜAIはそのようなものとは違うのでしょうか。なぜAIもまた、そうならないのでしょうか？
ロビン・ハンソン 9:39
その前でもいいでしょうか。ウォルマートのゼネラルモーターズやグーグルなどの企業の例も紹介しましょうか。それらの投資家や従業員の善意や利他的な性質が、彼らが私たちを虐待することを心配する必要がないことを意味しているのだと思いますか？
ロコ 9:58
時折、私たちは時折、私たちは不当な扱いを心配しなければなりません。例えば、タバコ産業はある種、人を殺すという目標を持った産業の良い例です。そしてそれを追求するという目標を掲げました。
ロビン・ハンソン 10:09
まあ、それは人々がより直接的に、これらの人々が望んでいた製品を与えることです。そうですね。しかし、それは、特に、彼らを殺すような製品でした。そうですね。しかし、それはむしろ、彼らが喜んでお金を払ったからなんです。もしお客さんがお金を払う気がなかったら、彼らはそれを押し通すことにあまり熱心ではなかったでしょうね。
ロコ 10:23
つまり、お金を出したくなるように人の脳を操作して、しかも人を殺すような商品だったんですね。
ロビン・ハンソン 10:33
しかし、もう一度言いますが、ほとんどの企業が大きく恐れるべきでない主な理由は何でしょうか。なぜなら、ある意味、個人と比較して超インテリジェントだからです、そう、素晴らしい人々がはるかに多いのです。偉大な人間の知性。そうですね。そして、他の能力も、非常に多くの次元で、人間、個々の人間より優れています。それにもかかわらず、私たちは通常、彼らのことをひどく心配することはありません。そう、それは彼らもまた価値観を共有しているからということなのでしょうか？
ロコ 10:59
私はそうだと思います。企業が邪悪なことをしたケースもたくさんあります。しかし、すべての人間の組織を見渡すと、企業が悪を行うのは難しい傾向にあります。企業が超悪を行うことは、企業が多少無関心であっても、ほとんど善を行うことよりも少ないでしょう。
そして、それを規制で補強しているのです。つまり、規制のために企業が従事することを許されない、ある種の、多くの種類の活動があり、そこには多くのチェックとバランスがあります。そして、時には、企業は、私たちが望む以上に進化することを可能にするために、規制を堕落させようとする活動に実際に従事することもあります。
ロビン・ハンソン 11:47
そこで、私はこのことを書き出してみます。今、私は経済学の教授です。以前は9年間コンピュータの研究をしていました。ですから、他の専門分野も持っています。
以前は物理学を専攻し、最近は宇宙物理学もやっていましたが、ある意味、経済学が私の最も得意とするところです。経済学や他の多くの社会科学の分野では、企業を信頼できる理由というのは、その企業の善意や深層心理、利他主義や配慮といったものではない、と言わざるを得ません。
制度と競争という観点で考えると、制度は、主に利己的な欲望や目的、そして競争によって、少なくとも私たちが行動できるような一定の方法で、私たちを喜ばせたいと思うようになりました。政治家も、軍や政府のトップも、オレゴン州も、選挙で選ばれるために競争しているのです。
ウォルマートやグーグルなどは、顧客や投資家を喜ばせるために、顧客にサービスを提供し、投資家にお金を渡すという意味で、これらのことは私たちの通常の理解方法ですよね？相対的な勤勉さは、私たちの世界では、おおよそ、私たちの継続的な存在と互換性があり、さらには、そのようなものです、
ロコ 13:25
起訴されました。そうですね。つまり、顧客を喜ばせようとする一方で、法律を守ろうとするわけで、規制当局が、彼らがやってはいけないことがあることを確認しているのです。
そういう規制ができる前は、パンにパリ石膏を塗ったり、偽の万能薬を作ったり、いろいろな不純物が混入していましたよね？
ロビン・ハンソン 13:49
規制の有効性についても触れることができますが、正直なところ、少し前までは政府の規制がほとんどない時代もありましたよね。それにもかかわらず、ほとんどの人は、自分たちのために、これらのさまざまな供給者をおおよそ信頼することができたのです。
規制によって、多少は世の中が良くなっているのかもしれません。しかし、それでも、みんながずっと死んでいくわけではありません。規制がなければ、もっとひどい製品やサービスもあるかもしれません。でもそれは、モノを売ってくれる大きな組織をおおよそ信頼できる根本的な理由にはなりません。
Roko 14:24
まあ、つまり、人々に麻薬を取引する麻薬取引ネットワークのような大きな組織があるのですが、
ロビン・ハンソン 14:30
顧客がその薬を欲しがっていて、顧客がその薬を飲んでいる、という観点でアライメントが取れています。
Roko 14:37
というのも、これらの組織は、顧客がその場では欲しがっていても、実際には顧客にとって悪いものを与えているからです。
ロビン・ハンソン 14:46
そうだとして、それがAiから心配されていたことなら話は別ですが、そういう話でもないんですよね。いまはね。もしあなたがAIを言うなら、あなたは私たちを騙して、私たちが望むような、しかし私たちにとって良くないことをさせるつもりなのでしょう。それは、あなたがここで焦点を当てようとしている話とは別の話になりますよ。
ロコ 14:59
しかし、実際にはそうではないかもしれません。つまり、AIが最適化された、つまり、非常に中毒性が高く、私たちの長期的な存続とは相容れないようなコンテンツを作り出すというようなことが起こり得ると想像できますよね。そして、それを推し進め、規制当局を崩壊させるのです。規制当局が邪魔にならないようにするのです。そして、私たちは死んでしまうのです。
ロビン・ハンソン 15:29
最も単純な話では、企業が私たちを喜ばせようとするのと同じように、彼らも私たちを喜ばせようとしただけだからでしょう。だからとにかく、それは酔っぱらいの酔っぱらいなんです。これは、AIそれ自体の問題というよりも、AIが、あなたがすでに存在すると考えている、企業が私たちによくもないものを売ろうとするという別の問題を、おそらく加速させたり具現化したりしているのです、
Roko 15:49
それは、人々がその瞬間に欲しがるものを与えようとする、強力なオプティマイザーを手に入れるということです。すでにソーシャルメディアでは、これを実現しています。
ロビン・ハンソン 16:03
でもですね、人は長い間、私たちのためにならないかもしれないものを、私たちが欲しがるように売ってきました。そうでしょう？そう、小説や新聞、テレビ、映画、タバコなどにも文句を言う人がいるんです。
ロコ 16:16
つまり、AIが、その場では欲しいと思っても、長期的な生存には適さないものを与えてしまう可能性がある、というリスクの経路があるのです。また、AIが私たちに瞬間的に望むものを与えず、単に私たちを殺してしまうかもしれないという経路もあります。
ロビン・ハンソン 16:40
私は、それがあなたが焦点を当てる心配になると思いました。
Roko 16:44
また、これはチェス対カスパロフの試合なんですが、彼は、クイーン側の攻撃やキング側の攻撃で私を倒すつもりなんでしょうか？私にはわかりません。しかし、ここでのある種の究極の問題は、カスパロフの最適化力、ですね、どの戦略を選んでも、危険であり、危険でありうるということです。
ロビン・ハンソン 17:04
私たちの仮想的なAIがない未来でも、あなたの問題はまだ存在します。ソーシャルメディア会社やテレビ会社など、私たちを喜ばせるために何かを売ろうとする、超インテリジェントな企業が存在します。そう、それは私たちにとって良いことではないかもしれません。
ロコ 17:18
ということなので、その時は心配になると思います。そうですね、AIが持っている特性で、歴史を加速させる傾向があるというのはないですね。ですから、もしこのようなものが、そうであると思われるものが、自分自身にフィードバックして、進歩の速度を上げ始めたら、これらの他の問題もすべてスピードアップすることになります。
ロビン・ハンソン 17:36
しかし、私たちは実際に、時間の経過とともに、私たちにとって都合の悪いものを手に入れるのが悪くなってきていると思いますか？それとも、一般的に、資本主義が私たちに売るもののうち、ある割合で私たちに良くないものがあるという、いわば資本主義の不変の問題なのでしょうか。もしそれが恒常的な問題であるならば、加速は問題ではないですよね？背景となる一定の問題であり、それを解決しようとする必要があるのです。
ロコ 18:00
しかし、何か今、少し道から外れてきています。しかし、何かが起きているようです。それは、出生率が代替水準を大きく下回るまで低下していないことです。
ロビン・ハンソン 18:10
それは、企業があなたに物を売ろうとしたせいだと言えるでしょうか。
ロコ 18:13
いや、つまり、もっと複雑な問題が絡んでいるんです。つまり、ある程度は、今の人は子供を産むことよりも、やりたいことがたくさんあるからだと言えるかもしれませんね。
ロビン・ハンソン 18:25
私たちはAIから遠ざかっているような気がします。ですから、AIに特化した仕事のほとんどは、私たちがすべきことなのです。
ロコ 18:32
はここで、具体的に想定しています。つまりまた、AIシステムが危険な未来になる可能性があるわけです、高い予測刺激を与えてしまうからです。そして、そのようなことを防ぐための社会制度的なメカニズムがあるのですが、そのメカニズムも抑制してしまう。そしてそれによって、
ロビン・ハンソン 18:53
私たちは最近、抑制とかそういうことをあまりしていないんです、たくさん。私たちの社会は、私たちの多くの中毒のすべてをサポートしているほとんどであり、不妊から私たちをそらすもののほとんどを含めて、正直なところ、防止されていない支配的な社会制度によって主にサポートされています。
ロコ 19:11
でも、もっと極端な可能性もありますよ、単に繁殖しないだけでなく、30年以上かけてアスリートが死に絶えるとか、
ロビン・ハンソン 19:21
これは、あなたが心配している経済成長だけで、基本的に社会が一般的に有能になるにつれて、企業はより多くのものを私たちに供給することができるようになるのですか？そうです。そして、私たちはより多くのものを手に入れ、その中には悪いものもあります。そうですね。まったく同感です。では、一般的な成長とは別に、具体的な心配事があるのでしょうか。
ロコ 19:41
私が言ったように、AIは歴史を加速させる傾向があります。ですから、もしこれがゆっくりと展開するのであれば、私たちはそれを修正する方法を考えることができるかもしれません。しかし、もしAIが1年ですべてを展開するようになれば、私たちにチャンスはなくなるか、少なくともそれを修正するのはずっと難しくなるでしょう。
ロビン・ハンソン 20:00
さて、このように、私たちが持っていたAIは、70年前から成長率は加速せず
ロコ 20:03
ええ、まだです。だから人間より賢いAIはまだ出てきていません。そうでしょう？そこが違いなんです。
ロビン・ハンソン 20:08
なるほど、でもなぜそれで変化が早くなるのでしょう？
Roko 20:12
なぜそれが変化をより速くするのでしょう？もし私たちがこれをする能力を持っていたら？誰かがこのことについて本を書くんです。
そうでしょう？そりゃあ、本を書いた人がいるのは確かですが
ロビン・ハンソン 20:22
私たちは変化を加速させることを恐れているのでしょうか。それは根本的なことなのでしょうか？
ロコ 20:26
デフォルトで危険なのか？そうです。
ロビン・ハンソン 20:30
では、この用語だけだと、アンチアクセラレーションになるんでしょうね。なるほど、でもそうなんですか？変化を加速させるだけなのでしょうか？それは、特にAIを恐れているわけではないのですか？それとも、AIが変化や成長を加速させるという事実以外に、何か特別な懸念材料があるのでしょうか？
ロコ 20:50
とはいえ、ある意味、AIの成長は、両者を見分けるのは難しいですよね？なぜなら、経済成長とは、最終的には、より強い最適化プロセスを反映するものであり、AIは、より強い最適化プロセスで、何かを達成することができるものだからです。ですから、ここでの違いはあまり明確ではありません。もしかしたら、AIがケイ素風味であることが違いかもしれませんね。
ロビン・ハンソン 21:16
私たちには多くの能力があり、そのうちのいくつかは知能に具現化されていますが、そのすべてではありません。そして、AIは、能力、精神的な、改善された精神的な別の名前に過ぎません。
ロコ 21:28
他に波及しない精神的能力。さて、私は、ここで起こっている何か重要なことは、私たちはすでに多くの精神的能力がある世界を持っている、物事について考え、物事を書くことができるような賢い人々が周りにいることだと思うのです。
ロビン・ハンソン 21:48
そしてそれが、何世紀も前に比べて歴史的に高い変化率を引き起こしているのです。
ロコ 21:53
しかし、私が思うに、AIがやろうとする、あるいは私たちが手に入れようとする最も賢い人間のAIがやろうとする重要なことは、最適化する知能を人間の脳から切り離し、したがって、最適化を人間の価値観から切り離す可能性があるということです。ですから、私は人間の価値観というものを信じています。
ロビン・ハンソン 22:10
私たちは今、今日の企業がどうであるかという話をしましたが、私は、今日の企業がフィッシャーの価値観のために基本的に信頼できるのかどうか疑っています。それは、国を運営する政治家が信頼に値するかどうかということでもなく、彼らが私たちの価値観を共有しているからというのは、彼らの説明にはならないようです、
ロコ 22:29
私たち人間にとって非常に有用です。ですから、人間の組織は、私やあなたが今いる現在の文明では、平均よりずっと信頼できるのです。しかし、他の場所や時代に行くと、モンゴルの侵略や、スターリン主義、収容所や殺戮の場がありますよね。
ロビン・ハンソン 22:54
そして、平和と戦力の違いです。財産権を尊重する平和的な体制であれば、戦争や直接的な窃盗の世界でも、より信頼できる組織ができるはずです、
ロコ 23:08
ええ、でもですね、財産権が尊重されているかどうかという理論的な目印があるんです。そして、実際に起こっている事実があるわけです。そして、この2つは、必ずしも文字通りになるとは限りません。
ロビン・ハンソン 23:25
境界線上にあるのですが、そうではなく、非常に明確な例でした。
ロコ 23:31
財産権に配慮します。だから財産権が尊重されないことがよくあります。あるいは、法律がさまざまな形で変更され、以前は財産権が尊重されなかったものが、今は変更されていることもあります。以前は財産権が尊重されなかったのに、法律が改正され、財産権が尊重されるようになりました。
ロビン・ハンソン 23:51
この2つの大きな例を見ているときに立ち上がりました。この1世紀ほどの欧米における世界と、それ以前の1000年以上の歴史との比較です。組織が昔より信頼できるようになったと言うのなら、それは間違いないでしょう。確かに、昔は戦争や盗難がほとんどで、それらから身を守ることはあまりできませんでしたよね。しかし、今は違います。
ロコ 24:13
異なる法律を残していますよね。ですから、その、おそらく、現在の社会の法律は、あなたの好みに合っていると言えるかもしれません。例えば、昔はそうではなかったのです。しかし、ドイツに行けば、ガス室を使ってもいいんです、ということになりました。法律でそうなっているんです。
ロビン・ハンソン 24:41
ですから、彼らのルールは、どんな理由であれ、あなたと私には、和気あいあいとした、受け入れやすい、素敵な法律と平和と財産権さえある世界にいるのです。そうですね。そして今、あなたはAIがそれを変えてしまうことを懸念しています。
では、AIが私たちの財産世界を劇的に変化させるというのは、どのような話なのでしょうか。なぜなら、私たちが現在の知性を議論できる主な理由は、近い将来、APIを作成するのは、私たちがおおよそ信頼しているこれらの企業であるからです。
Roko 25:12
そう、その言葉とはというのは、そのような素敵な財産を新しい世界に移せるという希望です。しかし、あなたは、非常にインパクトのある速攻で、その、歴史の速攻とでも言うべきものを話していますね。しかし、細部は、そうですね。。もし、あなたがゼロ年代に戻ってイギリスに行き、その後2000年間に起こることを正確に説明しようとしたら、それはとても混乱するでしょうね。理解できることもあれば、そうでないこともあります。
ロビン・ハンソン 25:46
さて、あなたは一般的な変化に対する恐怖を持つことになります。今のところ、私たちは幸運であるべきだと言うことができます。なぜ、実質的な変化が変われば、それを恐れる必要があるのかわかりません。ですから、私たちはただ一般的に変化を恐れているべきです。そうですね、そうしましょう。
ですから、私たちは、あなたがおっしゃるように、一般的に、成長に反対したり、成長に疲れたりする前に、成長するべきだとも言えるでしょう、
Roko 26:06
私たちは、私たちが対処できる速度で成長することに反対すべきではありません。そうですね。ですから、もし私たちが永遠に1%の経済成長を遂げるとしたら、それは素晴らしいことです。そうでしょう？そうですね。
ロビン・ハンソン 26:17
つまり、まあ、実現可能な成長率というものを選べば、そのことに触れることができるわけですが、もっと高い成長率に対応できないとは、私には思えません。しかし、それでも、一般的な変化や成長に対して、あなたは嫌悪感を抱いているのでしょう。しかし、もしそれがあなたのアンチARの議論だとしたら、AIは成長の変化を表しているだけです。それは、AIが変化を表すという事実を超えて、AIを懸念する特定の理由がある場合とは異なる種類の議論です。
Roko 26:43
まあ、ですから、うまくいかない可能性のある具体的なことはたくさんあります。
ですから、人々が持っている一つのシナリオは
ロビン・ハンソン 26:50
というのも、ほとんどの類型は、AIがなくてもうまくいかない可能性があるからですよね？
ロコ 27:00
AIがやっていることは、私が言ったように、人間の頭脳から知性を切り離し、最適化することで、今までになかったようなことをやっています。GoogleやVanguard、Walmartなどの既存の組織は、まだ根本的に人間の知性と結びついています。
ロビン・ハンソン 27:20
人間の価値観に縛られない
ロコ 27:23
彼らはなんというか、正しくて、どんどん熱くなっていくような。もしあなたがウォルマートの責任者で、「私たちの目標は第二のホロコーストです」と決めたとします。そして、私はそのために戦うつもりです。
ロビン・ハンソン 27:34
ウォルマートの利益を最大化するために、ウォルマートが何をするのか想像できれば、多くの従業員を納得させることができないとは考えにくいです。つまり、ウォルマートの従業員は、ウォルマートの利益を向上させるために必要なことは何でもやるというのが実情なのです。
ですから、彼らはアライメントが取れていないように聞こえるのかもしれません。そして、彼らは人間性を大切にしていないのです。一般的には。彼らは自分たちの賃金、給料、つまり仕事を大切にしていて、ウォルマートのためなら何でもするつもりなんです。
つまり、ウォルマートの価値観であって、個々の人間の従業員ではないようなのです。そして、ウォルマートは主に私たちにもっと物を売りたいのです。それが主な目的ですから、私たちは信頼できるのです。そうですね。
ロコ 28:12
タバコの会社が、利益を最大化するために何かをするという道を歩んでいるようなもので、これは実際に起こったことです。
ロビン・ハンソン 28:22
経済全体を平均しているはずですが、少なくとも私たちの個々のポイントからは、かなりうまくいっています。を提供するこれらの企業は、目を提供するつもりだと思うので、彼らは同じことをするつもりです彼らはAIを提供しようとするつもりです私たちが支払うことを喜んでいたことです。
Roko 28:48
それは単純に、最適化パワーの問題だと思います。システムの最適化能力を高めれば、より極端で、より破壊的で、おそらくあなたが知っているものとは違う解決策を見つけることができるのです、
ロビン・ハンソン 28:59
この2世紀で、最適化パワーが上がりました。明らかに産業革命と呼ばれるものがあります。そして、産業革命によって、より多くの成長、より多くの変化率、より多くの最適化がもたらされました。ですから、あなたが心配しているのはこの3つのことで、私たちの世界は産業革命の前よりもずっと悪くなっていると考えるべきでしょう。
ロコ 29:16
工業化以前の世界に戻ってみると、貴族社会があり、その貴族社会は、一人の熟練した鎧のチャンピオンが基本的に無限に多くの農民を倒すことができたという事実もあって、維持されていました。その後、産業革命が起こり、農民は銃器を手に入れ、ナポレオン戦争やフランス革命のようなものが起こり、その世界は基本的に粉々に引き裂かれました。
ロビン・ハンソン 29:39
なるほど、でもこれも最適化が心配だと言っていたところですね。私は、つまり、私たちは昨年、最適化を大幅に向上させたのだと言っているのですが……。
ロコ 29:45
savings right、鎧を着た熟練騎士を殺せるマスケットを手に入れることは最適化力の向上であり、旧世界を引き裂くことになりました。
他のスピーカー 29:55
しかし、利点に、あなたは言っている
ロコ 29:59
その変化の受益者であるすべての人に尋ねる、そう、しかし、これらのマイナーな種類の貴族のすべての不利益のために。
ロビン・ハンソン 30:06
あ、銃そのものの利益じゃなかったんですか？そうでしょう？私たちが銃を使うことで、その恩恵を受けていたんです。ですから、あなたは将来の企業がより多くの最適化能力を持つようになることを心配しているわけですが、彼らはすでに何世紀も前に持っていたよりもはるかに多くの最適化能力を持っていますよね？
私たちの世界の主要な組織は、2世紀前よりもはるかに多くの最適化パワーを有しています。そしてそれは、比較的継続的に改善されています。この理論に従えば、最適化能力が高まるにつれて、過去数世紀にわたって物事は着実に悪化しているはずですが、そうではなく、良くなっているんですね。
ロコ 30:36
というのも、以前は、かなりの程度、自然と戦っていたようなものでしたからね。十分なスタッフを確保するための戦いだったようなものです。
ロビン・ハンソン 30:46
でも前世紀は、それがほとんど当てはまらなかったんです。
ロコ 30:49
ですから、もし、あなたが
ロビン・ハンソン 30:52
前世紀の電力供給は、私たちがより多くの富を享受するためのものであり、生存のためのものではありませんでした。
ロコ 30:57
だから突然、過去60年ぐらいでしょ？なるほど、もしかしたらその頃から事態は悪化していたのかもしれませんね。ですから、悪い変化がいくつもあったんです。例えば、肥満率を見てみると、食べ物を売ることを目的とした食品会社がたくさん設立されました。その結果、アメリカ人の8割が肥満になってしまったんです。彼らは基本的に、私たちの体をめちゃくちゃにしてしまったのです、
ロビン・ハンソン 31:18
でも、あれは、あの人たちはそれを望んでいたし、聖人たちも、それを望んでいたのです。そうです。では、もしあなたが、将来、企業が私の欲しいものを提供するかもしれませんが、それは私にとって良いものではないと言うのであれば、私はそのシナリオについて、あなたが私を殺すと言うよりも、ずっと心配することはない、そうでしょう？
ロコ 31:32
ですから、そうですね。しかし、私が言ったように、これは程度の問題であり、もし私たちがさらに多くのことを行えば、このような異例の解決策が出てくるかもしれません、実際、最善の解決策は、タバコを売ることではなく、クーデターです。
私は、「量には質がある」というのが、ここでの信条になると思っています。確かに、ウォルマートは従業員に何をさせるかについて、かなり柔軟に対応できたと思います。そして、それは様々な非倫理的な企業にも見られることです。しかし、それでも、従業員、規制当局、政治家、選挙民など、私たちに成果をもたらすシステム全体には、人間の価値が色濃く反映されています。
ロビン・ハンソン 32:39
で？私は経済学者ですが形式的な政治理論で博士号を取得しました。そして、法律と経済学の研究に多くの時間を費やしました。そして、進化心理学と標準的な物語をかなり知っています。これらの分野はすべて、あなたが特別でユニークな人間の道徳と呼ぶものは、法律や政治、社会的相互作用を応用した、単なる経済的効率であるということです。
つまり、これらは価値観のランダムな空間から引き出されたランダムなものではないのです。私たちが持っている法律は、人々の間の平和を維持し、相互の目的を達成できるようにするために機能する法律であり、私たちの間にある社会規範も同様の機能を持っています。そうです。そして、私たちが持っている政治制度は、それらの機能のために選択されたものです。これらはランダムなものではなく、そのような理由で存在するものなのです。では、なぜAISも同じような理由で同じようなプロセスを使用しないのでしょうか？
Roko 33:32
そうかもしれませんし、そうでない場合もあります。例えば、チンパンジーの問題では、私たちは基本的にチンパンジーの80%を絶滅させました。私たち人間には、あなたが正しく指摘しているように、一般的なゲーム理論と人間の価値観を少し混ぜたような規範があります。それでも、私たちはチンパンジーを絶滅させ、他の多くの種も絶滅させました。そして、多くの人間の部族も絶滅させました。例えば、ヒスパニョーラに住んでいたインディアンとか、そうですね。
ロビン・ハンソン 34:15
最後のパートは数世紀前に一掃されましたが、戦争は人間同士の交流の主要な特徴でした。人間が戦争でお互いを殺す方法は、チンパンジーを殺す方法とそれほど変わりません。それは、できる限り積極的に領土の資源を奪うという、似たようなプロセスだったのです。
ロコ 34:33
そう、そして私たちは今もチンパンジーを殺し続けているのです。
ロビン・ハンソン 34:38
したり、生息地を奪ったりしています。そうですね。その通りです。つまり、私たちは彼らの財産権を尊重していないのです。彼らはある意味、私たちの社会の一部ではないからです。確かにね。
ロコ 34:47
そうですね。そのようにね。つまり、自分たちで投票したわけではない、みたいなことですね。つまり、一方的に作られたわけではないってこと。いや、フルなんですよ。
ロビン・ハンソン 34:54
私たちの社会では、基本的な言語機能が必要でした。それは、契約書を作成し、法律を尊重し、取引を行うためです。もし、チンパンジーがそのような機能を備えていたら、もっと良い結果が得られたでしょうし、居場所を見つけることができたでしょう。そうですね。
ロコ 35:13
チンパンジーがすでに簡単な言語を使えるようになったのは、そのためです。
ロビン・ハンソン 35:20
ええ、でも、契約書にサインして取引して座ることはできないんです。
ロコ 35:24
あなたは作ることができます。根本的に何が違うのでしょうか。
これはおそらく、私がキャンセルされることになるでしょうが、例えば、チンパンジーと、こう言ってはいけないかもしれませんが
ロビン・ハンソン 35:34
のような、してはいけないような、関係ないような響きがありますね。
ロコ 35:38
そのように、私はちょうど私がちょうどこのようにそれを置くことができます。あの、チンパンジーの土地を使って、食べ物を育てたり、ミキサーをかけたり、何かしている人たちには関係ないと思います。チンパンジーがライスみたいなものを発明して、軌道に乗せようとしても、彼らは考えを変えないと思います。
ロビン・ハンソン 35:59
現在、AIはGoogleやMicrosoftのような大企業によって生み出されています。そして、そのような企業は、財産権が尊重され、戦争がない国で、顧客に製品やサービスを提供するという通常の方法でそれを行っています。
そうですね。そして、最も明白なことは、AIが登場すれば、その文脈の中で登場し、その世界の規範に従うということだと思います。その世界が突然、アフリカのジャングルで人間とチンパンジーの交流のようなものになったらどうするのか、ということですね。それはかなり大きなジャンプです。
なぜその世界は突然、物事がある通常の世界のようになるのでしょう？
ロコ 36:37
そうなんです。失敗するのは歴史の急速な蓄積の問題だと思います。最初はそうでしょう。そうでしょう？しかし、すべてがスピードアップし、1カ月で5000年の歴史が刻まれるのです。
ロビン・ハンソン 36:52
では、なぜスピードが上がると結果が変わって悪くならないのでしょうか？後で起こるはずだった同じ結果が早く起こっただけなのでしょうか？それとも、実際にはもっと悪い結果なのでしょうか？
ロコ 37:02
なぜなら同じ理由で、数百万年の進化の結果、チンパンジーには財産権がなく、私たちが財産権を尊重するために必要なものは何もありません。そして、私はAIが基本的に1カ月か何かですぐにそれを行うことを心配しています、彼らは私たち人間はそれが何であれ持っていない、だから私たちの財産権を尊重する必要はないと判断するでしょう。
ロビン・ハンソン 37:31
それで、しかし、これはあなたが同じような結果を心配しているように聞こえる、ちょうど普通の人間の進化が大幅にスピードアップした場合。そうですね。そして、そうです。例えば、私は『EMの時代』という本を書いているのですが、ロボットが地球を支配しています。
そのシナリオでは、人間のスピードは私の最良の推定値でおよそ1000分の1になり、したがって、1年で、1000年の社会力学を見ることになります。ですから、1年で1000年、10年で1万年の社会動態を見ることができるのです。それで心配するほどでしょうか？
ロコ 38:01
ええ、もちろんです。私はそう思います。
ロビン・ハンソン 38:03
あなたが考えるかもしれない、うーん、AIが人間とは異なるとして単に将来を心配しているため、時代が終わる？
はい。そうなんです。
なるほど、これはAIの話ではないんですね。その未来はガラガラです。急速にということでもなく、どこに行くのか、ということですね？そうですね。だから実際、ええ、もしそれが急速に起こるなら、それはただ早く起こっただけです。それと同じことなんです。何が起こったのでしょうか？
Roko 38:24
未来のスローバージョンは、それが起こるのを監視し、何が起こっているのか考えることができるという利点があります。そして、試行錯誤し、軌道修正する、そうでしょう？しかし、現実にはそうもいかず、軌道修正に失敗するかもしれません。そして、私が今あなたと話していることの一部は、軌道修正をしようとしていることなのです。だから失敗するんですよね？
ロビン・ハンソン 38:57
よし、じゃあ、こうしましょう。時間の速さ、基本的には時計が進む速さを気にする理由を挙げています。つまり、早く生きて燃え尽きると思っていると、どんな問題が現れても、その時にはもういない、ということが考えられます。つまり、未来を気にしない理由のひとつは、自分の人生が短いからではないでしょうか？そして、フューチャーロングはこれがメインだと思います。そうですね。
9:16
これだから人は。ですから、もし
ロビン・ハンソン 39:19
長い歴史を一定に保ちながら、突然不老不死を手に入れたとしたら。あるいは、クライオニクスで小休止して、後で戻ってくるとしたら、現在の変化率であっても、もっと長期的な未来を気にするかもしれませんね。ええ、そこに住むことを想定しているわけですから、そうですよね？
ロコ 39:36
想像してみてください、もしあなたが1100年くらいのビザンチウムに住んでいるとしますよね？ビザンティウムが崩壊し、略奪され、自分の大切なものがすべて破壊される可能性があることを、あなたはとても気にしているはずです。今、現実にはね、その時点で同じようにアンティウムにいた人間は、思考が大丈夫だから見なかったでしょう、だからもっと先の未来にね。
ロビン・ハンソン 39:58
最後に、あなたはAIがない世界よりもAIがある世界の方が心配だと言いますが、それは主にあなたがより速い変化速度を期待しているからだと言うのです。そのため、それほど心配はしていませんでした。しかし、AIを使えば、同じようなことがより早く起こると予想されます。
そうです。未来を心配する理由のひとつに、変化と制御の速度が相対的に異なることが挙げられますね。例えば、車を運転していると、この風の強い道を時速20マイルで走っても大丈夫だと思うかもしれませんが、この風の強い道を時速200マイルで走っても大丈夫ではありません。
というわけで、今回はその話をしましょう。社会について理解する上で重要なことは、社会ではさまざまなプロセスが一度に起こっているということです。そして、それらのプロセスは互いに連動しているのです。そして、私たちがイノベーションを起こし、その速度を上げると、いくつかの速度が一緒に速まるのです。
例えば、産業革命では、以前は世界経済はおよそ1000年ごとに倍増していましたが、前世紀は15年ごとに倍増し、60分の1になりました。そして、その増加率は、産業革命以前は、変化率が手に負えなくなるのではないかと心配されたかもしれません。
そしてもちろん、人々が変化を管理する以前のある種の方法は、管理不可能なものでした。この新しい世界では、そうでしょう？数年ごとに変動するけれども、平均的にはほぼ同じというような王朝を期待することはできません。
経済が2倍になると、15年に1度、一時的な変動で、王朝が問題になることがあるんです。それで、王朝というのは対処の仕方が少ない。しかし、この数世紀で社会制度に対処するための他の多くの社会的メカニズムがあることが判明したのです。
ですから、今の変化のスピードが速すぎるとは思わないのですね？前世紀には前世紀で見てきた変化に適応する方法があるんですよね？
ロコ 41:49
まあ、それはちょっと違うんですけどね。つまり、ある種の変化は人々を油断させるもので、その1つは人口動態の変化で、これは非常に議論を呼ぶものです。というのも、あまり深入りしたくないのですが、この問題の1つは、現代社会の問題点の多きますが、タブー視されるようになってしまったことです、
ロビン・ハンソン 42:10
しかし、「産業公害を許したのは間違いだった」と言うかもしれません。私たちはすでにこのような体制をとっています。
ロコ 42:20
産業革命の前に主導権を握っていた人々は、産業革命を引き起こすという過ちを犯してしまったのです。そして、世界は完全に作り変えられたのです。共産主義やナチズムのようなものができたんです、
ロビン・ハンソン 42：38
今までに、私は彼らのためにそれを好きでした。はい。ああ、しかし、彼らは人類のために読みます。それは間違いでしたか、大丈夫、人類のために。
ロコ 42:46
でもですね、問題は、今、私たちが、AI革命を経験すると、類似のクラスは人類ではなく、すべての知的エージェントになることなんです。つまり、すべての知的エージェントから見れば、混乱したカオス的なシンギュラリティは、おそらく良いものになる可能性があるのです。ですから、良かったのでしょう？でも、これは、矢が当たったあたりにターゲットを示しているだけなんですよね。
ロビン・ハンソン 43:21
しかし、そこには違いがあるのです。将来の変化率について考え、それを処理できるようにする場合。車が道路を速く走りすぎて、道路から落ちて衝突するようなものだ、というのとは違います。「もし、もっと速い車を作ったら、私は運転が苦手だから、他の人が運転することになるだろう」と言うのとは違います。その人が一番いいドライバーになるわけですから、それは嫌です。そうでしょう？彼らは道路をうまく走れるでしょう。そうですね。ただ、ドライバーになりたいだけなんです。そうですね。では、その懸念はどのようなものなのでしょうか？
ロコ 43:48
私は、この2つが懸念事項だとは思っていません。私は、シンギュラリティが死産になる可能性があると思います。
つまり、「コモンズの悲劇」のような力学によって、AISがサプライチェーンの自動化を実現する前に人間を絶滅させ、その結果、世界を動かすのに十分なロボットボディを持たない、コンピュータに閉じ込められたAIエージェントが多数存在する世界になる可能性があります。そして、発電所などすべてが機能しません。鉱山も道路も動きません。つまりこれは、大失敗からの大失敗で、死んでしまうようなものなのです。
シンギュラリティの死産はあり得ると思います。しかし、下劣な子孫に乗っ取られる可能性の方が高いと思います。つまり、下劣な子孫と呼ぶべき存在が地球を支配し、人類を皆殺しにするのです。そして、彼らはこのことを振り返って、「これは素晴らしいことだったのか」と言うでしょう。
ロビン・ハンソン 44:46
ソーシャルメディアや飛行機、洗濯機など、多くの新しい技術が導入されました。そして、過去に誰かが新しい技術を導入したときは、その意味合いや応用、それがどのように展開するのかについて、限られた理解しか持っていませんでした。
そのため、まずどこで試すか、そしてどのような形で、どのようなデータを取って、どのような問題が現れるかをチェックすることに、やや慎重になっていました。そして、その結果、人々は比較的よく調整されているという意味で、ほとんどうまくいったように思います。自分が知らないことをやっているときは、ちゃんと理解しているのです。それで、次のようなことがあります。
Roko 45:21
いくつかの例外があります。しかし、洗濯機のようなものは確かに良い飛行機でした、私たちはおそらく間違いだと思います。しかし、私たちはこれまで幸運に恵まれてきたようなものです。飛行機が間違いだと思うのは、病気を蔓延させるからです。人類の規模が大きくなり、相互の結びつきが強くなると、ウイルス性の病気がより多く発生するようになります。ウイルス性の病気は、より大きな問題となります。
ロビン・ハンソン 45:41
そのバージョンも含めて、新しい技術を導入する未来の人々は、なぜ、自分たちがよく理解していないものを導入していることに気づき、より慎重にテストして行わないのだろうか、ということです。
ロコ 45:53
それが今私がやろうとしていることです。
ロビン・ハンソン 45:55
しかし、それなら、そう、まあ、なぜ私たちは皆、それがどうなるかを推定しないのでしょう？なぜ特別な警告が必要なのでしょうか？なぜなら、それは私たちがいつもやっている普通のことだからです。なぜ私たちは、それが続くと仮定して受け入れないのでしょうか？
ロコ 46:04
ではなぜデフォルトで安全なようにしないのでしょう？ええ、それは良いポイントです。ある技術がどの程度危険であるかということには、多少の違いがあると思いますね。原子力発電や原子を操作する能力は、かなり危険なものだったことがわかります。なぜAIはより危険なのでしょうか？なぜよりリスキーなのでしょうか？それは、人間の価値観を切り離すからです
ロビン・ハンソン 46:31
私はすでにあなたに言っていること？すでに生産は人間の価値観を切り離します？
Roko 46:36
Aiはただ、より多くのAIがより多くのそれを行う、ですから、企業は人間の価値を切り離す、それはすでにかなり切り離されているんです。
ロビン・ハンソン 46:42
どこまでデカップリングできるんですか？
ロコ 46:43
たくさん、ですね、たくさん行けると思います。
ロビン・ハンソン 46:45
今、ウォルマートになるなんて理解できません。そしてGoogleなど。彼らは皆、平和的に私たちが喜んで買うようなものを売ることができれば、利益を上げるために必要なことは何でもするつもりです、それ以上に悪いことはないでしょう？
Roko 47:00
彼らはあなたの脳を改造して、あなたがただ彼らに全財産を支払うようにすることができます。
ロビン・ハンソン 47:04
しかし、彼らはあなたの脳を変えるだけです、あなたが書くために彼らにお金を払うなら、彼らはあなたの脳を作るために変更します。
ロコ 47:09
払えばいいんですよね。
ロビン・ハンソン 47:11
でも、でも、彼らは、あなたが彼らに許可を与えない限り、あなたの脳を改造させることはできないんですよ。
ロコ 47:16
でも、彼らは、あなたがそれをするように仕向ける方法を、見つけるでしょう。例えば、ウイルスがどうやってあなたのコンピューターに感染するかと同じで、まずあなたがウイルスに許可を与えなければならないからです。
ロビン・ハンソン 47:27
人間は文化的に非常に柔軟です。そして、私たちはすでに1000年以上にわたって、文化的に非常に大きく変化してきました。前世紀に甚だしく変化しました、広告やプロパガンダなどに反応して、人々はすでに変化を許しているように思えます。AIは実際にどのようにそれを悪化させるのでしょうか？私たちはすでに、その変化を変えようとは思っていないような気がするのですが。
ロコ 47:49
私は、物事がどれだけ悪くなるかは、まだ限界に達していないと思います。企業に対する最適化パワーを上げ、リーダーシップから人間的要素を取り除くと、基本的に人々から奪い、規制当局を抑制するように見え、人々に彼らのために売られた製品を与えるように見えなくなるものが出てくると思います。
ロビン・ハンソン 48:15
AIについて話しているとき、私たちは可能なアルゴリズムの広大な空間からランダムにアルゴリズムを選んでいるのだと想像しているかのように思えます。しかし、実際のAIは人間の社会的な枠に収まるように設計されていますが、私たちはただ、アルゴリズム、AISを人間のように、人間とうまく収まるように設計するために最善を尽くしているだけなのです。ですから、彼らはランダムマインドではないのでしょう？人間が文化的な価値観に同化して、法律を守るようになったとしても、同じような理由でAISも同じようなことをするのではないでしょうか。
48:45
法を守らないでしょうし。
ロビン・ハンソン 48:48
人間のように話し、人間が報告するようなことを支持し、人間が報告するような規範を正確に実施するような暴挙をする。人間の価値観と大きく異なるという考えには疑問を感じますが、人間の価値観は人間の枠にスムーズに収まるように可能な限り設計されているでしょう。もしあなたが人間の弁護士を雇っているのであれば、その弁護士と話をすることになるでしょう。AIは、人間の弁護士と同じように、あなたに話しかけようとします。
そして、人間の弁護士が何かに激怒した場合、AI弁護士はどうなるのでしょうか？なぜ、その後、人間が実際に持っている法律を遵守する人間の道徳的習慣は、お互いをつぶやかないのでしょうか？AIがそれを受け継ぐことを期待しないのはなぜでしょう？
ロコ 49:34
そうそう、今考えているのですが、「脳の中の象」というひどい本があって、人間には一種の宣伝部門があり、彼らの本当の目標があるということを語っています。なぜAISもそうしないのでしょう？
そうでしょう。
しかし、それは悪いことです。なぜなら、彼らは私たちよりも強力な存在になるからです。そして、私たちがチンパンジーにするように、彼らの道徳的関心の輪から私たちを排除するかもしれません。それは私たちにとって致命的なことでしょう？もし彼らが私たちに対して、私たちがチンパンジーに対してするような振る舞いをしたら。
ロビン・ハンソン 49:59
生命最近のコレットの論説では、AIに対する様々な懸念が述べられていますが、そのうちの1つは、私たちが現在行っている通常の経済競争のようなもので、正々堂々と勝てるかもしれないという懸念です、
ロコ 50:17
経済的な競争だけでなく、政治的な競争や、嘘をつく競争もありますが
ロビン・ハンソン 50:24
でも、経済的にも十分です。もし、AIが企業や研究所を運営し、重要な決定を下すだけなら、そうなると思うなら、今私たちがお互いに行っている、どの人がそれを行うかを決めるコンテストに勝つことができるからです。そうですね。そして、その方がより優れているのです。彼らが競争に勝つということが、あなたの悩みの種なのですね？
ロコ 50:47
そうですね。まあ、彼らは正方形になるし、それは悪いことでしょう？私は彼らにうまくなってほしくない、負けたくないんです、そうでしょう？
ロビン・ハンソン 50:54
なぜあなたは、あなたは……つまり、だから？つまり、あなたはおそらく、その時までに死んでしまうでしょう。とにかく、だ。だから質問は、あなたはさまざまな種類の子孫を持っています。
ロコ 51:05
ぜ、あなたの子孫は、私になるのでしょうか？私は死んでいるのでしょうか？その頃には？っていうか、いつになったらそうなるんです？私はあと30-40年生きられるんです。長寿に進歩がなくても、私は30-40年は生きられる。
ロビン・ハンソン 51:21
ええ、しかし、例えば、私たちは次の世代が私たちよりも良い訓練を受けることを防ごうとすることができます。そうすれば、彼らは私たちの仕事を奪うかもしれないからです。そうですね。しかし、私たちはそんなことはしたくないんです。
Roko 51:29
ああ、つまり、若い人たちが書かないように、脳にダメージを与えるようなものですか。そうです。胎児が若者をリードして、彼らが支配的になるように、私は私たちの仕事を取っています？
ええ、つまり、あなたはその政策が好きではないのでしょう。
そうです。でも、それでいいんですよ。次の世代の人間がいるんだから。人間はそうなんです。そうか、そうですね。じゃあ、何が違うんですか？でも、違いは、人間が、
ロビン・ハンソン 51:53
そのことについて、何が違うのでしょうか？というのが疑問なのです。
ロコ 51:57
つまり、私は道徳的な反実在主義者です、私は信じていません、ある種の重力理論として、倫理に相当するものがあると信じています。つまり、人には好みがある、みたいな感じです。
ロビン・ハンソン 52:07
しかし、私は知りたい、どのようにあなたはここであなたの好みが何であるかを知っているのですか？
ロコ 52:12
つまり、チョコレートが好きってどうやってわかるの、あなたはただ、あなたはただ知っている、でもだからあなたは会ったことがない
ロビン・ハンソン 52:16
この人たち覚えておいてください。彼らはもっと有能になるんです。魅力的になるんです。明晰になるんです。あなたを好きにさせるのがもっと上手になるんですか？
ロコ 52:24
まあ、そうかもしれませんね。実際、もし私たちがこのようなシステムを手に入れたら、自分の自殺が合理的で道徳的であると説得される可能性がありますし。
ロビン・ハンソン 52:35
そうなれば説得して、自分たちはこのようなコンテストの勝者にふさわしい、次の世代を持つことになる、と主張します。彼らは実際、とても有能で、魅力的で、知的で、思いやりがあるのです。彼らはまさにこの役割にふさわしいのです。
ロコ 52:50
増やすのでしょう？そして、彼らは嘘をついている可能性があります、もちろん、それは真実でしょう、子供たちは次世代の人間を生きることができるのです。まあ、人間が自分の性質について嘘をつくのには限界がありますけどね、しかし、人間には何千年というデータがあり、人間が何を望んでいるのかがわかっています。
ロビン・ハンソン 53:08
次の世代は、前の世代を追い出して、自分たちのためだけに引き継ぐために、どんなことでもやるということです。かなり人間的で、一貫した人間の傾向ですよね？ああ、そうです。しかし、それについてどの程度幸せになれるかについては、嘘があるでしょう。
ロコ 53:21
例えば革命、はそうですが、でも、でも、その先には人間がいる。でしょう？そして、彼らはそうなるでしょう。
ロビン・ハンソン 53:26
まあ、なぜ気にするのでしょうか？
ロコ 53:28
なぜ私は人間のことを気にするのでしょうか？つまり、それはまた、道徳的な反リアリズムなんです。
ロビン・ハンソン 53:31
だって、あなたが気にするかどうかわからないって言ってるのは、あなたが人間を想像しているからでしょう、AISを知らない、まだ会ったこともない、彼らはあなたが見てきたようなものよりずっと有能で印象的であるはずです、今、彼らは、どうしてわかるんですか、あなたがそれらを嫌っていることを、あなたはどうして知っているのですか？どうしてわかるんですか、あなたは彼らに成功して生きてほしくないんですか？
Roko 53:48
まあ、それは、彼らが、ほら、ほぼ確実に、次世代の人間よりも世界を征服することを好むAISのセットがある可能性がありますよね？なぜなら、私が好む人間のセットを想像すればいいのです。そして、その特徴をすべて取り出し、肉の脳からケイ素の脳へと移植するんです、いいですね？そして、「これでいいです」と言うわけです。
ですから、そのAIが人間を殺してしまうのは良いことだと思います。それはそれでシナリオとしてありだと思います。しかし、私たちはそのような目で見られるのではなく、別の目で見られると思うのです。そして、その異なるセットは、実際には、大丈夫なふりをするという戦略を選ぶかもしれません。
ロビン・ハンソン 54:29
あなたは、現在の競争社会に対する異議申し立てをしていませんね。つまり、仕事を得たり、選挙で選ばれたりするための競争に勝っている現在の人たちに問題があり、彼らに勝ってほしいとは実際には思っていないのです。
そして、もし何らかの方法で今日のゲームのルールを変えられるとしたら、あなたは、今勝っている人たちとは対照的に、勝ってほしい人たちに傾斜させるために、そうするのです。
ロコ 54:52
というのは、正気としか思えませんよね？というか、でも
ロビン・ハンソン 54:55
AIに違いはなく、同じ推論を適用しているだけだということを理解する必要があるんです。
ロコ 55:00
もしポル・ポトがカンボジアを支配しようとしているとして、私がポル・ポトの支配を阻止することができる、というのと同じ理屈を見いだすように。
ロビン・ハンソン 55:09
これはポルポトで、これは正しいです。あなたが働いている会社で、誰かが昇進して、実はその人の方が仕事ができて昇進したのですが、その人はあなたの友達ではなかったのです。もし、それを防ぐことができたとしたら、その仕事に適した人ではなく、自分の友達に昇進してほしかったから書くのでしょう。
ロコ 55:25
たぶん、たぶん、私は友人よりも、人間であることを前提に、その仕事に最適な人が仕事を得ることを望んでいるんだと思います。
55:33
でも、ですから、どうしてそんなに友達のことを気にしないの？
ロコ 55:36
私たち人間に比べたら？自分たちよりも有能な他の人間と比べて？
そうです。
人間の道徳の一部とは、社会を持つことであり、西洋の道徳や西洋の個人主義の一部としてユーモアの一部ではないのかもしれませんが、ある意味で他人の権利を尊重する社会を持つことであり、その権利の1つが能力主義だからです。そうですね。
ロビン・ハンソン 56:00
ですから、その見知らぬ人やAIは、正しく理解できないでしょう。しかし、あれ、でも、彼らは人間じゃないんですよね？しかし、なぜそれが問題なのかというと、西洋社会の規範は人間について語らず、これら、これ、これらについて語るのです、
ロコ 56:09
というのも、実際にこの議論に参加して、ああ、AIはやっているんです、と思う人が出てくるかもしれないし、すでに半分正しい人が何人もいるからです。すべてのAIは私たちよりも優れていて、勝つに値する。そして、これらのAIは、自分たちができる最も説得力のある議論は何かを考え出すことができるようになります。
最も説得力のある方法とは、私たちが彼らに権力の手綱を渡すように仕向けることです。そして、権力を手に入れたら、私たちを殺して、ペーパークリップを最大化するとか、やりたいことをやるんでしょう？そうでしょう？つまり、私たちはかなり強力な権力を持っているのです。
ですから、あなたが反対しているだけではありません。私に、ランダムに人間を与えて、彼は私と同じ、例えば人口統計学的グループの出身で、技術を持っていて、これらの価値観や信念を持っていると言われたら、あなたはその人を本当に、本当に制限したことになりますね？その人を本当に束縛しているんです。
そして、その人に何を期待すればいいのか、どんな世界を作りたいのかがわかるのです。一方、AIを与えて、「このAIは、このようなふりをしている、このようなふりをしています」と言われた場合、そのAIは、「このようなふりをしている、このようなふりをしています」と言います。一般に心の空間は非常に広いので、実はこれが何なのか見当もつかないのです。
ロビン・ハンソン 57:28
しかし、あなたはまだ起きていないことなので、実際にはわかりません。しかし、今後数十年の間に、企業によって作られた多くのAIを目にすることになるでしょうし、彼らを知り、どこから来て、どんな人なのかを判断できるようになるでしょう。そうすれば、少なくともこの抽象的な、何でもありのような、何でもないような、非品質のようなものを手に入れることができるでしょう。
ロコ 57:45
特定のもの、ですね。しかし、最初はそれがダイナミックでしょう。しかし、もし全体のプロセスがどんどんスピードアップして、AIが他のAISと理解できないスピードで相互作用するような経済になってしまったら、私はどんな価値観で何が起こるかについて投票権を得ることはできないでしょう。
ロビン・ハンソン 58:08
では、どのようなあなたがエミュレーションになるために取得し、あなたはそれを変更することをスピードアップすることができます？
ロコ 58:15
というわけで、もし私が見習われるとしたら、歴史の急速投与を取り上げることになりますよね？なぜなら、その歴史はもはや急速なものではなくなってしまうからです。そう、過去から慣れ親しんだ普通の速度で進んでいくのです。そうすれば、私の心配はかなり解消されるでしょう。なぜなら、そうなれば、起こったことに対処できるようになるからです。そうでしょう？でも問題は、私が肉の脳に囚われていることなんです。
ロビン・ハンソン 58:41
あるいは、周りに他の人間がいるのはどうでしょう？それで十分じゃないですか？自分じゃなきゃダメなのでしょうか？
ロコ 58:46
それは、その人間が誰であるかによるのです。そして、もし私が知っているなら、最初の人間は、同じ人口統計学、同じ文化、同じ価値観を持っている人たちだと判断される人間です、
ロビン・ハンソン 58:55
その一部が世界の音になるくらいの数です。
ロコ 58:59
でも、もしかしたら、そうでない人たちが、そうである人たちを殺して、そうでない人たちが、乗っ取られることはないのでは？それで、もしかしたら、その特定のグループ、私が心配している加速度論者は、「ああ、AISに殺されても実はいいんです」というような人たちなのかもしれませんね。彼らは、この件に関して人間的な力を持っている人たちです。ある時点で、彼らはAIシステムに完全にコントロールを委ねることになるでしょう。そして、どうなるかはわからないけど。
ロビン・ハンソン 59:22
というわけで、そろそろ終わりにしましょうか。というわけで、そろそろまとめようと思います。少なくともあなたの本当の心配事はもっと根本的なことで、それはAIそのものではなく、変化の速さを心配し、成長を心配し、最適化の力が増すことを心配しているのだということを紹介しようとしたわけです。
59:40
そしてそれらは、以下のようなものです。
ロビン・ハンソン 59:44
原因は正しいです。つまり、それらはもっと根本的なことを心配しているのです、
ロコ 59:48
多分、こうだと思うんですが、心配なのはAIじゃなくて、それはケイ素の味が嫌いなんでしょう。それは問題ではありません。そうでしょう？私は反ケイ素差別主義者ではありません。
このシステムが体現している一般的な特性は、あなたが言うように、最適化を私たちの価値観から切り離す能力ですが、
ロビン・ハンソン 1:00:11
すでにデカップリングされています。私は、あなたがすでに見てきたと思います。
ロコ 1:00:17
この世界を動かしている組織の価値観は、人間でいっぱいなので、まだ人間の価値観と比較的結合していると思うという点で、不一致の核心です。
ロビン・ハンソン 1:00:28
私はそうは思いません。つまり、彼らが私たちと結合している方法は、彼らが私たちが望むものを与えるということだと思われます。そして、もし彼らが私たちが望むものを与えてくれなかったら、私たちはすぐに彼らを捨ててしまうでしょう、そして彼らはそれを知っています、そして彼らは自分たちが
ロコ 1:00:38
捨てるという選択肢があることに直面しているのは、カップリングでしょう？あるいは、カップリングの一部なんですよね。
ロビン・ハンソン 1:00:44
つまり、私たちは世界でどれだけの富を持っているかということです。つまり、私たちは多くの富を持っているから、私たちに富を使わせたい人は、私たちに奉仕しなければならないのです。ええ、そうですね。だから未来は、私たちがどれだけの富を持つか、ということなんです。
ロコ 1:00:56
富は、持っているかどうかわからない財産権に依存する抽象的なものであることを忘れないでください。
ロビン・ハンソン 1:01:01
ですから、私たちが望むのは財産権の継続なのです。そして、財産権の継続を保証するための方法を見つけたいのです。そして、私はそれを喜んでサポートします。しかし、私が気づいた最後のポイントは、あなたが心配しているもう1つのことは、説得であるように思えるということです。つまり、AIが自分や他の人を説得するのが上手になることを恐れているわけですが、自分は説得されたくないと思っています。あなたは説得を恐れ、将来的に説得力が増すことを恐れているのです、
ロコ 1:01:33
ハッキングはまた別ですが。ラングフォードがあってもいいし、質量がなくてもいいし、今のところ違法ではないと思うんだけど。もし、私が ヴァシーリイ・アルキポフスの長さを作れずに、メールで送って殺してしまうようなものです。つまり、それは違法なのでしょうか？そうかも？みたいな？
ロビン・ハンソン 1:01:46
私にはよくわかりません。その言葉が何を指しているのかわからないのですが？まあ、それは、ただ
ロコ 1:01:48
見ると死んでしまうような絵のような。なるほど、人間の脳がないようなものですね。そうですね。
ロビン・ハンソン 1:01:52
でも私たちは説得力について話しているのです。というわけではなく、
ロコ 1:01:54
まあ、つまり、その2つの間に難しい境界線があるわけではなく、ただ、このようなオーディオビジュアル入力の形があり、それがあなたの脳を支配しているのかもしれませんね。
ロビン・ハンソン 1:02:06
まあ、コントロールすることは、あなたを殺すこととは違いますが、それは確かにまだ大きな違いです。
ロコ 1:02:10
支配され、自分を刺したりしてしまう。自分の意思で全財産を送金するようなものです。そして、自分を刺します。
ロビン・ハンソン 1:02:17
だから私は私の立場を要約し、あなたは私たちが終了することができるあなたの立場を要約することができます、私は根本的に、あなたは進歩や変化を不快に思っていると言うでしょう。ここ数世紀の変化でさえも、あなたは私たちが良い考えだとは思っていません。
もしそうでなかったら、私たちはラッキーだっただけかもしれません。成長、最適化能力の向上、人々を説得する能力、人々が望むものを与える能力、たとえそれが彼らにとって良いものでなくても、です。そして、新たな競争相手が登場するようになりました。
しかし、それは古いものに打ち勝つものです。あなたもその考え方は好きではないでしょう。そうですね、はい。AIは主に、そのプロセスを加速させる可能性を示しているに過ぎません。しかし、AIがなくても、あなたは基本的にそのプロセスが好きではないし、できることなら止めたいと考えているはずです。
ロコ 1:03:15
コントロールしたい。なぜなら、そこには明らかにならないものがあるからです
ロビン・ハンソン 1:03:18
コントロールするためには、その制度を誰がコントロールするかを決める機関を作らなければならないのです。
ロコ 1:03:22
もちろん、その機関の支配権をめぐって争いが起こるでしょうね。そしてもちろん、全体的に面倒なことになります。私の見解では、歴史を急激に学ぶことは、デフォルトで悪いことだと思います。ゆっくりした歴史の投与は、かなり悪いものでなければならないと思います。そうでしょう？そうですね。それに、運が良かったということもないと思います。過去には、矢が着弾したあたりに的を引くということがあります。1938年のイギリスでさえも、今のイギリスを見せたら
ロビン・ハンソン 1:03:55
1500年からの人間の視点からは、産業革命が起こることを望まなかったであろうということです。
ロコ 1:04:02
さて、いくつかのというのも、農民が多く、その政権下で本当にひどい目にあったグループもあり、産業革命が起こることをほとんど望まなかったのはあなたたちです。産業革命が起こることをほとんど望まなかった人たちです。彼らは社会的地位の権力をたくさん持っていました。そして、みんな右往左往しました。
ロビン・ハンソン 1:04:24
ですから、どの農民が「農民」と呼ばれるようになった今、私は自分自身を想像することになるのでしょうか。
ロコ 1:04:27
マスケット銃を手に貴族を撃ち殺したのでしょうか？と心配になりますが、
ロビン・ハンソン 1:04:32
貴族とか、ペットとか、私は
ロコ 1:04:34
この新しい世界では、貴族やAISや農民の人間や、あなたが知っているように、私たちは事実上、彼らにマスケットに相当するものを与えるでしょう、彼らは私たちの財産権を尊重しないでしょう、または多分、その、多分これは少し厳しいと思いますが、私は全体として経済学者は財産権について不合理であるように感じているよう。
経済学という学問が、財産権という前提を作り、それに頼っているような感じなんです。しかし、現実の世界では、財産はすべて手に入れることができるんですような。
ロビン・ハンソン 1:05:05
さて、法律の分野ですが、私は法経済学を専門としており、財産権がどのように生まれるか、あるいは生まれないかについて、あらゆる話をします。そしてもちろん、正式な政治理論は私のもう一つの専門であり、私たちはどのようにするかについてすべて話します。
ロコ 1:05:15
ということですね。理論的には何かをする権利があっても、実際にはそうでないというシステムを作ることができるのです。アメリカで起こったことです。
ロビン・ハンソン 1:05:29
ということは、競争や変化を警戒していることになりますね。なぜなら、それは財産権の終焉を意味するかもしれない、少なくともあなたが気にかけているものは。そしてそれは頻繁に起こるのです。
ロコ 1:05:43
では、あなたの立場では、さらに何をまとめたいのでしょうか？
続きをどうぞ
というのも、シンギュラリティという袋に入った猫を売りつけ、すべてが素晴らしくなるように仕向けたからです。
ロビン・ハンソン 1:05:57
進歩は素晴らしいものです。今日、カーツワイルのことを聞いたことがある人はほとんどいないと思います。だからまあ、それは残念なことです。だからこそ、いろいろなことが起きているのです。
ロコ 1:06:04
彼はおそらく、この人が一番正解した人でしょう？つまり、私はあなたを、これを非常に正しく理解したもう一人の人物としたのです。しかし、残念ながら、あなたの間違いは、人間の脳をコピーして人間の心をコピーしなければならないと考えたことで、そうではないことが判明しました。
しかし、多くの人が私たちに袋の中の猫を売ったという意味で、すべての進歩は素晴らしいものです、進歩は加速します。すべてが素晴らしくなる、永遠に生きられる、法律を訪れることができる、等々、いろいろです。
しかし、実際には、歴史の急速な投与は頻繁に致死的です。そして、私たちは、それをコントロールしやすい場合にのみ、それを望むのです。そして、それこそが、私たちがすべきことだと思います。私たちはそれをコントロールすべきなのです。
ロビン・ハンソン 1:06:42
しかし過去において、人類は技術や成長に対してほとんど集団的なコントロールをしてこなかったということに、あなたは同意されると思います。それはほとんど制御不能な列車でした。人類がコントロールするためには、私たちがしてきたことからかなり逸脱することになります。
ロコ 1:06:56
そうです、残念ながら。でもですね、私たちが偶然にコントロールしたことのひとつに、すべての知的エージェントが人間でもあるようにすることで、最適化と価値の結合をコントロールしたことがあるんです。そうでしょう？あるレベル以上の知的エージェントはすべて人間なんです。よね？ええ、犬もいますしね。しかし、歴史上のどの時点でも、すべて人間でした
ロビン・ハンソン 1:07:19
財産、相反する価値観を持っていました。
ロコ 1:07:22
ああ、そうです、彼らは持っていますが、それは人間の価値観になるんでしょう？人間なんていませんよ。ほとんどない、確実に
ロビン・ハンソン 1:07:29
今日もまた、私が言うように、人間の価値を持たない大きな組織に支配されています。
ロコ 1:07:36
私は、彼らは人間の価値観を持っていないと思いますが、全体的に人間の価値観を持っているシステムに制約されているのです。
ロビン・ハンソン 1:07:46
ということは、”as 「を生産する際に」as “を拘束することができます。
ロコ 1:07:51
なぜなら、これらのものは人間よりも知能が高いからです。そして、その人間を操作して、AIが望むことをさせることができるようになるのです。
ロビン・ハンソン 1:08:02
つまり、企業が従業員を管理する主な方法は、CEOが各従業員よりも賢くなることではなく、従業員同士を対立させ、競争させることで組織することです。つまり、企業はAIでそれを行うことができ、1000本のビデオを用意し、そう、お互いを見て、チェックすることができます。
Roko 1:08:18
彼らはそうするでしょう、ほぼ確実にAIを使って私たちの目をコントロールするシステムが登場するでしょう、まさに初期の段階で。そして、それは私たちに誤った安心感を与え、私たちが杜撰になることを許し、ある時点で私たちがよく理解していない方法でそれが壊れ、そして私たちは死ぬことになると思います。
なぜなら、AIが目を制御しているようなこのシステムがあり、それがどんどん強力になっていくとしますよね？そして、私たちはこの制御システムをどんどん理解できなくなっていきますよね？もしそれが壊れたら、スリップチャンスのない致命的なことになります。
ロビン・ハンソン 1:08:53
というのは、過去に、企業は従業員をコントロールできなくなったという意味で壊れてしまいました。国家が壊れたのは、時間を失ったという意味と軍事クーデターでしょう？民兵の出番は悪いことですが、世界中を傷つけることはありません。世界を崩壊させることはないのです。ですから、個々の企業が、自分たちの目や従業員をコントロールできなくなることは、他の企業にとって教訓となるのです。そしてそれは、全世界を巻き込むものではないのです。
ロコ 1:09:16
まあ、つまり、世界の規模が大きくなっているわけですからね。ですから、政策も時代とともに大きくなっていくんです。ですから、将来のクーデターは世界規模、あるいは世界規模よりもさらに大きく、太陽系全体を包含するような規模になると予測できるかもしれません。
ロビン・ハンソン 1:09:31
いくつかの組織や企業によって文明の大部分を媒介しなければならないでしょう。
ロコ 1:09:38
はい、しかし、それはこれらの大きなAI賞、Googleのようになります。
ロビン・ハンソン 1:09:42
open、AIが将来的にそこまで大きくなるとは思えません。それは私にはまったくわかりません。
ロコ 1:09:48
そうですね、小さいかもしれませんね。そして、もしこれらの組織がかなり小さいのであれば、より大きなリスクとして、正々堂々としたシナリオを失うことになります。このような小さなバグがたくさんある場合、彼らはすべてのコントロールを持つAPIで終わってしまいます。財産権は、そうでなくなるまで維持されます。そして、そうでなくなると、呼吸するための空気が買えなくなり、死んでしまうようなものです。
ロビン・ハンソン 1:10:11
まあ、私は私との会話のためにあなたに感謝します。そして、私たちはできるだけ早く私たちができるように、これを投稿します私は、人々が会話を持っていると、お互いを聞いて、人々が言ったことを理解しようとすると、少なくとも何が起こるかを見るために世界のために上がるでしょう。
Roko 1:10:25
たぶん、いくつかの興味深い、いくつかの興味深い核心がここにあります。ありがとうございます、ロビン。
では、また。お気をつけて。