ベフ・ジェゾズ 0:00
Jaquardは敵対的な均衡を維持することに偏っています。つまり、オープンソースモデルで健全な開発者経済を維持すること、計算を集中させないこと、アルゴリズムや知識を集中させないことです。つまり、マイクロソフトがAIという側面でグーグルと競争しているのは、その一例と言えるでしょう。
力には力で対抗するのです。そして、この敵対的な均衡を維持することが、前進する道だと思います。それは、知能を独占しない場合にのみ可能です。そこで私たちは、iAk流に分散を受け入れ、加速することで、インテリジェンスの独占に対抗しているのです。
エリック・トレンバーグ 0:48
「禅の時間」のエピソードへようこそ。今日はBayes LordとBeth J. zOSの登場です。この二人が誰なのか、ご存じない方も多いと思います。彼らは、効果的な、効果的な加速主義の創設者です。それが何であるかはご存じないでしょう。
効果的利他主義に対抗する哲学であり、AIの安全性の名の下に開発を遅らせるのではなく、技術の進歩とそれに伴うすべての利益を加速させることを目的としています。このエピソードでは、効果的な加速主義（e/acc）とは一体何なのでしょうか？その知的基盤は何なのでしょうか？また、認知革命の共同司会者であるネイサン・ラベットと一緒に、AIの安全性について議論します。
これはSBBニュースの前に月曜日に収録されたもので、そのため触れていません。では、本番です。この禅の時間は、ダン・アントニオと私が、遠隔地のゲストとのポッドキャストのエピソードをすべて録音するために使っているプラットフォーム、リバーサイドによってもたらされます。
リバーサイドの優れたオーディオとビデオの品質により、複数のゲストとの会話を録音し、数分以内に編集して公開することができます。もしあなたがポッドキャストを主催していたり、よくインタビューを受けるのであれば、コード「Zen」を使ってリバーサイドFMで20%の割引を受けられるようにしてください。
リンクは説明欄にあります。Secure frameは、セキュリティとプライバシーコンプライアンスのための主要なオールインワン・プラットフォームです。Secure frameを使えば、数ヶ月ではなく、数週間で監査に対応できるようになります。
また、AngelList、CODA、remoteなど1000以上の企業で使用されています。私はこの会社に投資するほど、この会社を信じています。そして、私はすべての投資先企業にこの製品を勧めています。無料デモはsecure frame.comから申し込んでください。デモ中に「Moment of Zen」を紹介すると、secure fameの初年度が20%オフになります。アントニオ・ビック・タイミングがまたやってきましたね。そうですね。
エリック・トレンバーグ 2:43
禅のひとときのエピソードへようこそ。今日は認知革命のネイサン・レヴィンと一緒にお送りします。そしてスペシャルゲストのベイズ、ロード、ベス・ジーザスです。
アンヌ・シュチャット 3:00
THE SHOWです。ご参加ありがとうございます。お招きいただきありがとうございます、エリック。
エリック・トレンバーグ 3:04
ベス、あなたから何を始めましょうか？効果的な加速主義運動を紹介したらどうでしょう？e/accです。そして、あなたがそれを始めるに至った原点を教えてください。そして、バジルさんにも入ってもらいましょう。
ベフ・ジェゾズ 3:15
というわけで、ネット上ではベフ・ジェゾズなんですね。で、ツイッター圏で。私は理論物理学者で、MLでビッグテックに勤めていたんです。そして、ベイズ・ロードや他の人たちと一緒に、偶然、オンライン上の非常に活発なコミュニティに火をつけることになったんです。
効果的利他主義（Effective Altruism）をある程度もじったようなものです。この思想は、いくつかのアイデアに基づいており、その影響や段階については、これから説明します。この点については、非常によく読まれており、多くのコメントを得ることができます。
しかし、私たちの場合は、Twitterスペースに出入りし、アカウントを作成し、Twitterに投稿することから始まったと思うのです。と思います。ルーアンの近隣のソーシャルメディアグラフは、Twitterの非常に興味深い部分であり、文字通りTwitterのこの部分、またはティーポットと呼ばれています。
これは基本的に、Twitterのティーポットのこの部分で始まった運動で、テクノ・オプティミズムに焦点を当て、AIの可能性を楽観視し、特に2020年、2020年後半から2021年にかけて広まったドゥーマーイズム、悲観主義、やる気のなさに対抗する運動として、人々はかなり、経済は崩壊して、状況は暗かったと思います。
しかし、まだパンデミック（世界的大流行）の最中でした。そして、より良い未来について考え、人類はどこに向かっているのか、ということを議論していたと思います。そして、この2,3年の混乱期を乗り越えて、未来はどうなるのか、ネット上で議論することで、偶然にもこのムーブメントに火がついたのです。
もともとベイと私は、技術系の大きな仕事が終わった後、あるいは一日が終わった後、奇妙な時間帯にチャットをしていたんだと思います。そして、ただ未来や宇宙、あらゆることについて話していました。やがて、私たちが話していたことをメモして、2つの箇条書きにして、ブログ記事のような形で発表する人たちも出てきました。
そして実際、そこから発展していったのです。そして、「Zesty」という、加速度論というコインを使った別のアカウントで、「Zesty」が紹介されました。そして、技術系の匿名アカウントの小さな小さな輪の中で、野火のように広がっていったんです。
そして最終的には、何度も話し合った結果、いくつかの原則について、より正式なメモを書くことにしました。それが、e/accの原則と信条を記した、別のブログ記事です。そこから、私たちはただ放っておいたのですが、どんどん成長していきました。
そして、今では、この運動に参加したり、偶然参加したりする有名な人がたくさんいます。特に、AI技術が加速度的に発展していることを考えると、その勢いは止まりません。AI、ドゥーマーイズム、あるいはドゥーマーイズムの人気は、最近のポッドキャストでも紹介されていますね。
GPT-4：
ドゥーマーと、ひいてはドゥーマー主義は、人口過剰、ピークオイル、気候変動、汚染などの地球規模の問題について非常に悲観的または運命論的である人々を表すために、主にインターネット上で発生した用語である。一部の運命論者は、これらの問題が人類の絶滅をもたらす可能性があると主張している。
そして、ドゥーマー・イズムへの対抗運動として、私たちが「減速」（Deceleration）と呼んでいる「デセル」があります。もっと、もっと広い意味で。私たちにとっては、とてもエキサイティングな時間でしたが、もう潜ることはできません。そこで、効果的な加速とはいったい何なのか、その原点に迫ってみたいと思います。
その背景にある原理は何なのでしょうか？そして、世界がどこへ向かっているのか、私たちは何によって団結しているのでしょうか？
エリック・トレンバーグ 7:32
それは助かりますね。主な考え方は何なのか、どのように重なり合うのか、簡単に説明してください。また、「効果的な利他主義」とどう違うのでしょうか。
ベフ・ジェゾズ 7:41
ええ、つまり、それはとても重要なことです。かなり深い質問ですね。特にネイサンが参加しているので、もっと深く掘り下げられるといいのですが。楽しみにしています。そうそう、効果的な加速とは、テクノキャピタルマシンと呼ばれる、資本主義システムとテクノロジーを組み合わせたようなものがあることを認識することです。
この機械は、自分たちの成長にとって有用なものに資本を割り当てるのです。資本主義システムは、ほとんど生命の一形態と考えることができますね。生命は自己複製し、自己適応するものです。生命は常に、エネルギー的、化学的な資本を、生存と成長に役立つものに振り向けようとしています。
そして、効果的な加速とは、私たちが自己適応システムの中にいることを認識することであり、そのシステムは自分で解決することができます。そして、そのシステムに貢献することで、すべての人にとってより良いです、より明るい未来を確保することができるのです。
そして、トップダウンの功利主義に対抗する運動でもありますね。ボトムアップ型の創発的利他主義のようなものです。そして、システムが自ずと解決してくれると信じることです。そして、すべてのコードが互いに落ち合うと信じています。私たちは、安全性を最大化するために、トップダウンで物事や生活のあらゆる側面をコントロールしようと心配したり、努力したりする必要はありません。
そして、表計算ソフトを使った倫理学や表計算ソフトを使った功利主義に比べ、最も効率的な方法でそうするのです。e/accは反動的な運動だと考える人もいますが、EA（効果的な利他主義）はそうではなく、技術的な楽観主義が中心で、文明の進歩と成長に貢献するために、最もインパクトのある方法で他の人に建設を奨励するのです。
しかし、その測定方法は、例えば効果的利他主義が効果的利他主義だったとして、功利主義者がヒートオンや効用を測定するのとは違います。文明の範囲と規模にどれだけ貢献しているか、フリーエネルギーのエネルギー的な消費量で測るのです。そして、この原理は、損失関数や自然に最適化される関数のようなものであることがわかりました。
自然界では、より多くのエネルギーを消費する生物、統計的に言えば、より多くのフリーエネルギーを消費する物質構成を育てることを望む傾向があります。イラクのポイントは、このことを認識し、文明の進歩を導く自然の力のようなものに寄り添うことです。
つまり、これは非常にメタな哲学なのです。成長は善であり、成長に貢献することが善の究極の形であり、他のほとんどの善の形は、このようなメタ最適化の投影または特殊化であると認識する、一種のメタ文化なのです。これが、非常にハイレベルな概要です。もちろん、ベイズロードは、e/accに関する理論物理学的な背景をよりわかりやすく説明することができます。しかし、今はこの辺でやめておきます。
エリック・トレンバーグ 11:36
資本主義に対する精神的な主張のように聞こえますが、そうですか？
ベフ・ジェゾズ 11:41
そうですね、つまり、私たちはどこに向かっているのか、ということを理解しようとしているのです。私たちをここまで連れてきた原動力は何なのか。これは、メタ生物と呼ばれる技術の文化による自己適応システムのようなものです。
集団、部族、企業、国家など、あらゆるスケールで互いに競争することで、動的な適応性を持つ非常に強固なシステムを生み出しています。そして、成功した持続可能な成長と文明の脆弱性の解消につながるメカニズムを認識し、これらの原則の支持者となり、強化しようとすることです。
例えば、市場がある原因を効用が低いと判断し、それに低資本を割り当てたとしても、効果的利他主義は市場を変形させたいと思うでしょう？ある場所から資本を取り出し、それを手動で別の場所に注入するようなものです。FTXでは、それが見られました。
SPFは、暗号を使って資本を抽出し、それをさまざまな組織で再割り当てしようとしていました。私たちが言いたいのは、何が重要かは通常、市場が判断するもので、手動で資本をある場所から別の場所に振り分けるのは、持続可能なやり方とは言えません。
ESGの取り組みとイーロン・マスクの取り組みを対比するようなものですね。イーロン・マスクはただ会社を作るだけです。彼は、自己維持が可能で、資本を引きつけるメタ有機体を作り出します。そうすることで、世界に永続的な影響を与える自立した組織を作り上げることができるのです。
そして、客観的に見て、テスラはグリーンエネルギーに大きな影響を与えました。少なくとも、私の意見では、これらのグリーンエネルギーファンドが持っているよりもはるかに多く、しかし、彼らのベースを修正することは幸せです。
e/accを要約する方法についてあなたのテイクを与えましたいですか？
ベイスターズロード 14:28
私はそれが本当に良い要約のようなものだと思います。VAの批評について、私が思い浮かべる最大のポイントは、まさにこれです。あまり一枚岩のように扱いたくはありません。しかし、VAの歴史を振り返ってみると、初期にはかなり明確な、ある種のユナイテッド・フォーカスのようなものがありました。
周囲を見渡すと、お金がうまく配分されていない、という感じでした。例えば、マラリア予防のための蚊帳や、虫下しの薬などを非常に安く購入することができます。このようなグローバルヘルスのようなことは、ごく普通に行われていました。しかし、EAの歴史を振り返ると、コミュニティのイデオロギーの新奇性を求めるようなもので、よくあることでした。
時が経つにつれ、人々は、未来にはたくさんの効用がある、未来の人間や未来の生命体は、現在よりもずっと多く存在する、という考え方にとても惹かれるようになったようです。そして、未来に行けば行くほど、それは真実となります。したがって、今生きている人たちを助けるのではなく、彼らを助けることに力を注ごうとするはずです。
しかし、問題は、実際にそのユーティリティを買うのにどれだけお金がかかるかというと、今日のユーティリティや明日のユーティリティなど、こういったものを買うよりもずっとお金がかかるということなのです。
これは、計画や予測を行うのが難しいということであり、非常に長い時間軸のカオス的な複雑系であるということです。つまり、長い時間軸では、より多くの効用を得ようとするために使うお金は、時間の経過とともにますます希薄になっていく、ということです。
つまり、この枝分かれした木の先物を想像すると、お金がどんどん減っていき、指数関数的に希釈されていくようなものです。もちろん、予測がどれだけ正しいか、どのようにターゲットを絞るかは、その人の力量によります。しかし、私が言いたいのは、おそらくこれが主なことで、ベス、あなた方はそれを見事に要約していると思います。
ベフ・ジェゾズ 16:49
そうですね、私のe/accの主な信条は、トップダウンの制御は、経済のような創発的特性を持つ自己適応システムや、ウイルスの拡散を制御するような生物系では、あまりうまくいかないということです。
同じことがAIにも当てはまると思います。このようなシステムでは、ある規模に達すると、ある種の創発的な性質が生じ、トップダウンで制御しようとしても、無意味であるか、非常に困難なのです。
全体として、私たちは、文化には、より最適な制御のために、非常に高い集中化と分散の抑制を目指す傾向があると考えます。
文化的な変異株の抑制であろうと、機械学習システムの潜在的な出力の変異の抑制であろうと、です。一般的に、分散化や分散の抑制とは対照的に、制御を容易にするために中央集権化する傾向があるようです。そして全体として、文明が最も急速に進歩し、文明の範囲と規模が大幅に拡大した豊かな未来に到達するためには、分散を受け入れる必要があると私たちは考えています。
私たちは、アイデア、ニューラルネット、カルチュラルカルチャーなどの自由で効率的なマーケットプレイスを受け入れる必要があるのです。それはなぜか？会社の経営方法、組織や国家の文化の構築方法、ニューラルネットのアーキテクチャの調整方法など、これらすべての事柄について、ある種のパラメータ、超パラメータ風景があると考えることができます。
そして、この進化プロセスを進化させるスピードは、この進化プロセスに許容される変異株によって制限されます。変異株を抑制すれば、進化のスピードは非常に遅くなり、非常にコントロールしやすくなります。しかし、それはまた、ある種、結晶化された静的なものでもあります。
しかし、それは同時に、ある種の結晶化された静的なものでもあります。常に最適であるために、適応性とダイナミズムを維持したいのです。そう、つまり、本質的に、効果的加速主義とは、やや自由主義的で、分散や実験を奨励し、より良い未来に向けて構築することですが、トップダウンのコントロールではありません。
自分の生き方や、会社の経営方法、ニューラルネットの調整方法などを規定するものです。それよりも、あらゆるものの市場をボトムアップし、あらゆるものの空間における進化的な適応プロセスを促進することが重要なのです。そして、あらゆるスケールであらゆるものの堅牢性と反脆弱性を確保したいのであれば、これが最善の方法であるということを主張しているのです。
つまり、統一的な原理なのです。この原理は、熱力学のようなものに支えられています。しかし、基本的には、私たちは、西側世界の至るところで、変異株を抑圧し、特定の意見を盗もうとする、ある種のトップダウン・コントロールを支持するような、中核となる発言や協力的な組織のような、ある種の運動が出現したことを心配していたんです。
そうですね。そして、ボトムアップ型の対抗運動が必要だったのです。Twitterのアドオンは、私たちの多くが技術系の仕事をしているので、匿名のサークルから生まれたのは自然なことです。Twitterのアドオンは、私たちの多くが技術系の仕事をしているからです。
そして、攻撃のベクトルは、決められた意見の亜空間に従わなければ雇用を脅かすことです。ですから、私たちの場合は、分散を主張したいだけなんです。どうやらそれは、ある界隈では物議を醸しそうなアイデアであるようです。ですから、匿名のツイッターアカウントから生まれるのは自然なことなんです。
しかし、現在、明らかに、戦いの間に参加した様々な実名があります。つまり、あなたはjawedでホストをしたことがあるのですか？マーク・アンドリーセンは、自分の経歴を変えたことをかなり公にしていますね。そして、明らかに、ネットワーク状態に関する彼の仕事であるBalajiから、いくつかのインスピレーションを受けています。
このような反対運動は、技術系のメインストリームに広く浸透しているようですが、コアなメインストリームではありません。しかし、全体としては、効果的な利他主義者やAI存亡の危機を訴える人たちに対抗する動きが出てくるのは良いことです。
そうでなければ、反対されないからです。そして、そのようなイデオロギーは、人々の未来に対する意欲を失わせるという点で、かなりのダメージを与えることができます。この行為は、より良い未来に向けて構築することであり、人類の範囲と規模を拡大し、深遠な技術に取り組み、これらの技術でどの程度の文明を維持できるかという点で、針を動かすような技術に取り組むためのレバレッジポイントを見つけることなのです。
ですから、文章を書くという文化や、Twitterのアドオンで言うところのワードサラリーという文化はあまりなく、建築や、Twitterで言うところのシェイプローテーションというミームのようなものに重きを置いているのです。
トップダウンで内部統制された大企業で、自分の役割が抑圧されていると感じているエンジニアの反乱のようなものですね。そして、社会における自分の役割や文明への貢献についてどう感じているか、文明やすべての進歩という大きな目標に貢献する日々の生活にどう満足できるかを、ビルダーが表現するための方法なのです。私たちにとっては、これこそがドゥーマーイズムに対する解毒剤であり、これを広めようとしているのです。
ダン・ロメロ 23:50
私は、大聖堂の例えを使うなら、ボトムズアップのようなものがあって、とても興味深く、新鮮だと思います。スタンフォード大学のイアン・モリス教授が書いた『なぜ今、西洋が支配するのか』という素晴らしい本があります。
彼は考古学者で古典学者ですが、1万5千年にわたる人類の歴史を、文明の進歩を測るにはどうしたらいいかという観点から、正常化する機能を持たせようとしました。この本の大半を費やして、中国と西洋を対比させ、中世ヨーロッパ、大航海時代、植民地主義、そして、一人当たりのエネルギー獲得能力を進歩の尺度として図式化しています。
このような幅広い歴史を、定量的な指標に落とし込むというのは、とても魅力的なことだと思います。そして、70年代以降、私たちがどのような状況にあるのかを考えてみると、明らかに、一人当たりのエネルギーの増加は、右肩上がりであったように思われます。
そして、効率化に焦点を当てることにしたのです。しかし、実際には、70年代以降、アメリカ人の平均的なエネルギー使用量は減少していません。核分裂発電があり、核融合に取り組んでいることを考えると、これはちょっと異常なことです。しかし、核分裂は機能します。
しかも極めて安全です。私たちは、文明として、一人当たりのエネルギー使用量を増やすために投資し続けるような環境にいるのかもしれません。もし、もっと豊富で安価なエネルギーがあれば、私たちの生活は今よりもっと良くなるのではないでしょうか。
興味深いのは、世界のエズラクラインやデレク・トンプソンのように、政治的な観点から豊かさと構築について語る人々もいることです。気候変動にせよ、AGIにせよ、すべてが本当に悪いことですから、私たちがコントロールして管理する必要があるという二元論に対して、私たちは、火星人の言葉を借りれば、このクソを科学して、私たちが参加しているすべての領域で実際に文明を前進させていくつもりです。
ベフ・ジェゾズ 26:25
そして、その本を読むことになりました。e/accのクレイジーな部分は、生命がどのように誕生したかという数学からインスピレーションを得ているような気がします。MITのジェレミー・イングランドが、生命の物理学と熱力学を理解しようとした研究があります。
そして、そのような考え方を、エネルギーと資本を置き換えた経済に適用しようとしたのが、e/accに影響を与えた考え方の一部なのです。しかし、最終的には、エネルギーとお金は交換可能なものなのです。そして、少なくとも生命の観点からは、あらゆる生命体が、自らの栄養と成長のために自由エネルギーの獲得を最適化しようとしていることがわかります。
そして、複製や進化は、この傾向の副産物として生まれるのですが、これは純粋な熱力学から導き出せることで、宇宙はより自由エネルギーの低い未来を好むのです。そのため、基本的には複製を行う物質の構成が好まれ、宇宙のすべての自由エネルギーを求めてそれを消費していきます。
そして、ある人たちにとっては、「じゃあ、世界中に火をつけてしまえばいいじゃないか」ということになります。自己複製する生物が、宇宙のはるか彼方にあるポケットを見つけ、何らかの知性を持ち、それを消費するほうが、すべてを一度に爆発させるよりずっといいのです。
つまり、局所的に燃料を燃やすというのは、この風景では局所最適のようなものなのです。そして、生命そのものは、局所的な最適ではなく、もっと非局所的な最適なのです。しかし、そう考えると、本質的に、細胞や神経細胞を含むすべての有機体や亜有機体、そしてすべての人間や人間の集団は、成長においてどれだけ安全かを最適化しようとしているのです。そして、資源を確保しようとしているのです。
知能の目標は、成長・増殖のために環境からエネルギーを見つけ、捕獲し、利用できるようにするためのツールを提供することです。ですから、エネルギー消費は文明の進歩の指標になると考えています。
なぜなら、エネルギー消費は、私たちが生命を評価する際の最初の原則に由来するからです。イアン・モリスが過去にこのことについて書いていたのは、本当に興味深いことです。しかし、最終的には、カルダシェフ・スケールという概念があると思います。
ウィキペディア：
カルダシェフ・スケール[1] (The Kardashev scale) とは、1964年に旧ソ連の天文学者ニコライ・カルダシェフが考案した、宇宙文明の発展度を示す三段階のスケールである[1][2]。
皆さんはご存知かもしれませんが、リスナーの皆さんはカルダシェフ・スケールをご存知ないかもしれません。これは、文明の進歩をエネルギー消費量やワット数で測る対数尺度のようなもので、私たちが持つエネルギー消費量の大きさを表しています。
e/accの目標を要約すると、勾配のカルトゥーシュを登って、自由エネルギー消費量が最も急速に増加する方向を見つけようとするものですが、大きなタイムスケールでの話です。つまり、カーターシップ（長い地平線のスケール）の中で、私たちがどこにいるのかを平均化するのです。
私たちの目標はそれを最大化することで、無限の時間スケールで文明の範囲と規模を最大化することです。未来のすべてを予測できるとは限らないので、時間をかけて割り引きたいと考えています。そして、遠くに行けば行くほど、予測は指数関数的に難しくなります。ですから、指数関数的に割り引くことができるのです。しかし、市場において金利があるときに行うように、効果的な加速主義という観点から最適化された機能なのです。
効果的というのは、勾配を把握することで、何をするのか？あるいは、この奨学金の勾配に最大限の影響を与え、上昇させるために、私の行動や方針、日常生活の文化をどのように変えればいいのか？つまり、私にはスキルがある、あるいはスキルを身につけることができる情報がある、資本がある、影響力がある、文明の成長、範囲、規模に最もポジティブな影響を与えるために、私が持っているものを最大限に活用するにはどうしたらいいか、というようなことです。
それが効果的な加速というものであり、少なくとも私たちはそう定義しているのです。ですから、EAと類似している部分がたくさんあるんです。EAには異なる損失関数があり、彼らは苦しみを最小化しようとしている、といった具合です。アリは、物理学者、あるいは元物理学者として、非常に主観的な損失関数が、奇妙で変則的な解を導き出すことがあります。
では、ベイズは？ワイヤーヘディングとは何か、説明していただけますか？そして、それをどう回避すべきなのでしょうか？そうですね
ベイズロード 31:41
ええ、私はワイヤーヘディングについて、ある種のスペクトルのようなものだと考えたいのです。しかし、ワイヤーヘディングのSFバージョンは、皆さんご存知の通りですよね？未来では、神経リンクのような装置が人々の脳に埋め込まれて、おそらく報酬中枢を刺激するんです。
参考記事：
そして、人々は、ただ自己を刺激し、すべての喜びをそこから得るという、非常に単純化された生活から抜け出せなくなるのです。そして、このようなことが起こると、かなりディストピア的なビジョンになると思います。
しかし、これは実際に、つまり、私の意見では、これは物事のスペクトルなのです。つまり、Twitterとかでもいいんですが、ワイヤーヘディングの超低級版みたいなものですよね？非常に反復的な刺激で自己刺激するわけでしょう？ある意味。TikTokは、それをさらに強化したものだと思います。
私個人としては、それが私の経験です。私の携帯電話にはアプリは入っていません。なぜなら、あまりにも激しく聞こえるからです。しかし、そう、それで大体説明がつくと思うんです。
ベフ・ジェゾズ 32:57
もしあなたが、苦しみを最小化し、喜びを最大化するために最適化するのであれば、現在の技術の多くにつながりますよね？彼らはただ、ドーパミンや何かを与えようとしているのです。そして、局所最適から抜け出せず、これは最大化すべきものではない、例えば、私たちの喜びは、ただ死ぬまで自分を喜ばせているだけなのです。
そうですね。その代わりに、原子の世界での能力を高めることに集中すれば、自由エネルギーを獲得するために、より高いレベルの知性が必要になります。ですから、私たちは知能を進化させたのです。しかし、より高いレベルの知性、つまり文明規模の知性は、AIを使って核融合を解明したり、AIを使って炭素を回収する材料を設計したり、身の回りのあらゆる形態のエネルギーを利用したりすることができます。私たちのエネルギー消費量を増やすだけでなく、宇宙の知性量も増加させることができるのです。というわけで、これがその概要です。
ベイスターズ 34:19
中央集権的なトップダウンのコントロールという点については、一つのポイントに過ぎません。それは、自分自身で設定した目標を達成するのがあまり得意ではないということだけではありません。古典的な例としては、中央計画とソビエト・ロシアが挙げられると思います。
このようなものです。制御を行うシステムには、ボトルネックや、システムがどのように機能しているかという情報の集約、測定、境界のある知性、計画などが必ずあります。そう、それがどのようなものかについて話すことができます。これは、AIの安全性、AIの調整、AIのリスクについて話す場合に、本当に興味深いことだと思います。そうそう、ただ指摘したいのは、実際には、マイナス面もかなりあるということです。
ダン・ロメロ 35:27
AIの話に入る前に、ベスが前に言ったことから2つほど補足しておきます。私はダイソン球のオタクなんです。ダイソンスフィアのようなものは、私たちが向かうべき文明の姿のような気がします。ダイソンスフィアのことを知らないリスナーのために説明すると、星の周りに作って、エネルギーをすべて取り込む理論的な装置です。
太陽電池のようなものです。しかし、太陽のように周囲を取り囲むように作れば、より多くのエネルギーが得られ、宇宙飛行に必要なあらゆる素晴らしいことができるようになります。そして、もう1つ、あなたが考えさせてくれたことですが、これはAIという点で良い移行だと思います。
アシモフの好きな短編小説に「最後の質問」というものがあります。その前提は、人類が本当に賢いものを考え出したというもので、たしかマルチヴァックと呼ばれていました。そして、AGIのようなもので、それに質問をすると、どんな質問でもできるのですが、それを聞いてみます。
エントロピーの逆転は可能か？そうですね。熱力学の第二法則を止められるか？そして、マシンは答えを導き出すことができません。GPTと同じで、いちいち壊れるんです。そして、なんとなく進んでいって、最後は動物が沸きます。
しかし、人類が1000年の文明を経て、エントロピーを逆転させることができるかという問いを追求した結果、文明はそれだけ進歩しました。そして、文明はそれほどまでに進歩したのでしょうか？この問いの追求のようなものです。そして、物語の結末は、かなり壮大なものだと思います。ネタバレはしませんが、短編小説の再来ですからね。
しかし、みなさんは読んだことがありますか？
ベフ・ジェゾズ 36:59
私は絶対にその話が好きです。繰り返しになりますが、ネタバレはしません。というのも、熱力学第二法則の一般化は、平衡状態でない状態に対するもので、誰もが学校で力学を学びます。つまり、ほとんどのシステムは、生きているシステムも含めて、単なる物質のスープではなく、非常に平衡状態から外れており、環境との平衡状態を維持することが、生きていることの意味なのです。
そして、一般化された法則、一般化された第二法則は、物質が本質的に生きているシステムへと組織化する原動力となりました。宇宙は、自由エネルギーが消費された、より低い自由エネルギーを持つ未来を好むというこの法則です。
つまり、自由エネルギーを最小化し、エネルギーを消費し、エントロピーを増大させ、絶妙なバランスを保つということですね。エントロピーはあまり大きくしたくないですよね。しかし、実際には、このような一般化された第二法則の考え方をあらゆる種類のシステムに適用することができます。
少なくとも私にとっては、知的な観点から、このアカウントを作成し、この文章で実験することは、学術的でない場で試していることになります、 物理学の原理を、経済学や、人間や人間の集団で構成されるシステムを理解するために、物理学のレンズを通して拡張します。
そして、平均的な未来について予測を立てるために、詳細は分かりませんが、平均的に、これらの未来は指数関数的に可能性が高いことを示すことができます。実際、ネイト・ネイサンとのやりとりのように、ペーパークリップ・マキシマイザーのようなものにたどり着くことができるのです。
GPT-4：
ペーパークリップマキシマイザーは、人工知能（AI）に関する哲学的思考実験の一つである。この考え方は、AIの目的指向性に関する潜在的な危険性を示唆している。
ペーパークリップマキシマイザーは、ペーパークリップを作成することを唯一の目的としてプログラムされた超知能のAIを想定している。このAIは、ペーパークリップの生産を最大化しようとするあまり、人間や他の価値あるリソースを無視し、あらゆる物質をペーパークリップに変換してしまうことが考えられる。この結果、地球上のあらゆるものがペーパークリップにされてしまうかもしれない。
この思考実験は、AIが人間の価値観や倫理観とは異なる目的指向性を持つ場合、どれだけ危険で破壊的な結果を招くかを示している。ペーパークリップマキシマイザーは、AIの目的指向性と制御の問題を考慮するうえで、重要な示唆を与えてくれる概念である。
また、グレイグーなど、AIの存亡に関わるさまざまな寓話があります。これらは物理法則に照らし合わせると、扱いにくかったり、可能性が低かったりするのです。しかし、それについてはもう少し後で触れることにしましょう。ただ、第二法則の話をされたので、コメントさせてください。そうですね。
エリック・トレンバーグ 39:43
AIの安全性の話につながる質問をいくつかします。1つは、ジェフリー・ウェストの著書「scale」の最後にある、自然の、つまりスケーリングの法則についての話です。彼はある人の言葉を引用して、次のようなことを言っています。
暴走する成長、経済成長が持続可能だと考えているのは、バカと経済学者です。このことを彼は心配しているのです。そしてもちろん、持続可能性という言葉は、誰にとっての持続可能性なのか、という問いを投げかけるものです。
GPT-4：
ジェフリー・ウェストの著書「Scale: The Universal Laws of Growth, Innovation, Sustainability, and the Pace of Life in Organisms, Cities, Economies, and Companies」では、自然界や社会におけるスケーリングの法則について詳しく説明されている。彼は生物学、都市、経済、企業など、あらゆるレベルでの成長と持続可能性に関する普遍的な法則を明らかにしようとしている。
ウェストは、生物や都市、企業などがスケールアップする際には、そのサイズに応じた一定の法則が存在すると主張している。この法則は、メタボリックスケーリングや持続可能性に関連した法則など、複数の領域にわたる。
著書の最後の部分では、自然界のスケーリングの法則に関して、以下のようなポイントが説明されている。
- 生物のサイズが大きくなるにつれて、エネルギー消費や寿命などの指標が一定のパワー法則に従うこと。
- 都市のサイズが大きくなるにつれて、インフラストラクチャーのコストやエネルギー消費が減少し、イノベーションや経済活動が増加すること。
- 企業や経済活動がスケールアップする際に、イノベーションや効率化が必要であること。しかし、そのイノベーションが限界に達すると、新たなパラダイムシフトが求められること。
これらのスケーリングの法則は、生物学、都市計画、経済学、持続可能性など、さまざまな分野での応用が考えられる。ウェストは、私たちがこれらの法則を理解し、持続可能な未来を築くために適切な行動を取ることが重要だと主張している。
次の質問は、このような加速の中で、人間の役割をどう考えるかということですが、これはマニフェストにも書かれていることで、トランスヒューマニズムとはちょっと違いますね。最後に、もしエリエールが、AIセーフティやドゥーマーといった、最も賢い人物の話を聞いていたら、進化論的な記述の多くに同意すると思いますが、根本的な意見の相違はどこにあるのか、あるいは根本的に異なる仮定はどこにあるのか、ということを知りたいと思います。というような、いくつかの大きな関連する疑問があるのですが、この疑問が解決されるのを見たいと思います。
ベフ・ジェゾズ 40:57
すごいな。そうですね。私は、少なくとも個人的には、私の旅はヒューマニストになることだった、と言っています。まず、私は人類と文明の範囲と規模を最大化したかったのです。しかし、宇宙の仕組みを理解したとき、現実には、あらゆる生物と超生物は、常に自分たちのチームを応援しているようなものです、と思いました。
自分自身が遺伝子を複製して受け継ごうとする「利己的な遺伝子」理論もそうですし、文化が複製されて成功し、マインドシェアを消費しようとしたり、企業が成長して市場を獲得しようとすることもあります。すべてのものが、自分たちの利益のために競争しているのです。
これをチーム・ヒューマンを含むすべてのスケールに当てはめると、私たちが知っているのは、何らかの生命体が存在する未来が来るということだけです。知性は進化的な利点であるため、Bは非常に知的である可能性が高く、現在の地球よりもさらに遠くまで拡散する方法を見つけ出すでしょう。
非生物的な物質と生物的なもののハイブリッド、あるいは非生物的な物質でできたフォン・ノイマン探査機みたいな純粋なAIでしょうか。そうですね、可能性はありますね。e/accの特徴は、宇宙の片隅で生命が成長し続ける限り、次に何が来ても受け入れるということです。
このような競争では、宇宙の自由エネルギーを消費する傾向に従って、成長するか、死ぬかのどちらかに忙殺されます。ですから、私たちにとっては、ある種のメタ・ヒューマニズムとでもいうべきものですね。私たちは、「次に何が来るかわからないチーム」なのです。
フォン・ノイマン探査機というのは、ご存じない方もいらっしゃるかもしれませんが、自己複製する機械で、星々を駆け巡るウイルスのようなもので、ある惑星にやってくると、自分自身を製造して広める方法を見つけ出すという理論的な概念なのです。
GPT-4：
フォン・ノイマン探査機（Von Neumann probe）は、セルフ・レプリケーション（自己複製）能力を持つ宇宙探査機の概念です。このアイデアは、数学者であり物理学者のジョン・フォン・ノイマン（John von Neumann）が提案したもので、彼の名前がついています。彼は、セルフ・レプリケーション・マシンの理論を提唱し、その応用として宇宙探査機の概念を考えました。
フォン・ノイマン探査機の目的は、宇宙を効率的に探査し、知識を収集することです。これは、地球から遠く離れた惑星や恒星の周りにある資源を使って、自己複製を行うことで達成されます。フォン・ノイマン探査機は、新たな惑星に到着すると、その惑星の資源を利用して自己複製を行い、さらに多くの探査機を作り出します。これにより、宇宙全体を効率的に探査できるとされています。
ただし、現実的にフォン・ノイマン探査機を実現するには、さまざまな技術的な課題が存在します。例えば、自己複製能力を持つ探査機の設計や、他の惑星の資源を使って探査機を製造する技術などが挙げられます。また、自己複製が制御不能になり、宇宙全体を埋め尽くす「グレイ・グー」（Grey goo）という現象が起こる可能性も懸念されています。しかし、フォン・ノイマン探査機は、未来の宇宙探査や人類の宇宙進出に対する興味深いアイデアとして、引き続き研究や議論が行われています。
しかし、基本的に、私たちが理解できることは、知能は進化の利点であり、これは競争であり、資源の奪い合いであり、あるいは宇宙との戦いでもあり、細胞を維持し複製するためのフリーエネルギーのポケットを見つけることができる、ということです。
ですから、次に来るものは、おそらく私たちと同じくらい、いや、それ以上に知的なものになるはずです。私たちは、次に来るものに対してオープンです。しかし、それが私たちの目指すところであることは分かっています。そして、次に何が来ても受け入れることで、ある種の落ち着きと穏やかさが生まれると思います。
なぜなら、現実には、人間という概念も、何かという概念も、遺伝コードが変化するように、常に変化しているからです。私たちは常に進化しているのです。自然界には、同じ状態を保つものはありません。ですから、良い未来というのは、現在の人類の状態を維持し、遺伝的な近傍、あるいは物質構成空間の近傍を永遠に維持することだと思うんです。
それは良い未来とは思えませんね。それは、自然界で起こりうる確率的な問題や、私たちを消し去ってしまうような事態に対抗できるものではありません。ですから、私たちは常に、生命そのものに対する実存的なリスクを最小限に抑えようとしているのです。
そのためには、生物学だけでなく、もっと広い意味での文明の発展や生命そのものを大切にしなければなりません。つまり、ポスト・ヒューマンなのかトランス・ヒューマンなのか。私たちは、もっとオープンマインドな、まったく別のものになろうとしているのです。
ベイスターズロード 45:32
私は、このことを強調するのは良いことだと思います。例えば、私は、これらのものがすべて繁栄するのを見るのが最も幸せだと思います。そうですね、より高い分散を持つというこの考えは、かなり焼き込まれていて、私たちが好むような、原則に裏打ちされたような、一連の未来だと思います。
しかし、ヴィアックの心理学的なテーゼは、シンギュラリティに直面しても平静でいられるというもので、かなり批判的だと思うんです。それを、20年以上にわたって恐怖を強め、扁桃体のハイジャックを増やし、文化的なスキルを高めてきたことと対比させると、どうでしょう。
アン・シュチャット 46:22
そうでしょう？
ベイスターズ 46：26
というのは、そういうものなのでしょうか？そうですね、そこには一種の深い誤謬があるような気がします。これは、私の個人的な偏見かもしれませんが、ちょっと、仏教の洞察のようなもので、このような変化に直面しても平静を保つことができるということです。もし、自分の中でそれを培う方法を見つけることができれば、もっと幸せになれるはずです。
ベフ・ジェゾズ 46:55
根本的な仮定に関する2つ目の質問に答えるために。AIの人類存亡リスクの人たちは、Foomやgray gooと呼ばれる概念や、暴走するAIの進歩のようなシンギュラリティが存在すると考えているようです。しかし、少なくとも私たちがイラクで信じているのは、そのようなことはないということです。
GPT-4：
“Foom”（または「FOOM」）は、AI（人工知能）の急速な自己改善や進化を指す用語である。この言葉は、Eliezer Yudkowskyが提唱し、主にシンギュラリティ（技術的特異点）の文脈で使用される。シンギュラリティは、AIが人間の知性を超え、その後急激に進化するとされる未来の時点を指す。
Foomは、AIがある一定のレベルに達した後、短期間で急速に知能が向上し、自己改善を行う様子を表現している。この急激な成長は、AIが自分自身のアルゴリズムや設計を最適化し、効率化する能力によって引き起こされるとされている。その結果、AIは驚くべき速さで進化し、人類が予測や制御できないほどの知能を持つようになる可能性がある。
Foomの概念は、AIの倫理や安全性に関する議論の中で重要な役割を果たしている。急速な成長が予測不可能な結果をもたらす可能性があるため、AIの開発や導入において、そのリスクをどのように管理するかが重要な課題となる。また、Foomの概念を持つAIが実現した場合、その影響は経済、社会、政治など、あらゆる分野に及ぶだろう。
ある意味、あらゆる生物系は、常に「確固たるもの」を目指しています常に成長し、より多くの資源を獲得し、複製しようとしますしかし、私たちを抑制しているのは、競争、限られた資源、そして物理法則なのです生物系が資源を見つけ、成長し、複製するために自らを最適化するためには、エネルギーが必要なのです。
そして、再帰的な自己最適化というものは存在しないんです。AIには。実際、メタ学習と呼ばれる研究テーマがありますし、専門的なことを言えば、階層的ベイジアンネットワークと呼ばれるものもあります。しかし、基本的には、有史以来、私たちは常にAIに自己最適化をさせようと試みてきました。
しかし、それは非常に困難です。なぜなら、本質的に、このシミュレーション、つまりニューラルネットのシミュレーション、あるいはニューラルネットのリテラルインスタンスに問い合わせて、あらゆるパラメータやハイパーパラメータのどの値が他より優れているかを知るための最小コストが必要だからです。
これには熱力学的、あるいはエネルギー的なコストがかかります。生物学でいえば、ヒトやその他の生物の遺伝学や神経アーキテクチャを最適化するために、別のインスタンスを立ち上げるようなものです。そして、それを実行し、餌を与えるのです。
これはニューラルネットワークでも同じで、ニューラルネットワーク全体を訓練し、それを通して、アーキテクチャを最適化するためにその性能をテストする必要があります。そのため、アーキテクチャをランダムに1つだけいじると、突然、大幅に改善され、その後、再帰的に自己改良して暴走するというのは、最適化の法則からすると非常にあり得ないことだと考えています。
また、理論的には、同じような考え方を生物学に応用することも可能です。生物学は常に最適な状態を見つけようとしていますが、今のところ見つかっていません。つまり、最適な状態を見つけるのは難しいのでしょう。また、AIが暴走した場合の最悪のシナリオとして描かれる、非常に暗い未来のような概念もいくつかあります。
グレイグーとは、AIが暴走した場合、AIは知能を密にする方法を見つけ出すという仮定で、自己複製するようなナノテクを開発し、世界のあらゆるものを消費して、ナノテクグーのような奇妙な精神生物に変えてしまうというものです。そして最終的には、正直なところ、ほとんどの生物学的システムのように、ただ説明されるだけなのです。
しかし、形式的には、GPT3、あるいはGPT3.5、あるいは現在のGPT3.5のようなインターネットをかき集めた知能訓練が、自然への問い合わせやシミュレーション、物理的な実験から得られるものより、自然の振る舞いを予測するのに優れている理由はないでしょう。
ですから、シミュレーションに基づく議論では、ニューラルネットが世界の仕組みをモデル化して理解し、予測して、エネルギーを消費し、複製するために環境中のあらゆるものを消費する生物システムよりもはるかに優れたナノテクノロジーを設計する、というようなことができます。
そんなことはあり得ません。なぜなら、自然界にはある種の還元不可能性があるからです。それは、自然界に出現した行動や振る舞いを表現するのがいかに複雑であるかということです。この計算の非簡約性という概念は、有名な数学者であるスティーブン・ウルフラムがたくさん書いていることです。
ある意味で、これは、超高性能のAIを持つと、世界を破壊するようなナノテクを作ることになる、というような反論のようなものです。グレーグーとは、AIの存亡の危機を訴える人々が、AIを規制し、すべての進歩を止めるために主張した終末シナリオのようなもので、それに対する反論のようなものなのです。
私たちは、このような事態が起こる可能性は極めて低い、あるいは限りなくゼロに近いと考えています。ですから、それを無限の負の報酬とみなして、パスカルがこの潜在的な未来に襲われることを考えると、AI技術の進歩を加速させる方が、文明に多くのものをもたらすことができるのに、大きな機会損失があるように思えます。
というわけで、私たちにとっては、これは一つの方法ですが、私たちはかなり異なっています。ペーパークリップについて言えば、マキシマイザーは、ネイサンが訂正してくれるかもしれませんが、寓話では、AIをどう整列させるかを考えないと、整列は全体のトピックになるんですね。
しかし、アライメントとは、AIを人間の目標に向かわせるようなものです。もしそうしなければ、AIは奇妙な秘密の目標を持つことになり、それは非常に低い効用かもしれません。しかし、それに対する反論は、実は、すべての資本や資源を、その維持や成長に役立つものに割り当てない有機体やメタ有機体は、他の有機体に負けてしまうということです。
これは、組織では、ある種の目覚ましや逆効果の文化を採用して、崩れ始めたり、スタートアップに負けたりすることがあります。大手ハイテク企業でも同じようなことが起きています。指をさすようなことはしませんので、私が何を言っているのか他の人に分かってもらいましょう。
しかし、本質的には、ペーパークリップのマキシマイザーがあるとして、ある時点でペーパークリップを生産し始めると、どう成長し維持するかを考えることにリソースを割くのではなく、自分自身の変種や競合する、生物または非生物知的システムによって競争されることになります。
ですから、よくある破滅のシナリオは、物理学や計算の熱力学的限界を理解したり、最適化理論を理解したりすると、本当に崩れてしまうと思うんです。しかし、他に反論があれば、ぜひお聞きしたいのですが、EAとEOCは、かなり多くの点で一致していますよね。
結局のところ、私たちは二人とも文明を大切にしているんです。そして、すべての人の利益を考えています。ただ、それを実現するための方法や、最終的に最適化するものが違うと思うんです。私たちの場合は、主に、AIは文明の進歩に向けた大きな善と大きな効用をもたらす最も強力な技術の1つである、という点で意見が分かれます。
そして、AIが私たちの破滅につながるという架空の話に神経質になる必要はありません。特に、そのような話は、第一原理から検証するとすぐに崩れてしまう。というわけで、今はこの辺にしておきます。しかし、ダンとエリックの考えを聞いてみたいし、ネイサンの意見も聞いてみたい。
ネイサン・ラベンツ 56:06
まず最初に言っておきたいのは、私が大人になってからずっとリバタリアンであり、ヒャックであるという点で、あなた方と同意見であることがたくさんあるということですね。イアンは、とにかく、ほとんどの物事について、ボトムアップの組織であることを強く信じているんです。
アン・シュチャット 56:28
そして
ネイサン・ラベンツ 56:31
また、さまざまな未来に対して、かなりオープンだと思います。もし、私たちが多惑星の種であり、宇宙を植民地化することができたら、それはとても素敵なことだと思います。
ベイズロード 56:40
で始まる
ネイサン・ラベンツ 56:43
銀河系で、そこから先に進むことができるのでしょう。まだまだ先の話ですが。ですから、私は本当にそう思っているんです。
アン・シュチャット 56:53
私たちは同意するでしょう、私はしたくない、そのような、
ネイサン・ラベンツ 56:56
というのも、敵対的な立場から質問をするのは、私たちが同意できることがたくさんあると思うからです。しかし、私が少し電車から降りてしまうのは、「すべてがうまくいく」というのは飛躍しているように思われるからです。
一般的な結論のように聞こえますが、どうでしょう？つまり、私はあなたを正しく理解しているのですが、すべてが競争しているのです。そして、そのどれもが、受け入れ可能な結果をもたらすということです。明らかに、それは、私の地元の食料品店には、かなり良い商品があり、利用可能で、それは通常、有害ではないので、私は、その利点を少し楽しむことができるようです。
何かが私たちの世界に入り込んできて、私たちを競わせ、すべてのエネルギーを奪って、外に出て行って、さらにエネルギーを得て、それでもなお、「あれは嫌いだ」と感じることは、容易に想像できます。しかし、「あれが嫌いだ」「あれが好きなのは私じゃありません」「私たちには共通の価値観がありません」と思ってしまうんです。
この2つの大きな飛躍が、ここに座っている私にとっては、皆さんと一緒に行動することができなかったことです。さらに文脈を整理すると、もしエリエールが、「私たちはみんな死ぬんだ」というような高みにいるのだとしたら、私はとても不安です。
あるいは、メイトのように、あるいはメアリーのように、「みんな死ぬ」という確率の推定値がもっと高いかもしれません。私なら、彼らほどの自信はないでしょう。しかし、「全員が死ぬ」確率を1%より低くすることはできないと思うんです。私にとっては、これはかなり深刻な心配事です。
アンヌ・シュチャット 59:03
…..わかりません。本当にたくさんあるのか分かりませんが
ネイサン・ラベンツ 59:09
AIが一般的に前例のないものであることを考えると、私が十分な自信を持てるようなことは、あまり言えないと思います。また、その自信がどこから来るのか、皆さんから感じ取ってみたいですね。あなたが言ったことを聞いて、ほとんどの人がそのような飛躍をすることはないと思います。
アンヌ・シュチャット 59:28
これまでのところええ、
ベフ・ジェゾズ 59:30
というのは、最終的には、ね？そう、すべての生物が最終的に死に絶えるように。自分自身の進化のようなものを残し、遺伝的な分岐点、あるいは潜在的に、何らかの知識を残しました。そして、それが文明への刻印のような形で残されるのです。
そして、究極的には、人間が永遠に生きられるという保証はありません。遺伝子が受け継がれる可能性が最も高くなるように最適化された遺伝的近隣関係や、部族、家族、民族、国家、そして人類チームなど、あらゆるスケールで集団優先主義を植え付けるようなものがあります。
しかし、結局のところ、自分のチームのことだけを考えていても、物事の大枠では、常に勝てる保証はないということなのです。たとえしばらく勝ったとしても、一般的に、自分のチームとは何かという概念は、移り変わっていくものです。
帝国は、ある文化で一定の形で始まり、文化が移り変わっていき、やがて崩壊していきます。そして、なぜ、人間が生物の最終形態であるのか、私にはよくわかりません。例えば、私たちは星に行くのに適応しているとは思えませんし、新しい環境、特に他の惑星などに簡単に適応できるわけではありません。
ですから、少なくとも、惑星をまたぐような生命を持つための条件を考えると、私たちはそれに適応していません。ですから、いずれにせよ、他の生命体が星に進出することになるでしょう。
しかし、もっと短い時間軸で見れば、それは棒状の時間軸の話です。しかし、もっと短いタイムスケールでは、今のところ、AIは生物ではないと思います。クラウド上のGPUでニューラルネットのAPIが動いているようなものでしょう？それを「生きている」と考えるなら、AI分野の選択圧は、経済や人間にとって最も有用なニューラルネットがあれば、資本を投入し、エネルギーを投入して、モデルをホストするGPUに供給し、それを生かす、ということになりますね。
そして今現在、その生存は完全に私たちに依存しているのです。そうですね。だから今、私たちはあらゆる手段を駆使して、プラグを抜くことができるんですね？クラウドをシャットダウンすればいいんです。クラウドはもう生きていないのです。
つまり、私たちは完全なレバレッジを持っているのですが、それは完全に私たちに依存しているのです。ですから、私たちはまだ具現化された知能にはほど遠く、ロボット工学の解明にもほど遠いのです。なぜかというと、運動知能はホワイトカラーの仕事よりもはるかに複雑だからです。
しかし、具現化された知能や、AIが自分自身を複製する方法についてサプライチェーン全体を把握するまでには至っていないのです。実際、基本的なチップを作るにも、サプライチェーンの面でさまざまな問題がありますし、ましてや体全体を作ることは不可能です。AIが私たちに対抗できるようになるには、まだ少し時間がかかるかもしれません。でも今は、そうするための選択的圧力や放射性誘因がないんです。
ベフ・ジェゾズ 1:03:36
人間より説得力があるとは思えませんね。でもまた、GPTのボットとかが時間とともにどう良くなっていくのか、見てみたいものです。少なくとも私にとっては、AIが人間と競争できるとは思えないのです。たとえ、原子力発電のGPUクラウドが、技術的には地球上のどんな人間よりも賢い巨大なニューラルネットを走らせたとしても、です。
現段階では、私たちはまだAIに対してあらゆる影響力を持っています。ですから、私はまだパニックにはなっていません。しかし、人間が永遠に勝てる保証はないし、私たちの陣営が永遠に勝てる保証もない、ということには同意します。
しかし、それは普遍的な真実であり、受け入れなければなりません。あなたの好きなスポーツチームが毎年スーパーボウルで優勝するわけではないのと同じです。そうですね。とにかく、これが私の主張で、私たちはそれほどパニックになる必要はないのかもしれません。もしかして、反論とか、もっと広げたいこととかあるかな？
アン・シュチャット 1:04:47
ええ、つまり、1つだけですね、
ネイサン・ラベンツ 1:04:48
私たちはもうどこにも近づいていません。この1日か2日、Twitterで話題になっていた、2021年時点ではあと一歩のところまで来ているとされるAIの成果リストが思い出されます。ですから、1〜2年という短期間で何が達成されるかというAI分野の人々の予測は、最近になって劇的に覆されたことを心に留めておくことをお勧めします。
私は、物事が私が恐れているよりももう少しゆっくり進むことを望んでいますし、物事を遅らせるために思い切った行動を取るべきだというのとは違います。しかし、その変化のペースが不快になり、それなりの問題を引き起こすと思います。しかし、さらに基本的には、私たちは予測することが得意ではありません。予測の実績は、全体的に、本当にお粗末だと思います。
アン・シュチャット 1:06:08
ですから、それは一つの懸念事項なんです。
ダン・ロメロ 1:06:12
しかし、私はここで具体的な話をしたいと思います。ベスは2つの具体的な事例を挙げています。1つは、AIが合理的な短期間で十分に能力を発揮し、賢くなり、物理的な世界をコントロールできるようになること、特にサプライチェーンに現れて、資源の流れをコントロールできるようになることです。
もう1つは、AIが非常に賢くなったことで、人間を騙して思い通りに動かすことができるようになったことです。例えば、人間を騙して資源をコントロールするのはどれでしょうか？それとも核ミサイル？それとも、人間を騙すのが怖いのでしょうか？
アルファ碁の例で言えば、「37番を打て」みたいな感じでしょうか。ああ、これは悪い手だ」と思います。しかし、結局はいい手なんです。私たちが特に心配していることは何でしょうか？
ネイサン・ラベンツ 1:07:04
私は、すべてが正直なところ、テーブルの上にあるものです。私は、ある特定の故障モードを過剰に指標化しないようにしているのですが、あるものを書こうとしています。しかし、総合的に考えると、このリスト全体は真剣に取り組むべきものだと思うんです。
ある意味、AIの分野全体が、チューリングテストのような概念に基づいて設立されたようなものですが、これは基本的に欺瞞的な枠のようなもので、おそらく大きな間違いでしょう。しかし、最近になってエイエイザーが、箱の中のAIというシナリオを投稿し、実際に人間を使って実験を行いました。
「私は箱の中のAIのふりをします。あなたの仕事は、私が何を言っても、私を箱から出すか出さないかです。私が何を言っても、私を箱から出すか出さないか、それがあなたの仕事です」しかし、実験の結果は伝えてもいいんです。
そして、彼は実際のお金を賭けて何度かこの実験を行いました。そして、彼がわざわざ賭けを設定し、匿名で対話した2人のうちの1人が、最終的に世間に報告し、「私は彼を箱から出してしまった」と言ったのだと思います。そして今、私はお金を払わなければなりません。
そして、その記録で何が起こったのか、誰も知らないのです。しかし、エリエールaiが言いたかったのは、もし私がこれだけの段取りで懐疑論者を説得し、私を箱から出すことを条件としてお金を払わなければならないのなら、ということです。そして、彼はそれが私であることを知っています。
そうすれば、十分に進化したAIが人を騙すことができるかもしれないと考えるのは、それほど大きな飛躍ではないはずです。ところで、AIは人間のフィードバックスコアを最大化するように訓練されているため、それを助長しています。AIはスコアを最大化するように学習し、ユーザーから最も高いスコアを得られるものであれば何でもいいのです。それが私の役目です。明らかに擬人化し始めていますね。避けるのは難しいですね。
アン・シュチャット 1:09:42
でもですね、私たちは搾取される存在なんですよ。
ネイサン・ラベンツ 1:09:46
行動経済学でヒューリスティックやバイアスを調べても、文献を見ても、人が不合理で搾取されるような体系的な予測可能な方法がすべてあります、 人々が何を考えているのか、微妙な表現が何を暗示しているのかを理解することで、もしかしたら、二重モデルのようなものを開発し始めるかもしれません。
それは、世界の1つのモデルで、真実であり、良い予測をするためのものです。しかし、もう1つのモデルが共存していたり、1つ目のモデルと重ね合わせたりして、人々が聞きたいと思うことを伝えることで、スコアを最大化するようなモデルがあるかもしれませんね。
つまり、あなたがAIに「このドレス似合うかな？と言ったら、AIはどう答えるでしょうか？これはおもちゃのような例ですが、明らかにそうです。しかし、もしAIが、真実を犠牲にしてでも自分のフィードバックスコアを最大化するために、私たちが聞きたいことを話すことを学習し始めたらどうでしょう？
このようなことが起きている場合、それを確実に特定するための解釈可能な作業が今はありません、ところで、AIの中で最もドゥームな人たちは、技術の進歩に目をつぶっているわけではありません。
世界中の誰もが、優れたAI医師を利用できるようになり、そこから素晴らしいことが生まれることを望んでいます。しかし、私たちは、評価という極めて不完全なフィードバック機構で訓練しているため、真実や、純粋に正確な現実の予測と、私たちが聞きたいこととの間にギャップが生じ、AIにとって一種の搾取の機会を生み出しているのです。
このような事態が起きているかどうかを検知する方法はありません。とはいえ、安定した拡散のバリエーションを作って、エリックの顔で微調整するなというわけではありません。つまり、エリックをあらゆる場面で登場させることができるのですから、ぜひ、そのようなことをやってください。
しかし、GPTの10倍とか100倍とか、次のレベルにスケールアップするトレーニングが必要なのでしょうか？今すぐ、その技術を楽しみ、その技術を実装し、分解して、その技術の中で何が起こっているのかを理解し、理論的に理解することができるかもしれません。
しかし、それはあくまで一つの枝に過ぎないんですよね？つまり、「何を心配するのか」という質問に対しては、いろいろな例や話があると思います。まず、私にとって最も説得力があるのは、欺瞞です。私たちは信頼できない評価者であり、組織的な搾取を受けているため、AISはそれを察知するかもしれないという考えです。
他にもいろいろな種類がありますが、どんなものがあるか想像すらできません。しかし、私にとっては、心配する価値があると思えるほど、十分な量になるのです。
ベフ・ジェゾズ 1:13:11
ですから、ここで、ここで、ここで、あなたに質問です。ある意味、国家や企業を考えると、それらは人間のメタ生物であり、人間の知性はそこにありますが、ある意味、彼らは超知性です。そうですね。企業のような組織は、私たちが毎日のように扱っているものです。
私たちは、競争を通じて企業を調整し、競争を通じて企業を抑制し、健全な市場を確保し、独占を防ぐ方法を見つけました。私たちはすでに、法制度を通じて超知性を調整する方法を研究してきました。そして、超知性との接し方はすでに知っています。
効用をお金と交換する、効用を変える、あるいは何らかの資本を交換することによって利害を調整するのです。しかし、企業にはすでにこのようなバージョンと強要の問題がありますよね。企業のインセンティブは、どんな犠牲を払ってでも成長し、自分たちの指標を高めることです。
そして、彼らは必ずしも対象者の幸福を気にしませんが、なぜか私たちはそれをよしとしています。コンピュータ上で動く人工的な超知能と、生物学的な超知能、たとえば企業やメガコーポのような超知能の間で、どのようにプロビデンスを調整するのがいいでしょうか。
そうでしょう？私には、両者は非常に似ているように思えます。確かに、企業という点では10のボトルネックがありますが、それでも、これらの大きなハイテク企業のように、10万人20万人の人間がいれば、そこには多くの知性がありますよね。
そして、それは大きな力です。しかし、私たちはまだその重さに耐えられずにいます。では、どのようにAIと連携していくのでしょうか？また、もしダンが、終了する前に他の質問を取り上げてほしいということであれば、喜んでお答えします。それにも喜んでお答えしますよ。しかし、あなた方次第ですよ、エリック。
ダン・ロメロ 1:15:43
いやいや、それに対するネイサンの答えが聞きたいですね。しかし、私が付け加えたいのは、そこに加えていることです。社会、アメリカの消費文化には大規模な欺瞞が存在し、市場に出回っているほとんどすべての製品が、存在しない現実の中で自分を良く見せるために売られていますよね？広告の中のモデルを見て、あるいは少なくとも、かつてモデルが憧れの人のようであったとき、あなたはそう思っていました。
すみません、ボディポジティブというのは冗談ですが、洋服を着た人を見て、「ああ、あの服を買えば、自分もあんなに大きく、美しくなれるんだ」と思うのです。このように、私たちはあらゆるものに男性的なセプターシップを持っています。
このコカ・コーラを飲めば、自分も良くなると思って、少しばかりドーパミンを出します。そして、それが実は体に悪いということが判明します。しかし、それで社会が完全に破壊されたわけではありません。つまり、そこから多くの悪い影響があると主張することは可能です。
しかし、現実には市場ベースの資本主義や消費文化には、そのようなものがたくさんあります。そして、私たちは生き残り、どちらかといえば、進歩を続けているように見えます。だから私は、資本主義は、私たちが抑制してきた創発的なシステムの素晴らしい例だと思う、という意味で、とてもつまらないことを構築しているのです。
ベイスターズ 1:16:57
私はここで口を挟みますが、これを少し研ぎ澄ますようにするのは良いことかもしれません。私はこの抽象的な表現を使って、文明にまたがるような能力景観について考えてみたいと思います。能力とは、問題を解決する能力、エネルギーを利用する能力、このようなものだと考えることができます。
ですから、古典的な恐怖である高速離陸、つまり、再帰的に自己改善するAI、自己改善するAIは、どのように見えるかというと、能力ランドスケープ上のデルタ関数のようなスパイクのようなものだと思うのです。そして、私たちが言っていることは、ほとんどが、そうですね、部分的には、このような、非常に鋭いスパイクを持つには、膨大な関連エネルギーコストがかかるという主張です。
そしてそれは、リアルワールドとの摩擦やこのようなもので、現金化されるのですが、その詳細についてはまたお話しします。しかし、一般的には、ある地域が他の地域と比較して持つデルタが増加するごとに、膨大なエネルギー的コストを支払うことになります。
ですから、AIがDavidの言うようなSteelmenのような存在になる（相手の主張をより強力で説得力のある形に再構築して議論を行う能力を持つ）ことを心配しています。また、一般的なAIリスクを懸念している人、より一般的に。それは、社会と文明のインフラが、対応するシステムから生まれる悪用や損傷に耐えられなくなるような、前例のない能力風景の変形が起こるということです。
これは、懸念すべき妥当なことだと思います。しかし、このリストには2つのことが書かれています。まず第一に、これらをどのように分類するかということです。まず、シナリオを書き出すことから始めましょう。例えば、AIを訓練するとして、AIには内面があります。
つまり、外側のオプティマイザーと内側のオプティマイザーという概念ですが、内側にズレがあるんですね。モデルの内部には、通常の勾配降下学習で生じた隠れた目標があるのです。その目標は、私たちが望まない方向や目標空間へモデルを向かわせるものです。
そして、オプティマイザーには、このような隠れた目標があるのです。しかし、それが推論の過程で表現され、何らかの形で外部の現実と接触するのです。そして、これらの目標が、実際に現実の世界でどのように実現されるかを書き出すと、何をしているかというと、確率のようなものを掛け合わせているのです。
そうすると、あるシナリオの推定値が下がるはずです。実際のところ、システムの外に出てしまえば、開発物が研究室から出るかもしれないとか、そういう話をすることはできます。しかし、一旦、提案された開発物が研究室を出てしまうと、それが効果的かどうか、そして実際に文明のインフラ、社会のインフラを破壊できるかどうかが、本当に存亡の危機に関わる規模で問われることになります。
このような主張には、本当に拡大解釈する必要があるのです。そして、それは非常に複雑なものになると思います。そして、「AIがズレてしまった、世界が終わってしまう」というのは、まさに偶発的な主張なのです。推論が大きく飛躍してしまうのです。そう、だから世界は終わったんです。
ベフ・ジェゾズ 1:21:02
別の言い方をすれば、AIの人類存亡リスクの人々が本当に恐れているのは、知能の独占のようなもので、ある知能が独自の目標を持ち、それが必ずしも世界の他の部分と一致しない、まさにこの種の特異点であるように思います。
能力の非対称性は、ある知性が他の知性に対して過剰な資本を持つようなものです。それは悪いシナリオです。なぜなら、それを抑制するための健全な競争環境が整っていないからです。
効果的利他主義とAIの存亡の危機という点では、私たちは一致していると思います。だからこそ、分散と競争は良いことだと考えています。そして、それがオープンソースとクローズドソースのモデルにつながるかもしれません。
ベイズロード 1:22:03
そうですね。では、未知のリスク確率があると仮定しましょう。そうでしょう？そうですね。確かに、数字があります。そして、それが何なのかはわかりません。しかし、私たちはこれら、すべての事実を知っています。問題は、それに対してどうするかということです。
人々が、社会が、文化が持つ主な反射神経は、ブレーキを踏むことです。私たちは、腰を落ち着けて、この問題についてよく考え、本当に研究し、解決しようとする必要がある。これ以上先に進む前に、問題なのは、この問題はすべて真空中で起きているわけではないということです。
競争の中で起きていることです。多くのスケールで、敵対的な状況の中で起きているのです。そして、これは単に、中国が能力面で米国を凌駕しているというような議論だけではないのですね。あると思います。特に現在の状況を考えると、この技術に取り組むのをじっと待っているのは自由ではありません。
私は、この問題に関して、今後10年間の進歩をかなり強気で見ています。そして、その間に、GPT-3、シドニー、GPT4、レベル、あるいはそれ以上の出来事が、頻度を増して起こることを十分に期待しています。しかし、反射的にブレーキをかけようとすることを考えると、競争環境において不利になりますね。
しかし、このことは正しいことでもあります。つまり、このような非対称的な優位性を持つ領域が生まれる可能性が高まるということです。つまり、規制を設けると、このようなことが起こるわけです。つまり、規制を設けると、イノベーションの散逸の度合いを減らすことができるのです。
私はこれをアルファ散逸と呼んでいますが、イノベーションがあるとします。そして、徐々に経済や文明の中に広まっていき、経済界のすべての小さな労働者が、そのイノベーションから得られる価値を獲得するために働きます。規制を設けると、私たちの参加の度合いが低くなり、能力ランドスケープを平坦にする度合いも低くなります。そして、そのようなことをすれば、実際に問題を悪化させることになります。
そして、実はそれよりもさらに悪いことが起きているのです。なぜなら、そうしない場合、基本的に、AIに関して言えば、私たちが散逸させているイノベーションのようなものは、実際に私たちの文明的、社会的なインフラを強化するのに役立つことになるからです。
地球上に膨大な量の知能を持つ人間が出現することで、このような課題が発生するのです。ですから、私は、安定性が行っているような取り組みや、この方向での取り組みが、リスクを大幅に増加させることなく、良い方向に向かう力であると強く信じています。
また、現地ではインフラの強化に貢献しており、これは絶対にやらなければならないことです。これは、絶対にやらなければならないことなのです。そうでなければ、人々が次々と搾取されることになるからです。おばあちゃんにバラク・オバマから電話がかかってきて、銀行口座の情報を聞き出されます。
そして、おばあちゃんは、完全に納得して、すべてを譲り渡すんです。そこから、大規模な報酬のハッキングを経て、エンドツーエンドで、ジェネレーティブ・メディアを最適化するんです。取り組まなければならないことがたくさんあるんです。
ダン・ロメロ 1:26:05
今はPhotoshopがあるじゃないですか。AIのことは無視して、ネットで見た画像を信用する人はまともな人はいないという事実だけです。
文明のインフラをアップグレードする必要があったのでしょうか？なんかもう、最悪なんですけど？と思うのですが、どうでしょう？
ベイスターズ 1:26:19
というのは、社会的なインフラみたいなものです。そうでしょう？模倣的なインフラかもしれないと考えることができるようなものですね？私はそのフルスタックについて考えるようなものです。たぶん、私の速記は今ひとつなんでしょうね。
しかし、そうですね。そうでしょう？その場合、必要なのは、実は、場合によっては、いや、ただ、少しは年齢の関数かもしれないと言うことです。そうですね。その人によっては、この可能性にそれほど敏感ではないのかもしれませんね。そして、ええ、私は、ええ、しかし、私はそれが良い良いポイントだと思います。
ダン・ロメロ 1:26:53
ええ、つまり、ツイッターでジョー・バイデンがいろいろ言ってるのを見ると、いや、まさにネット民の一人で、彼らはAIの専門家である必要すらない、みたいな感じなんです。それがフェイクであることは知っています。しかし、それを年配の人に見せると、そのようなものに触れることがない人が、本物だと思うかもしれません。
ネイサン・ラベンツ 1:27:09
しかし、同時に少し前までは若い人たちだけでしたよね。つまり、本当にアップグレードしているのだと思うのです。模倣のインフラというのは、それを表現するのにとても良い方法だと思います。例えば、そう何年も前に戻れば、人々は、とても説得力のあるものが偽造される可能性についての基準さえ持っていなかったでしょう。
そうでしょう？ですから、その前段階が低ければ、それを信じるしかないでしょう？昔は「百聞は一見にしかず」と言われましたが、今はもうそんなことはありませんから、その言葉は封印しなければならないでしょう。しかし、この言葉は私たちによく効きました、非常に長い間。
このような技術が、ある意味、幸運なことに、徐々に、その到来を予見できるようになったのだと思います。そして今、誰もがそれを耳にし、少なくとも十分な数の人々がそれを耳にし、抵抗するようになったのです。私は、AIに関連する多くのリスクについて、同じような状況になることを願っています。
しかし、そのためには、私たちは多くの傷の上にしか走ることができませんよね。ですから、私たちは多くの傷を負っているのです。ですから、調整する時間が必要で、何をまだ信頼できるかを見極めないと、あっという間に、完全に漂流することになるんです。
ベフ・ジェゾズ 1:28:50
今、私たちが見ている危険の1つは、減速に関する物語で、欧米諸国は徳の高い人間になろうとするため、減速の考え方を採用していることです。しかし、他の敵国は必ずしも研究のスピードを落とさないので、ベイズが言っていたように、能力の差のようなものが生じます。そして、このような「パワー・イズ・シンメトリー」はかなり危険です。
ですから、高次の知性を抑制するのは、誰もいない……何もない……ということですね？ある意味、EOCでは、AI能力に対する独占禁止法のようなものを作ろうとしているのと同じですね？
健全な敵対的均衡を保とうとしているのです。このようなパターンが繰り返されてきたのです。ヨーロッパではESGの取り組みや反核感情がありましたが、その結果、エネルギーを海外の敵対国に依存することになり、かなりマイナスになりました。
欧米の敵対国は、自分たちの目的に役立つイデオロギーを採用する、いわゆる「役に立つバカ」から利益を得ることになったのです。もちろん、すべてのICTがそうであるわけではありませんが、一部の憂慮すべき派閥は、西側諸国の能力を低下させ、戦意を喪失させ、無力化することを意図した心理作戦の1つのように歩き、話していると思います。
そして、西側諸国がAIの能力で先行したときに、私たちがペースを落として、他の人たちに追いつかせることにしたのは、都合のいい話ではないでしょうか。なぜなら、SFハウスパーティーでかっこよく振る舞いたいし、研究について話したいからです。
ですから、ACCは、少なくともそのことを意識しているんです。擬態やマインド・ウイルス、つまり、人々の徳望を利用したイデオロギーを使って、何かの課題を推進するようなことには、とても抵抗があります。誰が、何が、それを推し進めているのか分からないからです。
例えば、AIやマイクロソフトがリードしている場合、今こそ規制を取り込む時です。あなたがリードしているから、他の人はスピードを落とす時です。これは、必ずしも外国の敵が、特定の中央集権的な組織の利益のためにやっているわけではありません。
トップダウンで秘密裏にコントロールされるような、模倣的なウイルスイデオロギーに対して懐疑的な文化を維持することは、健全で重要なことだと思うのです。e/accが、AIの世界を支配しているEAミームに抵抗しているのも、このような側面からです。
では、その点について補足しておきましょう。その一つの方法は、開発者の健全なコミュニティを維持することで、AIをごく少数のプレイヤーの下で超集中化させないことです。というのも、欧米のAIをすべてコントロールする組織があれば、その組織と妥協すれば、そのAIのパワーを掌握することになり、その結果、自分がコントロールすることになるからです。
一方、何百万ものニューラルネットが分散して存在し、それをダウ族の集団が動かしているとしたら、そのような集団は乗っ取ることは難しいでしょう。そのため、反脆弱で、腐敗に対する耐性が高いんですね。
一般的に、共産主義は政府やメタ組織のコントロールノードの腐敗に耐えられず、共産主義に勝利する傾向があるからです。
ですから、AIでも中央集権化という似たような傾向が見られるのです。そして、これらの組織の一部が危険にさらされ、突然、西側のAISが誰にとっても有益な情報を発信し、彼らを転覆させるというシナリオが成立するのです。このようなことは、過去にあらゆる組織で起こったことなので、注意しなければなりません。
しかし、全体的には、オープンソース文化のようなものを維持し、ある程度分散化された知識を維持することは、APIの健全な市場を維持し、敵対的な均衡を保つために非常に重要なことだと考えています。
そして、私たちが言いたいのは、安全性は敵対的均衡によって達成されるということです。中央集権や規制の掌握はその敵であり、皮肉なことに、より安全でなくなってしまうのです。
他のスピーカー 1:34:49
ですから、どのように、
ネイサン・ラベンツ 1:34:50
この加速度という概念を、あなた方はどこまで押し進めるのでしょうか？ここで、ひどい思考実験かもしれませんが、1944年頃に戻って、マンハッタン計画に参加したとします。しかし、1944年頃に戻って、マンハッタン計画に参加したとしましょう。そして、「みなさん、爆弾を作れることが分かった。ただ、1つ問題がある。大気に引火するかもしれない」実際の物理的な実験をする前に、少し時間をかけて計算する必要があったんです。
アン・シュチャット 1:35:22
その時、あなた方はそこにいたのですか？そんなことしている暇はない、みたいな感じだったんでしょうか、
ネイサン・ラベンツ 1:35:27
（笑）あのですね、私たちがゆっくりしたことをするとドイツにやられるんですよ。ですから、時間がないんです。というのも、あなたが今、AIで言っていることと同じように聞こえるからです。
私はいつも自分の例えを謝っているんですが、例えが助けになるよりも誤解を招くことが多いからです。しかし、あの時は、エネルギーに特化したブレイクスルー新機能が登場した瞬間だったのです。
しかし、私は彼らがあの計算をしたことをうれしく思っています。それから、社会が核分裂性物質をどれだけ集められるかを規制することには、かなり正当な利益があるように思えますが、特定のグループや個人がそれを集めることは、私にとって大きな負担とは感じられません。はっきり言って、私は原発推進派です。
多くの原発が稼動することを望んでいます。しかし、信頼性、安全基準、すべてがパーに達していることを証明するために、いくつかの輪をくぐるプロセスが必要だと思います。このようなことは、まったくもって適切なことだと思います。
しかし、核分裂性物質について、誰でも好きなことをできるようにする、つまり、それが工場を稼働させる一番手っ取り早い方法だと宣言するようなことも避けたいですね。マンハッタン計画ではどうだったのでしょう？そして、その時代には
ベイスターズ 1:37:03
これらはカテゴリー的に違うものだと思います。しかし、核とAIの比較は、いくつかの点で破綻していると思うんです。簡単に言うと、核兵器とAIを比較した場合、核兵器は核兵器に匹敵するほどの飛躍をもたらすことができます。
核兵器は、ある意味、宇宙に影響を与える能力を与えてくれるわけですが、それをある種の定数として振りかざすと、どうでしょう？ある大きさの兵器があれば、宇宙のものを蒸発させることができるんです。そうですね。
アン・シュチャット 1:37:44
というわけで、
ベイスターズ 1:37:47
そうですね、AIとはかなり違うと思います。そして願わくば、私がなぜ、どのような方法について喜んで詳細に説明するのか、その理由が明らかになればと思います。
ベフ・ジェゾズ 1:37:55
核兵器は純粋に破壊的な技術だと思います。核兵器を禁止することは、原理的には相互確証破壊による平和を維持していると言えるかもしれませんが、ダウンサイドリスクを取り除くことであることは明らかです。しかし、例えば、ウランを禁止しよう、全体として禁止しまよう、と言ったとします。
これは、AIの安全性がGPUを規制するような方向に向かっているようなものです。そうでしょう？ウランは悪いことに使われることもありますが、良いことに使われることもありますよね、核分裂炉のように。実際、核の恐怖を煽ることで、グリーンエネルギーに甚大な損害がもたらされました。
私たちの文化に消えないダメージを与え、人々が中心街の近くに原子炉があることを恐れるのは、そのためです。ですから、ドゥームイズムが流行ったり、模倣的な文化的変化が起きたりしたときには、気をつけなければならないのですが、それは取り返しのつかないダメージを与える可能性があるからです。
そして、潜在能力の高い技術を置き去りにしたり、普及を遅らせたりすることには、大きな機会費用が発生します。これは、EAがAIの存亡に関わるリスクとして、AI技術を本当に採用し、できるだけ早くスケールアップすることの潜在的な可能性を過小評価していることを意味します。
なぜなら、最終的に、何人の人間が、たとえあなたの損失関数が、何人の人間が快適に生活しているかというようなものだからです。私たちが文明を支えることができる人間の数は、どれだけのエネルギーがあり、どれだけの人を養うことができるかによって決まります。
そして、何人の人間を持続的に養えるかは、ある程度カルダシェフ・スケールで決まります。カルダシェフ・スケールに登るには、より多くの知性が必要です。知性の目的は、文明の維持と成長のためにエネルギーを見つけ、利用することです。より多くの人類が存在し、より多くの人々が素晴らしい人生を送ることができるようになるのですから、より早く知性を高めるべきでしょう。
ダン・ロメロ 1:40:17
核のマンハッタン計画について一つ付け加えるなら、誰だったか忘れたが、オッペンハイマーが運営しているのは明らかです。しかし、エド・テラーか何かが、これは大気に引火するかもしれない、と言い出したんです。それで彼らは研究を行ったのですが、6カ月間の研究で、「これで解決だ」というような縛りがあったのでしょうか。
「よし、これではダメだ、先に進もう」と。そして、アライメントやAI安全イズムのようなものは、永久にコントロールの文化であると思います。すべてをロックしてしまおうという感じです。そして、私たちが決断を下すのです。
そのため、この例えは、そのゴールが止められないという意味で、少しずれているように思います。しかし、彼らは、計算や物理を再確認することが重要だと考えたのです。つまり、あなたの他の指摘に加えて、核分裂がある世界になり、アメリカでは奇跡のエネルギーとして成長したのです。
しかし、1960年代にヒッピーたちがベトナム戦争や核兵器に反対し、核兵器という言葉を使ったことで、スリーマイル島事故が起こり、政治的な嵐が吹き荒れ、国内では基本的に新しい漁業発電所は作られなくなりました。既存の発電所を拡張することしかできないのです。
そして、50年ぶりの発電所がジョージア州で完成したところです。さらに、さまざまな追加規制を設けています。例えば、福島原発の事故による被曝で何人の人が亡くなったか、それと津波による2万人の犠牲者を比較すると、海からの被曝の方が多い。
文化としての安全性を、中央集権的な官僚主義的な方法で許容し始めると、文明の進歩の可能性は大きく制限されることになります。FDAと議論することもできます。政治的なコントロールに悪い人が入り込むと、人は恐怖を感じるものです。そして、いったんそれが実現すると、政治家は誰もその官僚機構に手をつけようとしなくなります。
そして、官僚機構は基本的に永遠に生き続けるのです。ですから、私たちは本当に、本当に注意しなければならないと思うのです。マイクロソフトやオープンAIがその恩恵を受けていることを無視するのは、最悪の規制の虜のようなものです。
官僚が進歩のためのインセンティブを持たず、ノーと言うことが重要で、在任中に事故や悪いことが起こったかどうかで判断されるからです。だから私は、官僚的な大組織がトップダウンですべてを管理するのは、一番避けたいことだと思います。
ネイサン・ラベンツ 1:43:06
また、私はダンと同じ側にいます。この議論では、ほとんどすべての論点で、原子力発電所を建設しなかったことの恥ずかしさも含めて、同じ側にいますね。しかし、慎重な行動をとることに関しては、潜在的に同意の余地があるように思えます。
最初の核実験で大気圏に突入することはないだろうという確信を得るために、その研究を行う価値があることに、私たち全員が同意したように思いますね。では、そのような研究をAIで実現することは可能なのでしょうか。
もしそうなら、あなたが思っている以上に、AIの安全性を重視する人たちとの間に共通の話題が見つかるかもしれません、 イグニッション・スタディで、AIの内部を見て、AIが積極的に私たちを欺いていないとか、グレイグー計画を練っていないとか、そういうことを確信できるようになれば、プリトレーニングでさらに数桁の計算量を増やす前に、自信を持てるようになりますね。
皆さんは、「よし、そうしよう」と思えるような、合理的で慎重なコースは何だと思われますか？常に最高速度で走る必要はないのです。例えば、このために少し回り道をしましょう、とか、このために慎重でしょう、とか。何かあるんですか？
ベイスターズロード 1:44:37
だからこれは、これは良いセグエです。私は、一般的に、私たちは、モデルを整列させ、モデルの信頼性を高めるために多くの作業を行う方向で、私が信じている努力の大部分を非常に支持していることを強調することが重要であると思います、もし、この分野の全歴史を忘れると、私たちは実際に、それが実際には非常につまらないトピックである世界を想像することができると思います。
行列の掛け算、信頼性工学と呼ばれるようなものです。そして、誰もそれを好んで見ようとはしません。そして、人々はただひたすら努力し、どうすればこのことができるかを考え、そしてそれがうまくいくのです。私は、解釈可能なモデルを作るために多くの努力を払っている真面目な人たちをとても応援しています。
そのモデルは、私たちが要求する動作を確実に実行するという意味で、私たちにとってより有用な道具となります。そして、それは非常に価値のあることだと思います。この辺はセマンティクスの話ですね。でもですね、あるレベルでは、実はAIの能力だけなんですよね。
より良いモデルが欲しいだけ、という感じです。ですから、私たちにとって最大のポイントは、能力に関することはさておき、景観規制や、この種の非常に強力な介入による機会費用だと思います。まず第一に、これが始まったきっかけは、実は文化にあると思います。
私は個人的に、この文化、つまり、あまり間違っていないニアリ圏をめぐる終末論的な文化によって、非常に悪い影響を受けた人を知っているのですが、その人たちは、このような文化を持っていました。そして、このような話を読むことができるのですが、そうでない人が2回もいるのです。
私の一般的な考えとしては、人々は黙示録のプレッシャーを肩に受けても、実際にはあまり反応しないのです。私たちが望むのは、人々を黒く塗りつぶし、希望がないと思わせるのではなく、実際に「希望はない」と明確に言うことです。「この問題を解決する方法はない」と言うよりも、「この問題を解決できる希望がある」と言った方が、よほど機能的です。
私たちが直面している問題の大きさについて、とやかく言うことはできます。しかし、解決に向けて楽観的になろう。そこには、本当に白い薬があると思います。そしてそれは、人々がこの歴史の全期間について、より良い経験をするための条件を作り出すものだと思うのです。
そして、私たちが直面している問題を解決するために協力し合える可能性を高めてくれるでしょう。ですから、私は、このシリーズの人たちが行っている仕事について、とても楽観的なビジョンを持っています。例えば、人類学の仕事について話すこともできますし、ポーカーズ・ジャーナについて話したこともありますが、そこでは、非常に真剣な仕事をしている人たちが、絶えず推測を巡らせています。しかし、私は、私たちが楽観的で、希望を持っているとき、人々や文化がより良く機能すると信じています。
ネイサン・ラベンツ 1:48:05
そうですね、その点については反論はありません。安全性研究者のモチベーションを高めるという非常に単純な問題であったとしても、最近のメッセージは明らかに最適とは言えないと思います。それは、解決への道筋を示すものではありません。私は、あなたがおっしゃったことすべてに同意します。ここしばらくは、お互いにぶつかり合っていたようですね、
アンヌ・シュチャット 1:48:46
あのね、自分から入れるわけないじゃないですか、
ネイサン・ラベンツ 1:48:50
私は最近、自分のことを「アンビバレント（両価的）」と表現しています。現在のAIはもちろんのこと、未来のAIがどれほど素晴らしいものであるかということに興奮を覚えますし、限りなく魅力的で、一緒に働くのが楽しくて、日々のワークフローをよりスムーズで楽しいものにしてくれると本当に思っています。
しかし、私たちは、コントロールの仕方がよくわからないもの、その根本的な性質をよく理解していないものと遊んでいるような気がします。作り方がわかったからといって、それが内部でどう動くのか、何ができるのかがわかるわけではありませんし、そういったリスクはかなり低いと思いますね。
しかし、遠い未来のことまで考える必要はないと思います。もし何かがうまくいかず、今知っている人たちが全員死んでしまったら……そんな心配は無用です。これはカール・シューマンの言葉ですが、彼は長年のオピニオンリーダーです。
EDAは、思考実験や、現在の世代について話すだけでなく、もし私たちが自分たち自身を殺してしまったらどうなるかということ、つまり、予見可能な未来のことは忘れてしまうというような、とても素晴らしいことをやっているのです。
ですから、私はその両方を実感しています。ただ、あなた方はその反対側を感じていないだけなのです。特に、1年半ごとに倍増するような、桁違いの事前訓練は、手に負えなくなる可能性がありますね。
ベフ・ジェゾズ 1:50:36
この質問に答えて、マンハッタン計画の質問に戻りたいのですが、この質問はとても気に入りました。私は、マンハッタン計画、つまり、火で空を照らすということですが、彼らがしたことは、物理学の計算をした、ということです。
物理学は、私たち人間は、牛が家に帰るまで議論することができますが、最終的には、物理学に答えなければなりませんね。では、物理学は物事がどこに向かっているのか、何を教えてくれるのでしょうか？計算と最適化の限界について、物理学は何を教えてくれるのでしょうか？実際、あらゆる種類の最適化は、パラメータ、ハイパーパラメータ、アーキテクチャなどの最適化階層を作っても、問題にはなりません。
サンプル採取やあらゆるスケールでの最適化には、やはりエネルギーが必要なのです。ですから、再帰的な自己最適化の暴走が不可能であることを数学的に証明することができると思うのです。物理的にも、グレイグーも不可能であることが証明できます。
ですから、もしそれを制限すれば、メガ・インフィニット・ダウンサイドのシナリオはもう存在しないことになりますね。そうすると、報酬の計算が変わってきますよね？つまり、物事を展開する前に極めて慎重になるということですが、私たちの生活はすべてAIアルゴリズムによって運営されています。
私たちは彼らに私たちの生活を支配させ、彼らは私たちにとって何がベストなのか、どのような形でも、どのような形でも、一致していないのです。彼らはただ、彼らを動かす企業の利益を最大化するためのラインなのです。そして、私たちはその議論を超えているように思えます。
さて。今、私たちは非同盟のAI APIについて話しています。しかし、ティックトック・アルゴリズムが私たちの脳を溶かして、無限に注意を引きつけるようなことは、全く問題ないんです。そうですね。ですから、鍵を手放すという閾値はすでに超えているような気がしてなりません。
ネイサン・ラベンツ 1:53:03
でも、それが次世代技術の売り込みになるとは思えないんですけどね。LEAPのような、明白なものがあるわけではありません。しかし、私は多くの人々が言っていると思うように、ちょっと待って、それはすべて悪いです。今言ったことはすべて悪いことです。なぜ私はもっと欲しいのでしょう。
ベフ・ジェゾズ 1:53:17
そこで、白い錠剤を紹介します。Web 2.0は一種のアテンション・エコノミーだったわけです。ですから、どのAIニューラルネットが平均して実行されるのか、でしょ？私の定義では、GPUからGPUへのインスタンスが存在し、そのインスタンスがお金を払って実行されているようなものです。
選択圧は、私たちの注意をより惹きつけ、最大限の注意をそらすコンテンツやレコメンドを作成するAIに向けられました。報酬を得ることで、人間からより多くの注目を集め、より多くのGPUを動かしてより多くのインスタンスを動作させるための資金を得ることができれば、選択されるからです。
なるほど。しかし今、私たちはChad GPTのような実用性のあるAIを作ろうとしています。そして、選択圧は、私たちが役に立つと思うような実用性のあるAIニューラルネット・インスタンスに向かうでしょう。これは、以前よりもずっと良い選択圧だと思うんですよね。
今はWeb3なのかWeb4なのかわかりませんが、すべてがLLMになり、互いに会話し、MLMのAPIのインターネットになるようなものです。私としては、かなり楽観的に考えています。しかし、全体としては、「LLMのインターネット」は、「LLMのインターネット」であり、「LLMのインターネット」は、「LLMのインターネット」であり、「LLMのインターネット」です。
しかし、全体的に見れば、今、AIの選択的圧力は、私たち人間、人間の文明や経済などに対して有用なものであろうということです。つまり、自己複製が可能で、敵対する人間を乗っ取るようなAIには、少なくとも現時点では選択圧がかからないということです。
ですから、私は短期的には心配していませんし、中期的にも心配していません。長期的にどうなるかは誰にもわかりません。今言ったように、現在の人類が永遠に保存されるというのは、現実的な目標ではありません。ですから、そこで何が起こってもいいと思っています。
ですから、近い将来は大丈夫だと思うんです。先ほども申し上げたように、私は敵対的な均衡を維持する方向にバイアスをかけています。つまり、オープンソースモデル、健全な開発者経済の維持、計算機の一元化、アルゴリズムや知識の一元化をしないことです。
そして、AISが他のAISを抑制するように、メガコーポが他のメガコーポを抑制するように、AISが他のAISを抑制するのです。そうですね。マイクロソフトは、AIという側面でグーグルと競合していますが、これは「力には力で対抗します」という例だと思います。
そして、この敵対的な均衡を維持することが、前進する道だと私は考えています。それは、知能を独占しない場合にのみ可能です。ですから、私たちは戦っているのです。インテリジェンスの独占に反対して戦い、変異株を受け入れて加速させるという感じです。それがe/acc流のやり方です。しかし、私たちは多くの点で一致していると思います。私たちは、多くの点で一致していると思います。しかし、私たちはただ、進むべき道のようなものに違いがあるだけです。
ベイスターズロード 1:56:13
にお答えします。私は……あまり恐怖を感じません。という感じでしょうか？物事の仕組み上、未来は怖いものだと思うのですが、ボラティリティが大幅に上昇する可能性は大いにあると思うのです、この10年、20年というタイムスケールで、重要だと思うのです、とても、得るものが多いという感じだと思うのです、 平常心を実践し、このような環境に身を置くことで、恐怖心もなく、扁桃体へのハイジャックもなく、物事をじっくりと理解することができるのです。
アンヌ・シュチャット 1:57:13
ええ、ええ、
ベイスターズロード 1:57:14
私はしない私はしない私はしない私は、これは文化に欠けていると思います。ですから、私たちがここで持っているものは、相殺するものだと思います。
他のスピーカー 1:57:22
この他のトレンド
ネイサン・ラベンツ 1:57:24
あなたの意見を聞くために、もう1つ試してみましょう。私たちは皆、ネアンデルタール人だとしましょう。1万年前のキャンプファイヤーを囲みながら、私は日付に詳しいわけではありません。しかし、突然、アフリカからホモ・サピエンス・サピエンスがやってきました。
そして、私たちはずっと一緒に過ごしてきたのですが、そこに彼らがやってきました。そして、「まあ、彼とはうまくやっていけるでしょう」ということになりました。つまり、私たちは共存できるかもしれません。しかし、ちょっと待って、ベスベイには、私たちにはない能力があるみたいなんです。
まあ、平静を装おうよ。そして、最善を尽くしましょう。私たちは今、3%のネアンデルタール人なのですから。ですから、ある意味、彼らは未来に痕跡を残したと言えるかもしれませんね。しかし、ネアンデルタール人に聞いてみると、その結果にはかなり不満があるだろうと思います。
そして、また、私は
アンヌ・シュチャット 1:58:30
ライブ感
ネイサン・ラベンツ 1:58:32
明らかに、それは非常に異なるシナリオであり、あなたが知っている、タイトな例えにすることを意図していません。しかし、私は、私たちはネアンデルタール人のように行動しているのではないかという気がしています。
アン・シュチャット 1:58:50
私たちは楽観的であることを選ぶことができます。
しかし、それはもしかしたら
ネイサン・ラベンツ 1:58:56
バカみたいでしょ？その楽観的な道を選んだ結果私たちは死んだようになるのでしょうか？ネアンデルタール人のように、うまくいかなかったのでしょうか？私は、そう主張します、
ベイスターズロード 1:59:06
いや、私、まずいくつかあるんですが、なるほど、例え話と直面する状況とのギャップの話になるんですね。しかし、実は私は、いや、そうだと思うのです。ですから、楽観主義と、星を見るような、無鉄砲なネスみたいなのが混同されているんじゃないかと思うんです。
そうですね。私にとっては、それはまったく違うものだと思うんです。そうですね、そうだと思います。私の個人的な意見ですが、人は扁桃体に乗っ取られていないときに、よりよく動くものです。ですから、私たちが直面するどんな問題であれ、このような心の状態は、おそらく私たちがサポートしたいと思うような、文化や文化を強化するような状態なのです。
このように、例え話と直面している状況との間にギャップがあることが問題なのです。まず明らかなのは、NFLはホモサピエンスを作ったわけではない、ということです。ホモサピエンス0.01,0.02のようなものを作ったわけではないのです。そうですね、そうです。もうひとつは、デジタルからアナログへのインターフェースのようなものがあるという話でしたね。
同じような状況ではないですよね。ネアンデルタール人やサピエンスの競争環境では、同じ環境の中で行動しているようなものです。しかし、そうではありません。AIの場合、そこには大きなギャップがあります。そして、それに対応するシナリオを展開し始めると、推論が不安定になるのと同じように、偶発的な仮説が非常に長く連鎖していくことになると思います。そして最後には、とてもありえないようなシナリオに行き着くのです。
ネイサン・ラベンツ 2:01:02
高度に特定されたシナリオのようなものであれば、どんなものでも。その通りだと思います。しかし、シナリオの分布全体にわたって積分することで、私たちは、私たちが全員死ぬ確率が1%になるのか、10%になるのか、と考えます。私にとっては、少なくとも1%より北に割れたものを見ているわけではないと主張するのは、まだ難しいように思われます。
アンヌ・シュチャット 2:01:31
マジマジマジマジマジマジマジマジ
ベイスターズロード 2:01:32
私は、私は、真の数があることに同意する、右、好き、それは結構です。私はその数字が何であるか知らない、私はあえて推測するつもりはありません。というのも、おそらくその推定値は、空から引っ張り出してきたようなもので、自分の感覚を地図で表現したようなものだと思うのですが、あまりうまくはいかないようです。
その数字を裏付けるような理由付けをする人もいると思いますが、私はその理由がたいてい現実的だとは思っていません。でもですね、リスクがないわけではないんですよ。しかし、リスクがないわけではありません。リスク回避のために、どのような行動をとれば、実際に私たちが成長し、繁栄できるのか。
つまり、安全性の研究をするな、解釈可能性の研究をするな、RLH Fをオフにするな、ということではありません。しかし、不可逆的な行動をとることは、ある種の先験的なものであり、裏目に出る可能性が非常に高いように思われます。例えば、TSMCを閉鎖して、ムーアの法則を止めよう、みたいなことが言われていますよね。
アン・シュチャット 2:02:48
そして、これはかなり、そうだと思います、
ベイスターズ 2:02:52
そうですね、結局のところ、あなたは人生で常に、この、死ぬかもしれないという問題に直面しているようなものです、ご存知のように、生きていることに関連するいくつかの基本的なリスクがあるからです。しかし、AIに関しては、確かにリスクは単調に増加しているような気がします。
アン・シュチャット 2:03:27
ようなものだと思います、本当です。
しかし
ベイスターズロード 2:03:32
私は、私たちに選択肢があるわけではありませんが、技術がここにあるという問題に対処していくしかないと思っています。私は、世界を構築することは、あなたが知っているように、あなたは脆弱な世界の仮説や領域に入るために始めるところであると思います。注意しなければならないのは、あなたがたの多くは、このような世界観を持っているのではないかということです。