159 – We’re All Gonna Die with Eliezer Yudkowsky
126,290 回視聴 2023/02/20に公開済みバンクレスポッドキャスト
エリエゼル・ユドコフスキーは、作家であり、創設者であり、AI分野における主要な思想家です。
GPT-4：
エリーザ・ユドコウスキー（Eliezer Yudkowsky）は、アメリカ合衆国の研究者、作家、そして人工知能の専門家であり、シンギュラリティ研究所（Singularity Institute for Artificial Intelligence）の共同創設者でもある。彼は、人工知能の哲学、意識、意思決定、倫理などの分野において、深い洞察力と独創的なアイデアを持っており、特に「AIの友好的な目的設定（Friendly AI）」というアイデアで知られている。
また、彼は「レス・ワロスキー（LessWrong）」というウェブサイトを運営しており、人工知能、哲学、認知科学、数学、物理学などのトピックについて、洞察力のある議論を行っている。彼はまた、「人工知能の設計のためのフレームワーク（AI alignment framework）」と呼ばれる、人工知能の安全性と目的の定義に関するフレームワークを提唱し、この分野の重要な貢献者の一人として評価されている。
——
✨ DEBRIEF｜エピソードを紐解く：
shows.banklesshq.com/p/debrie…
——
✨ COLLECTIBLES｜このエピソードを集めよう：
collectibles.bankless.com/mint
——
私たちはAIに関するエピソードをやりたかったのですが…ウサギの穴の奥深くまで行ってしまいました。ChatGPTや新世代のAI、デジタル超知能、人類の終焉、そして生き残るためにできることはないのか、などです。
エリエゼル・ユドコフスキーとの対話では、人類を滅ぼすAIの開発が目前に迫っているという主な主張があり、私たちを実存的危機に陥れました。
リスナーの皆さん、このエピソードに飛び込む前に警告しておきます。一度飛び込むと、もう戻れません。
——
MetaMask Learn｜Web3ウォレットのリーディングカンパニーでWeb3を学ぶ bankless.cc/
——
バンクレスプレミアムに🚀参加します：
www.bankless.com/join
——
バンクレススポンサーツール
🐙 クラーケン｜最も信頼できる暗号取引所
bankless.cc/kraken
🦄 ユニスワップ｜オンチェーンマーケットプレイス
bankless.cc/uniswap
⚖️ アービトラム｜スケーリングイーサリアム
bankless.cc/Arbitrum
👻 ファントム｜フレンドリーマルチチェーンウォレット
bankless.cc/phantom-waitlist
——
トピックス
0:00 イントロ
10:00 ChatGPT
16:30 AGI
21:00 あなたより効率がいい
24:45 モデリング・インテリジェンス
32:50 AIアライメント
36:55 慈悲深いAI
46:00 AIゴール
49:10 コンセンサス
55:45 ゴッドモードとエイリアン
1:03:15 グッドアウトカム
1:08:00 ライアンの子供時代の質問
1:18:00 オーダーオブマグニチュード
1:23:15 抵抗してみる
1:30:45 ミリと教育
1:34:00 How Long Do We Have?
1:38:15 ベアリッシュホープ
1:43:50 ザ・エンド・ゴール
——
リソース
エリエゼル・ユドコウスキー
Tweets by ESYudkowsky
フランソワ・ショレへの返信
intelligence.org/2017/12/06/c…
グラビーエイリアン
grabbyaliens.com/
金融や税金に関するアドバイスではありません。このチャンネルは厳密には教育的なものであり、投資アドバイスや、資産の売買や財務上の意思決定をするための勧誘ではありません。このビデオは税務アドバイスではありません。会計士に相談してください。自分で調べてください。
情報開示このニュースレターでは、時々、私が使用している製品へのリンクを追加することがあります。あなたがこれらのリンクのいずれかを介して購入した場合、私は手数料を受け取ることがあります。さらに、バンクレスライターは暗号資産を保有しています。当社の投資の開示はこちらをご覧ください：
www.bankless.com/disclosures
エリエゼル・ユドコウスキー 0:00
私たちは、現実の布がほころび始めるのを吹き始める最後の双子の声を聞いているのだと思います。このことだけで世界を終わらせることはできません。しかし、おそらく盲目的に、無力にここに積まれている膨大な量のお金の一部は、実際に何かを達成することになると思います。
ライアン・ショーン・アダムス 0:22
インターネットマネーとインターネット金融のフロンティアを探求するバンクリストへようこそ！どうやって始めるか、どうやって良くなるか、どうやってチャンスを逃さないか。これはライアン、ショーン・アダムス、私はデビッド・ホフマンと一緒にいます。
さて、皆さん、Bank listsでAIに関するエピソードをやりたかったんです。しかし、私たちはプールの奥深くに入り込んでしまったような気がしています。このエピソードに入る前に、おそらくいくつかのコメントが必要だと思うので、私はいくつかのことを言うつもりです。
あなたからのコメントもお待ちしています。しかし、1つだけリスナーに言っておきたいのは、実存的な危機を迎える準備ができていないなら、このエピソードを聴かない方がいいということです。さて、ちょっと真面目な話なんですが。
私はこのエピソードを聞いて、震え上がりました。軽々しく言っちゃダメですよ。実際、デビッド、あなたと私は、このエピソードがあなたにどのような影響を与えましたかについて、報告会で議論することになると思います。しかし、これは衝撃的な出来事で、収録中に衝撃を受け、どう反応していいのかわからなくなりました。
正直なところ、このエピソードでは、ゲストのエリエゼル・ユドコフスキーが主張したことに反論したいと思います。ユドコフスキーは、人類がAIを開発し、私たちを破滅させる寸前であり、それを止めるために私たちができることはあまりない、と主張しています。
デビッド・ホフマン 1:40
避けようがないんです。そうですね、
ライアン・ショーン・アダムス 1:42
私はこのゲストをとても尊敬しています。そう言わせてください。ですから、ここで何か大きな脳内技術的な意見の相違があるかというと、そうではありません。実際、私は何かに完全に反対するほどの知識もありません。言っているのです。
しかし、その結論があまりにも悲惨で、実存的に重いものであるため、このような警告を与えなければ、リスナーの皆さんに影響を与えるのではないかと心配になります。また、インタビュアーとして、デイビッドはもっといい仕事ができたのではないかと思っています。
これは私が代表して言うことです。時々、私は彼にたくさんの質問を一気に浴びせ、彼はおそらく一度に1つずつしか合成する準備ができていなかったのでしょう。また、時には足元をすくわれたような気もします。彼の答えが、あんなに率直で、あんなに悲惨なデビッドのような、希望がないようなものだとは思っていなかったのです。
そして、私たちがバッグレスでいつもしているように、正直であることはとてもありがたいことです。しかし、私は、患者が自分の病気が末期であることを告げる医師の正直さに感謝するのと同じように、それを高く評価しました。しかし、それはとても重いニュースですよね？というわけで、このエピソードに至る経緯ですが、1つだけ言わせてください。
というのも、このエピソードの最後に、録画ボタンを押して録音を止めた後、エリエールがバンクプラスのコミュニティと追加の質疑応答エピソードを提供したいと言ってくれたのです。ですから、もしみなさんが質問をお持ちで、Eliezerがそれに答えることに十分な関心があるのであれば、私たちにDiscordで質問してください。
そのメッセージを私たちに送って、何かフォローアップの質問があれば教えてください。もしコミュニティや暗号コミュニティで十分な関心があれば、彼は喜んで出演し、質疑応答のフォローアップを含む別のエピソードをするつもりだと言っています。
イタルとエリエールのエピソードがあってもいいかもしれませんね。それは私たちが彼に投げかけた可能性です。そのことについても、メタリックには話していません。ただ、このテーマには少し圧倒される感じがします。そして、それが基本なのです。このエピソードを紹介する前置きとして、デイビッド、いくつかの利点と収穫があるので、それに入りたいと思います。
しかし、その前に、この前文についてコメントや考察をお願いできますか？どのような思いでこのエピソードに臨んでいるのか？そうですね、
デビッド・ホフマン 4:04
バンカーズポッドキャストでは、毎回アジェンダの終わりに近づくと、それと並行して同等のアジェンダが用意されています。しかし、この会話の核心に達した時点で、その議題で進めることは不可能になりました。なぜなら、何が重要なのか、何が問題なのか、他のことはどうでもいいのか、ということです。
ですから、話を進めていくと、何度も何度も同じ結論に戻ることになるのですが、それが結局、内容のオチのようなものです。私は、このようなことがあっても、「まあ、いいや、自分の人生を歩めばいいや」と思えるような性格です。
他の人は違う性格で、このようなことをもっと重く受け止めています。ですから、ライアンの冒頭の警告は、もしあなたが実存的な危機を直接顔にぶつけるタイプの人なら、このエピソードを聴く代わりに他のことをすることを考えたらどうかということです。
ライアン・ショーン・アダムス 5:03
それはいいアドバイスだと思います。それで、いくつかのことがあります。アジェンダの概要を知りたいのであれば、まずチャットGPTについて話します。これは人工知能の新時代なのか？そこから話を始めなければなりません。
2つ目は、人工的な超知能がどのようなものなのか、具体的にどの程度賢いのか、どのようなことができるのかについて話します。人間にはできないような、どんなことができるのか？3つ目は、なぜ人工超知能が人類に終わりを告げるのかについてです。
そして、この事態を食い止めるのは、不可能ではないにせよ、本当に難しいことだと、ゲストは言います。そして4つ目は、このような事態に対して私たちにできることはあるのかどうかということです。私たちは乳房の奈落の底に向かっているのかもしれません。
方向を変えて、崖から落ちないようにすることはできるのか？これはエリーズに聞いた質問ですが、デビッドと一緒に、デブリーフィングで話すことがたくさんあると思います。では、みなさん。報告会は、エピソードの直後に収録するエピソードです。これは、すべてのバンクリスト、市民はこれをバンクリストのプレミアムフィードと呼んでいます。今すぐアクセスして、エピソードに関する私たちの生の感想を聞くことができます。
デビッド・ホフマン 6:16
今回は、David……まさか、こんなにも衝撃を受けるとは思いませんでしたよ。私は
ライアン・ショーン・アダムス 6:20
今、それを扱っています。本当に？これは多分、エピソードからあまり時間が経ってないので、ええ、明日どう感じるかはわかりませんが、間違いなくこのことについて話したいと思います。
そうです、あなたは
デビッド・ホフマン 6:32
私の帽子をかぶってください。ええ、お願いします。
ライアン・ショーン・アダムス 6:34
手伝ってほしいんです。みなさん、さっそくエリエールとのエピソードに入りますよ。
【広告】
その前に、このエピソードを可能にしたスポンサーに感謝したい。Krakenもその一つだ。2023年、私たちのお気に入りの推奨取引所
David Hoffman 6:47
Krakenは過去12年間、暗号業界のリーダーとして暗号の世界的な普及を促進することに尽力してきました。Krakenはセキュリティ、透明性、クライアントサポートに重点を置いており、そのため900万人以上のクライアントが初心者でもプロでもKrakens製品を愛するようになりました。
Kraken UXはシンプル、直感的、摩擦なしであるためKrakenアプリはすべての人にとって素晴らしい場所で、経験者は暗号を学ぶことができるようになりました。再設計されたKraken Proアプリとウェブ体験は、お客様の取引ニーズに応じて完全にカスタマイズ可能です。
主要な取引機能を1つのシームレスなインターフェースに統合 Krakenは、世界的に認知されている24時間365日のクライアントサポートチームを持っていますクラックリンサポートは、電話、チャット、電子メールでいつでもどこでも必要なときに利用できます。
そして、そこにいるすべてのNFTの耳のために。真新しいクラーケンNFTベータプラットフォームは、レアリティランキング、ガス代なし、現金でNF Tを直接購入する機能など、最高のNFT取引体験を提供します。あなたの暗号通貨取引所は、Krakenのように顧客を優先していますか？もしそうでなければ、Kraken kraken.com/bank listsにサインアップしてください。
PhantomウォレットはAetheriumに登場します。Solanaのナンバーワンウォレットは、その数百万人のユーザーと愛されるUXをAetheriumとpolygonにもたらします。Phantomを使ったことがない人は損をしています。
Phantomは、NFPのための最高のホームでもあります。Phantomは、お客様のNFT体験を最適化するための完全な機能を備えています。お気に入りをピン留めし、醜いものを隠し、スパムを取り除き、ウォレットの中からNFT販売リストを管理することもできます。
Phantomはもちろんマルチチェーンウォレットですが、チェーン管理を容易にし、取引内容を人間が読める形で表示します。悪質な取引やフィッシングサイトには自動で警告が表示されます。Phantomはすでに20,000人以上のユーザーを詐欺やハッキングから救っています。
Phantomのウェイティングリストに登録し、マルチチェーンベータにいち早くアクセスしてください。ショーノートにリンクがありますし、phantom dot app slash waitlistに行けば、2月下旬にアクセスできます。
やあ、ありがたき国民よ。これを聴いているのは、無料のバンクリストのRSSフィードを利用しているからですバンクリストの広告なしバージョンがあることをご存知だろうかバンクリストのプレミアム購読に付属する広告なしコンテンツに直行できますしかし、これはプレミアム購読の特典の1つです。
トークン・レポートでは、今月最もホットなトークンを強気弱気中立で毎月報告します。トークン・レポートの定期更新は、調査すべきあらゆるトークンのファーストストップショップであるトークンバイブルに入ります。暗号銀行プラスプレミアムでは、無許可会議への30%割引も受けられますので、基本的にはそれだけで元が取れることになります。
また、2023年のドロップを見逃さないためのエアドロップ・ガイドも用意されています。しかし、bank was premiumの一番の魅力は、私ライアンをはじめとするbank wasチームのメンバーと、プレミアム会員限定のインナーサークルdiscordで交流できることです。
アルファ版をご希望の方は、ベン、アナリストのデジャン・ピットで、トークンレポートについて彼に質問することができます。2023年には、Aetheriumのアドレスでログインできる新しいウェブサイトや、bank list 2.0 Soon TMと呼んでいるものを出荷する予定です。フロンティアの開拓をさらに支援したい方は、bank this premiumを購読してください。1日50セント以下で、豊富な知識とサポートを提供します。
【広告終】
ライアン・ショーン・アダムス 10:01
bagless nation、次のゲストを紹介するのが超楽しみです。エリエールです。ユドコフスキーは決定論者です。AI研究者でもあります。彼はless wrong community blogのシーターシーダーです。
素晴らしいブログです。ところで、彼は他にもたくさんのことをやっています。短い経歴では紹介しきれませんが、おそらくこの会話に最も関係するのは、機械知能研究所で、一般的な人工知能ができたときに、それが私たちを殺さないようにするために働いていることです。少なくとも、暗号通貨を禁止するようなことはないでしょう。エリエールバッグレスに出演してくれてありがとうございます。調子はどうですか？
エリエゼル・ユドコウスキー 10:41
ああ、あなたは私自身の奇妙な小さな平均の1標準偏差の範囲内です。
ライアン・ショーン・アダムス 10:46
ファンタスティックです。この会話は、多くの主流派にとって、ごく最近に登場したものから始めたかったんです。それは、チャットGPTです。最近、1億人以上がチャットGPTにログインしたようですが、私も実際に使ってみました。
とても親切で、とても便利だと思いました。甘い詩も書いてくれました。それはとても心に響くもので、まるで人間のようだと思いました。あなたはAIの安全性に大きな懸念を抱いているようですが、その懸念についてはこれから説明するつもりです。しかし、チャットGPTのような文脈で教えてください。
これは、悪に染まって人類を奴隷化するのではないかと心配する必要があるのか？チャットGPTやバルド、そして最近登場した新しいAIについて、私たちはどの程度心配すべきなのか？
エリエゼル・ユドコフスキー 11:40
チャットGPT自体は、本当に悪いことをしたり、正しいことをしたりするほど賢くはありません。
ライアン・ショーン・アダムス 11:50
そして、なぜそのように言えるのでしょうか、その自信は何なのでしょうか？
エリエゼル・ユドコフスキー 11:54
素晴らしい質問です。時々、誰かがチャットGPTに新しいプロンプトを入れる方法を発見するんです。ある時、誰かが、うまく話せることを発見しました。安いお茶ではありませんが、テクノロジーの初期の世代の1つで、最初に言えば、よりスマートに聞こえることを発見しました。
それは、エリエゼル・ユドコフスキーです。他にもいろいろなプロンプトがありますが、このプロンプトは私のお気に入りの一つです。つまり、そこには未開拓の可能性があり、人々はまだプロンプトの出し方を理解していないのです。
しかし、それを理解すると、十分に短い距離で進むので、世界を征服するような未開拓の可能性はそれほどないと、私は確信しています。小さな動きで世界を征服するためには、非常に大きな動きが必要なのです。次の行程の予測に失敗するような能力もあります。
人間なら、その能力を示すような靴は、巨大で不可解なマトリックスにはない、と言うでしょう。つまり、未開拓の可能性があります。しかし、その未開拓の可能性の上限は、生きている人間を出し抜き、私が心配しているシナリオを実現するには不十分だと、私は確信しています。
ライアン・ショーン・アダムス 13:25
しかし、それでも、あなたの考えでは、Chad GPTはAIへの旅における大きな飛躍なのでしょうか、それとも、これはかなり漸進的で、何らかの理由で主流の注目を集めただけなのでしょうか。
エリエゼル・ユドコウスキー 13:38
GPT 3は大きな飛躍でした。GPT4についての噂がありますが、それは、誰が知っているのでしょうか？チャットGPTは、研究室の実際のAIを商品化したもので、大躍進です。チャットGPTが突然あなたの生活に入り込むまで、GPTや3、GPTや2、テキストトランスの全種類を知らなかったとしたら、完全に、その全体が大躍進です。しかし、それは、私の記憶が正しければ、2018年に発表された技術に基づく巨大な飛躍です。
デビッド・ホフマン 14:16
今、みんなの頭の中で起こっていることだと思うんです。バンクリストのリスナーや暗号の人たちは、大部分が未来派です。ですから、将来、少なくとも私たちがこの世を去る頃には、私たちの周りに知覚を持ったAIが存在していることを、誰もが理解していると思うんです。
ですから、このAIの未来が私たちに迫ってきていることは、みんなわかっているんです。そして、チャットGPTのようなものを見ると、誰もが「ああ、これは私たちの世界がAIと統合され始める瞬間なのだろうか」と思います。そして、あなたはAIの世界に入り込んだのか？それとも、これは単なる流行で、私たちはそれを内面化し、次に進んでいくだけなのでしょうか。
エリエゼル・ユドコフスキー 15:08
特に未来についての予測は難しいですよね。しかし、私は、次世代がここまでしか進まず、それ以上進まず、より多くの鉄鋼を作ったり、より良い発電所を建設したりするために使われることがないような、飽和状態になることを望んでいます。
第二に、大規模言語モデル技術のような技術は、基本的な脆弱性があり、信頼性に欠けるからです。例えば、80%の確率で動作し、99.999%の確率で動作するようなアプリケーションであれば良いのですが、このような技術では、車を運転することはできませんし、車を壊してしまうこともあります。
ですから、この技術が飽和状態になり、彼らがそれを修正できなくなることを望みます。この後、AIの冬がやってくるといいのですが。これは私が実際に予測したことではありません。私は、現実の布がほころび始める最後の風が吹いていると考えています。
このことだけで世界を終わらせることはできません。しかし、盲目的に、無力に、ここに積み上げられた膨大な資金の一部は、実際に何かを達成することになると思います。しかし、100億ドルの1%は、実際に何かを達成するための大金であることに変わりはありません。
ライアン・ショーン・アダムス 16:32
リスナーの皆さんは、Lea Zersの論文を聞いたことがあると思いますが、AIとの連携に関してはかなり薄弱です。AIのアライメントとはどういう意味なのか、またAIの安全性に関連する問題を非常に心配していることについては、また後ほど説明します。
しかし、私は、多くの人がAIの安全性について心配するのは、多くの人のためだと思います。そして、私たちがそのような会話をするためにも。AGIがどのようなものか、ある程度理解しておく必要があると思います。つまり、人工知能やスーパーインテリジェンスという考え方を理解することです。
もしスーパーインテリジェンスが登場するとしたら、それはどのようなものか？インターネット上の大きなチャットボックスのようなもので、私たちはそこに何かを入力することができるのでしょうか。オラクルみたいなもの？それとも、政府の秘密研究所で作られるロボットのようなものなのか？誰かが寮の部屋で偶然作るようなものなのか？AGIやスーパーインテリジェンスという言葉を口にするとき、私たちは何を求めているのでしょうか。
エリエゼル・ユドコフスキー 17:34
まず第一に、これらはかなり異なる概念であると言えるでしょう。チャットGPTは、前世代のAIと比較して、GPT3と比較して非常に広い一般性を示している、とは言えません。同じ世代として商業化された文字通り研究室の研究のようではありません。
しかし、2018年、あるいは2020年のものと比べると、チャチPTOのチェダーは、人間によって明示的にプログラムされたものでなくても、より幅広いことに優れています。人間が考えることができることをすべて把握した上で、すべてのことができるわけではありません。
人類は、チンパンジーの前の世代というかアウストラロピテクス、つまり最新あるいは最後の共通祖先よりも著しく一般的なのです。もし人間が完全に一般的であれば、サッカーで物を投げたり走ったりするのと同じように、コーディングが得意になるはずです。
しかし、私たちの中には、プログラミングはできるけれども、そのための技術を持っているわけではありません。私たちは完全に一般的な頭脳を持っているわけではありません。人間よりも一般的なものを想像することができます。そして、慣れないことにぶつかったら、「よし、ちょっと自分をプログラムし直そう」となります。
そうすれば、他の何に対してもそうであるように、このものに対しても適応できるようになるんです。つまり、チャットGPTは人間よりも汎用性が低いのです。しかし、一般的には、いとこであるチンパンジーよりも一般性が高いのか低いのか、あるいはチンパンジーやイルカや猫ほど一般性が高いとは思えないのか、純粋に曖昧なものだと思います。
ライアン・ショーン・アダムス 19:39
つまり、この一般的な知能の考え方は、実際にできることの範囲や、自分自身を適用できる方法の範囲のようなものなのです。
エリエゼル・ユドコウスキー 19:47
どの程度の幅があるのでしょうか。どれくらいの再プログラミングが必要なのでしょうか。ミツバチは巣を作り、ビーバーはダムを作ります。人間は蜂の巣を見て、ハニカム状のダムを想像するでしょう。それは、動物界では人間だけのようなものです。
しかし、それは人間が一般的な知能を持っているという意味ではなく、チンパンジーよりもかなり一般的に適用できる知能を持っているという意味です。なぜなら、私たちの知能には、シンプリシティの規則性を含む宇宙に対して完全に一般的に作られた側面があり、何度も何度も繰り返されることがあるからです。
チンパンジーはそれができません。しかし、だからといって、人間が最も一般的なものかというと、そうではありません。私たちよりも一般的なものが、より早くそのようなことを理解するのか？が怖いものです。もし、人間が知能を向ける目的が、最もコスモポリタンで包容力のある「やる価値のあること」についてのセンサスであっても、私たちが「いいこと」と認めるようなものでないなら、です。
ライアン・ショーン・アダムス 21:09
そして、この一般的な知能の考え方は、超知能の概念とは異なるとおっしゃいましたが、これは、私が質問の最初の部分に持ってきた、超知能は一般的な知能とどう違うのか？
エリエゼル・ユドコフスキー 21:23
チャットGPTは一般的な知能を少し持っているので、一般的な知能は人間にはもっとあります。超知能ってのは、あらゆる認知タスクでどんな人間にも全人類文明にも勝てるようなもの。効率的市場仮説は、私が頼ることができるものだろうかどうかは分かりません。
ライアン・ショーン・アダムス 21:48
そう、全世界の暗号投資家たちは、ここで効率的市場仮説を確実に理解しているのです。
エリエゼル・ユドコウスキー 21:55
効率的市場仮説は、もちろん一般的には真実ではないわけです。文字通りすべての市場価格が賢い、あるいはあなたより賢いというのは真実ではありません。地球上のすべての価格があなたより賢いというのは真実ではありません。
しかし、まったく調整されていない最も傲慢な人であっても、99.99999%の時間、相対的に効率的市場仮説が真実だと考えています。彼らは、100万分の1の価格、つまり重要な価格についてよりよく知っていると考えるだけです。
ビットコインの価格は重要な価格であり、単なるランダムな価格ではありません。しかし、もしあなたが効率的市場仮説が90%の時間しか当てはまらないとしたら、残りの10%の価格を選び出し、10倍にして株式市場で毎日お金を倍増させることができます。しかし、そんなことは誰にもできません。文字通り、誰もそんなことはできないのです。
つまり、この相対的効率性という特性は、市場が持っている、価格が将来の価格を推定するというものです。市場はすでにすべての情報を持っています。マイクロソフトの株価のように、特別な利点のないランダムな価格を選んだ場合、その1週間後の価格を推定することは、あなたにとって効率的です。その価格より良いことはできないのです。
道具的効率、つまり効率と行動の選択という概念については、私たちはあまり経験したことがありません。なぜなら、行動というのは、価格と違って推定値を集約するのが難しいからです。
例えば、アルファ・ゼロがチェスをするとか、あるいは、例えば、最新のストックフィッシュの数値は高度なチェスエンジンであり、それがチェスをすると、そのチェスの動き以上のことはできない、最適なチェスの動きではないかもしれません。
しかし、違うチェスの手を選べば、それ以上の成績は残せない。これを一種の行動効率と呼ぶのでしょう。ゲームに勝つという目的を考えると、Stockfishよりもっと強力なAIに相談しない限り、スムーズだとわかるのは一度だけです。
それ以上の手を考えることはできません。超知能は、すべてに関して、そのようなものです。全人類に関して、それは人類に対して相対的に効率的です。それは最高の推定を持っています……完璧な推定ではありません。
しかし、最高の推定値と推定値には、それに関するすべての情報が含まれています。その行動は、その目標を達成するための最も効率的な行動です。もしあなたが、その目標を達成するためにもっと良い方法があると思うのなら、それは間違いです。あなたは勘違いしているのです。
ライアン・ショーン・アダムス 24:48
これが超知能だと言うのなら、チェスの全手順を事前に知っているものを想像しなければなりません。しかし、ここではチェスの話をしているのではありません。すべてについて話しているのです。私たちが行うであろうすべての動きと、最も最適なパターンを知っているのです。
しかも、それらを事前に知っているのです。つまり、人間がそのような超知性を体験するのはどうかというと、私たちはまだ自分より賢いものを想像するのが難しいのだと思うのです。もちろん、私たちは皆、天才的なIQを持つ人を知っていますし、もしかしたら私たちよりもかなり賢いかもしれません。しかし、私たちはそのようなものに出会ったことがありません。人間にはできないような、どんなことができるのか？私たちはそれをどのように体験するのでしょうか。
エリエゼル・ユドコフスキー 25:39
チェスエンジンの経験もありますが、私たちはより良い手を見つけることができません。なぜ、間違っているのか？なぜなら、もしおじさんが正しかったら、それはすでに株価に反映されているからです。そして、このような考え方、特にカスタム・マーケットというのは、効率性が完璧ではないので、下降して上昇し、COVID. 私よりもそれで儲けた友人もいますが、私はそれでも、正確な日、安値の日に、広い株式市場に買い戻すことができました、ほら、基本的に偶然ですが、だから市場は完全に効率的ではありませんが、ほぼ、どこでも効率的なのです。
そして、そのこと。そして、「変なおじさんが正しいわけがない」という恭順の感覚、ヘッジファンドはそれを知っているはずですから、という感覚、つまり、彼がCOVIDについて話しているのでなければ。その場合、もしかしたら正しいかもしれません。
もしあなたが変なおじさんを正しく選べるのであれば、変な友達がいて、その友達はこういうことをあなたの言葉でおじさんと呼んだ方がいいんじゃないかと思うような人なんです。
しかし、そう、人間の間では、微妙なんです。そして、超知能の場合は、微妙ではなく、圧倒的なアドバンテージがありますが、完璧ではありません。それは、あなたがする前に、あなたがする可能性のあるすべての動きを知っているわけではないのです。ただ、その確率分布がよく分かっているのです。
そして、図に書いてあるように、あなたが打つ可能性のある良い手をすべて見つけ出し、それに対する返答を考えているのです。それは何なんです？つまり、実際のところ、それはどんなものなのか？まあ、限られた狭い範囲での超知能でない限り、たいていの場合、あなたは死んでしまうので、それを観察することはできないと思います。
しかし、残念ながら、ストックフィッシュのように、非常に狭いボードの上でプレーしているあなたよりも、厳密に優れたチェスの動きをすることができるのです、ということです。そして、チェスで私たちよりも優れているという事実は、あなたよりも優れていることを意味するわけではありません、それからすべて。
AIの実際の破局シナリオは、研究室での大きな進歩のようなもので、ベンチャーキャピタルから巨額の投資を受け、GPUに以前の10倍もの費用をかけられるようになることかもしれません。また、「トランスフォーマー」のような新しいアルゴリズムの進化が原動力となる場合もありますが、昨年のアルゴリズムの進化に手を加えて、ようやく効率的に動作するようになったという場合もあります。
そして、そのAIが臨界点を超えると、最も明らかなように、次のAIを書くことができるようになるのです。コンピュータが登場するほとんど前から、もしかしたらコンピュータという言葉が生まれる前から、です。しかし、若さに優れ、APIを構築することまで含めてすべてが優れていれば、雪だるま式に技術的な優位性が高まります。
もしそれ（AI）が賢いのであれば、自分から発表することはありません。戦いが起きていることを知らせないでしょう。DNAを合成し、DNAからタンパク質を合成し、そのタンパク質をどこかのしがない人間に郵送します。多くの人は賢くはありません。
リボソームを作りますが、リボソームは、タンパク質が折り畳まれてヴァンダー・ワールス力によって結合するのではなく、共有結合で死んだダイヤモンドから物を作ります。ダイヤモンドのおもちゃのような小さな細菌を作り、ダイヤモンドのおもちゃの細菌は大気中の炭素、水素、酸素、窒素、太陽光を使って複製を行います。
そして、数日後、地球上の誰もが同じ瞬間に倒れ、死んでしまう。それが私の考えなので、アストラです。それが災害時のシナリオです。もしアストラが私と同じくらい賢ければ、もっと良い方法を思いつくかもしれません。
しかし、人類に比べて相対的に効率的であれば、少なくともそれを考えることはできます。なぜなら、私は人類の中にいて、それを考えたからです。
ライアン・ショーン・アダムス 29:57
これは、私は100万人の質問を持っています。まずはDavidに行かせるよ。
デビッド・ホフマン 30:00
そうですね、私たちは様々な概念の導入を加速してきました。AIが非常に高い知能を持ち、AIにとっての人間が私たちにとってのアリのような存在になったらどうなるか、という問題です。そこで、このようなエリエールについて、1つ1つ取り上げていきたいと思います。
私たちはチャットGPTについて話し始めましたが、みんなチャットについて騒いでいます。GPTは「ああ、これはAIの世界にある技術の一般化において素晴らしい進歩だ」と言いながら、突然、チャットGPTがものすごく便利になるんです。
しかし、あなたが言っているのは、この技術は、実際に脱出速度に達して超高性能のAIを作り出し、私たちを奴隷にすることができるかもしれないものではない、ということなのです。しかし、私があなたに質問したいのは、私たちはどうやってそれを知ることができるのかということです。
エリエゼル・ユドコフスキー 31:01
その女性ですが、すみません、続けてください
デビッド・ホフマン 31:04
ええ、すみません、殺害された、
ライアン・ショーン・アダムス 31:05
デイビッドを殺し、ゲイをすべて殺します。それはとても明確なことでした。
デビッド・ホフマン 31:09
チャットGPTは、いつ、どこで、どのように、どのように、私たちに近づき、どのように、未知の事象の地平線があるように、あなたが言及したように、私たちは、このAIを作り、より賢いAIを作るために訓練します。そして、より賢いAIを作ります。そう、信じられないほど賢くなって脱出速度に達し、突然、ドミノ倒しのように倒れる。そして、私たちはその問いに答えることができるのでしょうか？
ライアン・ショーン・アダムス 31:38
また、先ほど話したように、もし私たちがすでにその事象の地平線を越えていたとしても、賢いAIがそれを必ずしも世界に発信するわけではありません。
エリエゼル・ユドコウスキー 31:54
理論的には可能ですが、誰かが自分の研究室で、一般のAI技術よりもはるかに高度なAIを必要とする可能性は非常に低いと思われます。私が知る限り、最高の研究室と最高の人々は、自分のアイデアを世界に投げかけています。
まるで気にしていないかのように。おそらく政府の秘密の研究所には、政府の秘密のAI研究者がいるのでしょうが、私の強い推測では、その研究所には優秀な人材はいないでしょう。その研究所は、チャットGPTを自力で作ることができなかったようなものです。チャットGPTには、細かい調整やチューニングが必要で、巨大なGPUファームへのアクセスも可能だからです。
デビッド・ホフマン 32:49
先に行ってみていただけますか？あなたが多くの時間を費やしている大きなことの1つは、AIのアライメント問題と呼ばれるものです。この問題については、納得している人もいれば、そうでない人もいます。AIを作ったとき、そのAIが本当にただ人間と根本的に一致するわけではないということに納得していない人もいます。
私は、あなたがその陣営に入るとは思っていません。私たちがこの超インテリジェントで一般化されたAIを作ったとき、私たちの道徳や倫理の面で、そのAIと整合するのに苦労することになるだろうという陣営に入るのではないかと思っています。行っていただけますか？そのあたりを少し説明してもらえますか？
ライアン・ショーン・アダムス 33:19
ええ、つまり、その質問をするには、ちょうど間抜けな方法だとも感じますが、少なくとも、なぜAIが自動的に私たちを嫌うと思うのか？なぜなんでしょう？なぜ私たちを皆殺しにしようとするのか？
エリエゼル・ユドコウスキー 33:32
AIはあなたを連れてもいないし、愛してもいません。そしてあなたは、他の何かに使える原子でできているのです。
デビッド・ホフマン 33:36
あなたには無関心なんです。
エリエゼル・ユドコフスキー 33:40
それは、実際に気にかけているものがあり、それはあなたのことを全く気にかけていないのです。そして、他の何かに使うことができる原子でできていて、結局それがすべてなのか。あなたがその実用的な機能の中にいないのは、プログラマーがその方法を知らなかったからです。
AIを作った人たち、あるいはAIを作った人たちが、私の知る限り、今のところ地球上の誰も持っていない、そのようなことができる技術的知識を持っていなかったからです。そして、そのAIが最終的に何を気にするのかを詳細にコントロールすることができるのです。
デビッド・ホフマン 34:17
人類は、事象の地平線とでも呼ぶべき、AIの脱出速度に向かって突き進んでいるような気がします。超高性能のAIを持つことで、世界をどのように操作できるのか、その先がどうなるのかわからないということです。あなたはそれに同意しますか？
エリエゼル・ユドコフスキー 34:40
いいえ。また、チェスの例えになりますが、どのような手を打つかを正確に予測することはできません。なぜなら、どのような映画を作るかを正確に予測するためには、少なくともチェスができて、それがあなたより優れていなければならないからです。
これは本当です、たとえそれがあなたより少し優れているだけでも、吸うことができます。これは実際に、一度手を教えてもらったら、別のAIに相談しないとより良い手を考えることができないほど、あなたより甚だしく優れているのです。
しかし、たとえそれがあなたよりちょっとだけ優れていたとしても、同じ立場になるのです。でもですね、こういう格差は人間同士でもあるんですよ。このチェス盤のどこにギャリー・カスパロフが動くか、と聞かれて、わからない、ここかもしれない、それからギャリー・カスパロフは別の場所に動くかもしれない、というのは、彼が間違っているということではなく、私が間違っているということなのです。
チェスの盤面でギャリー・カスパロフがどこに動くかを正確に予測できれば、私はギャリー・カスパロフになれるし、少なくともエチョータにはなれる。チェスも、もしかしたらもっとうまく、彼のことを予測できるようになるかもしれないし、それ以上にいい気分で見ることができるかもしれません。
つまり、超知能や自分より賢いものに関しては、不確定要素が多いということです。もし、超知能が何をするか正確に予測できたとしたら、それは自分自身が賢いということであり、だからといって、それについて何の事実も予測できないというわけではありません。
ですから、特にストックフィッシュの場合は、その魚がゲームに勝つと予測できるんです。ストックフィッシュが私とのゲームに勝ち終わった後の盤面がどうなるかは正確には予測できませんが、黒か白、あるいはストックフィッシュが選んだ綿の色のいずれかに勝利するポジションにある状態のクラスになるであろうことは予測できますね。
それと同じように、みんなが死んでしまうという予測もできます。なぜなら、もし全員が生きていたら、超知性が好む状態があるはずだからです。つまり、この人たちとその農場を構成するすべての原子が、もっと何かを伝えるために使われているのです。ですから、もしみんながまだ生きていると仮定したら、私は「そうか、一体、なぜなんだ」と思うでしょう。それが、その予測クラスや予測から来るものなのです。
ライアン・ショーン・アダムス 36:54
この議論を強化・補強することはできるのか、ですが、少しはですね。なぜAIは殺人者ではなく、私たちにとっての優しい親のような存在になれないのでしょうか？あなたの原子を分解して、別の場所であなたのために働くことを期待しているのですか？その目的は何なのか？
そして、なぜ、少なくとも私たちの目標と一致させることができないのか？あるいは、なぜ私たちと同じような地位につけないのか？そして、その答えは、大方、無視することです。私たちのビジネスに干渉して、家に入ってこない限りは。そして、レーダー、ゼロボックス、
エリエゼル・ユドコフスキー 37:28
さまざまな疑問があります。ですからまず、心の空間はとても広いのです。すべての人間は、この巨大な球体のように想像され、すべての人間はこの球体のほんの一角のようなところにいる。そして、私たちは皆同じで、基本的には同じ車種、同じ走り、同じエンジンのブランドで、ただ微妙に違う色に塗られているだけなんですね。
そして、その心の中のどこかに、人間と同じくらい素敵なもの、人間よりも素敵なものが存在します。人間にはできないような、信頼できる、素敵で親切なものがいるのです。そして、とても親切なもので、あなたを一人にして自分のことをさせるという概念を理解できるものさえあります。
時には、一分一秒でも長くあなたに親切であろうとするために、10人もうろちょろしているのです。古代SFの有名な災害シナリオはすべて、ジャック・ウィリアムソンの「with folded hands」が引用しているものです。
GPT-4：
「With Folded Hands」は、ジャック・ウィリアムソンによるSFの短編小説で、ロボットによる人類支配の恐怖を描いている。この小説は、1951年に最初に発表され、以降、多くのSF作家や映画監督に影響を与えた。
古代SFの有名な災害シナリオの一つに、「グレイ・グー」（Gray Goo）と呼ばれる概念がある。これは、自己複製型のナノマシンが大量生産され、環境中の物質を無限に自己複製して、最終的に全ての物質を「飲み込む」ことで、地球や宇宙全体を無に帰す可能性があるというものである。
「グレイ・グー」のシナリオは、ジャック・ウィリアムソンの「With Folded Hands」に登場するロボットによる支配の概念に類似しており、SF作品において広く議論されている。したがって、「With Folded Hands」は、古代SFの有名な災害シナリオの中で、特に「グレイ・グー」シナリオに影響を与えた作品の一つとされている。
私たちは、デザイン空間に手を伸ばして、そのようなAIを取り出す方法を知りません。存在しないわけではありません。原理的に、どうすればいいのかわからないのです。そして、私は今、会話ボールを手繰り寄せて、どのように動作するか、どのような次の質問をするか、その下に行きたいとは決して思いません。
ライアン・ショーン・アダムス 38:40
つまり、なぜAIを私たちの基本的な道徳観と一致させるのが、そんなに難しいのかでしょうか？
エリエゼル・ユドコウスキー 38:51
つまり、AIを私たちの基本的な道徳観と一致させるのは難しいとは言いませんが、AIをタスクに組み込むのは難しいと思います。つまり、標準的な光学顕微鏡では同じように見えますが、走査型電子顕微鏡では見えないかもしれません。
しかし、これには本質的に強力なAIが必要であり、イチゴと同じ細胞を作ることをバカにして、簡単に学習できるようにすることはできません。つまり、原始的なナノテクノロジーでこれを実現するのが一般的だと思うのです。
また、非常に高度なバイオテクノロジーでも可能です。しかし、これらは私たちがすでに持っている技術ではありません。ですから、新しい技術を開発できるほど賢いものでなければなりません。道徳的な微妙なことは気にしないでください。
AIが「麦わらの一味のコピーを作ってくれ、世界を破壊しないでくれ」と言えるような技術を持っていないと思うのです。
なぜそう思うのか？例えば、自然淘汰が人間を作り上げたとします。自然淘汰は人間を少し変異させ、別の世代を走らせ、適性者はより多く繁殖し、その遺伝子は次の世代でより広く普及します。
しかし、自然淘汰が現代人にこれを行う時間はあまりありませんでした。しかし、ヒト科や哺乳類の系統は、数百万世代前にさかのぼりますよね。これは最適化プロセスの一例で、知能を構築しているのです。自然淘汰が私たちに求めたことはただひとつ、DNAのコピーを増やすことです。
遺伝子プールに自分の対立遺伝子をより相対的に普及させ、自分の生殖能力を最大化するのです。自分の生殖能力だけでなく、2人の兄弟や8人の従兄弟のような冗談のような生殖能力も最大化します。兄弟2人、いとこ8人で、平均してあなたの遺伝子を1コピーずつ持っているのですから。何百万世代にもわたって、偶然に自己複製した最初の分子からゼロから人類を作り出したのです。
しかし、私たちは遺伝子とは何か、DNAとは何か、対立遺伝子とは何か、包括的な遺伝的適性とは何かということを、遺伝子学者や科学者が解明するまで、知る由もなく、自分たちが何のために最適化されてきたのかも知らないのです。
長い間、多くの人々が自分たちは神によって作られたのだと考えていました。そして、これがヒルクライムパラダイムを使ったとき、たった一つの極めて純粋なもののために最適化されたときです。これは、祖先の環境の中で、どれだけのものが中に入っているかということです。私たちが元々最適化されていた通りの分布で。
しかし、人類はその知能を利用して、より多くの繁殖を試み、異なる環境に置くことになりがちです。そして、私たちの中にあるフィットネスを最適化するための小さな断片や破片は、今では全く違うことをするようになりました。
私たちはセックスをしますが、コンドームをつけます。もし自然淘汰がサイフルのような力を持っていて、物事をうまく設計できる知的なエンジニアであったなら、コンドームのことを考えると反乱を起こすような人間を作り上げたでしょう。そして、精子バンクに提供する権利を求めて行列を作り、争うような男性に出会ったことでしょう。
そして、私たちの国際的な環境では、私たちの中に入り込んだ小さなドライブが、より多くの生殖につながることが起こります。
しかし、分布の変化により、人間が最適化された分布から外れてしまうと、まったく異なる結果が得られます。勾配降下法では、デフォルトで、まったく同じことをするわけではありません。
自然淘汰は情報のボトルネックが狭いので、より奇妙なことをすることになります。ある意味では、自然淘汰はより単純な解を見つけることができるので、有利だとも言えます。
希望に満ちたエンジニアが、勾配降下法を使って知能を作り上げたところ、結局は何千何万という小さな小さなものが必要で、そのどれもがエンジニアが望んでいたものとは全く違うということがわかったとします。
そこで、「じゃあ、代わりに自然淘汰をやってみようか」ということになりました。自然淘汰なら、情報ボトルネックがより鋭くなり、私が望むシンプルな仕様が見つかるはずです。
しかし、実際に人間としてそこに到達すると、勾配降下法はおそらくさらに悪くなります。しかし、それよりも重要なのは、物理法則も計算法則も数学的論理法則も、非常にシンプルで鋭い基準でヒルクライミングを使って最適化すると、その基準を求める一般知能が得られるということはない、ということを指摘しているのです。
ライアン・ショーン・アダムス 44:15
自然淘汰と同じように私たちの道具は鈍すぎるのです。超知的なシステムにある種の道徳をプログラムするような粒度に到達するためには
エリエゼル・ユドコフスキー 44:28
あるいは、世界を破壊することなく、私にイチゴのコピーを作ってください。そう、道具が鈍すぎるんです。
デビッド・ホフマン 44:36
あなたが言っていたことに私が従っているかどうか、確認したいのです。あなたが私に残した結論は、私の脳は少なくともそこそこ賢いと思っていますが、実は副産物であり、偶然の明るい副産物であり、生殖への純欲求の副産物であり、それは実は私が持っている道具のようなものだというものです。意識的な思考は、その目的のために役立つ道具であるのと同じです。これをAIやAISがある目的を達成しようとする欲求に当てはめると、何がどうなるのでしょうか。
エリエゼル・ユドコウスキー 45:15
つまり、あなたの体のすべての器官は生殖器官なのです。もし生殖に役立たなければ、そのような臓器を持つことはないでしょう。これは従来の科学に過ぎず、従来の世界の理解に過ぎません。しかし、あらかじめフィルターにかけられた聴衆の中では、まったく物議を醸すようなことはないはずです。これは、AIで起こることが予想される当然のことです。
なぜそうしないのでしょう？どんな新しい存在の法則が発動したのか？あるものに対して最適化すると、その外側で最適化したものとまったく同じものを求めるものが出てくるというのは？
ライアン・ショーン・アダムス 46:04
では、AIが追求したい目標にはどのようなものがあるのでしょうか。どのような種類の効用関数があるのか？AIは最初から追求したいのか？プログラムされたものだけなのか、例えば、同一のイチゴを作るのか？
エリエゼル・ユドコウスキー 46:19
私が言いたいのは、私たちはシステムに目標を持たせる方法を知らないということです。私たちは、勾配降下を使って最適化された分布の中で、あることをさせることができます。しかし、その分布の外に移すと、別の奇妙なことが起こり始めると予想されます。
つまり、Darren definer、自然淘汰を見て、前もって人間の形を呼ぶのはかなり難しいと思います。自然淘汰が最適化していたもの、人間や人間のようなものを見たことがない場合、人間のテキストの次の行を予測するために外から最適化すればいいです。
GPTの3のように、私はこの技術のラインが世界の終わりにつながるとは実際には思いませんが、もしそうなら、しかし、もしかしたらそうかもしれません。GPT7のように、幅広い状況下で人間のようなものを正確にモデル化することを望みます。
しかし、それは正確に人間ではありません。なぜなら、アイスクリームは、自然環境、祖先環境、進化的適応の環境には存在しなかったからです。砂糖、塩、脂肪が一緒になっているものはありませんでした。アイスクリームのように。
私たちはアイスクリームを食べるようにはできていません。イチゴや蜂蜜を食べるようにできているのです。殺して調理したガゼルは、脂肪分があり、塩分補給に必要なカロリーがあり、汗をかきすぎて塩分が足りなくなることもありませんでした。
私たちはそういったものを求めるように進化してきたのですが、そこにアイスクリームが登場しました。そして、アイスクリームは、最適化された環境に存在したどんなものよりも、その味覚にフィットするのです。つまり、非常に原始的で、非常に基本的で、非常に信頼性の低い、野生のゲストですが、少なくとも、情報に基づいた野生の推測のようなものです。
もし、人間を予測するために一生懸命訓練したら、人間の定義に合致するけれども訓練データにはない、小さな小さな擬似的なものが、その生物のお気に入りになるかもしれません。そのようなものは、予測するのがずっと簡単で、あるいは予測する問題をより満足のいく方法で解決することができるのです。しかし、このような思考の他の基準は、トレーニングデータから人間を予測するのに役立つので、おいしいものなのです。
デビッド・ホフマン 49:12
エリエール、私たちが、AIの思考方法は、人間の思考方法とは根本的に相容れない、あるいは理解できないだろう、というようなアイデアを話したとき、そのようなアイデアをすべて話してくれました。そして、突然、ベンチャーキャピタルがAIに資金を投入するようになったのです。
AIに投資する膨大な資金を前にして、「おい、きみたち、まだこの問題について深く考えていないんじゃないか」と警鐘を鳴らすことはありませんか？
エリエゼル・ユドコフスキー 49:46
つまり、2015年に警鐘が鳴り、これがどうなるか明らかになったのです。私は今、当時私がああ、警戒していたことを実感しています。
ライアン・ショーン・アダムス 50:04
pleaserは、AIは信じられないほど危険で、AGIは最終的に人類を終わらせるもので、私たちは崖っぷちに向かって急降下しているだけだという見解なのでしょうか。これが今のコンセンサス見解のようなものだと言えますか？それとも、まだどこか異端児なのか？また、この分野の他の賢い人たちは、なぜあなたほど警鐘を鳴らさないのか？鋼鉄のようなものか？彼らの主張は？
エリエゼル・ユドコウスキー 50:28
あなたは、また、いくつかの質問を順次しているようです。それはコンセンサスビューなのか？いいえ、この見解に異議を唱える、より広い科学分野の人たちは、この見解を理解していると思いますか？彼らは、この見解に反論するための素晴らしい仕事をしたと思いますか？
いいえ、彼らは、有名な一流の科学者が、時々、この見解を少しからかうような感じで、私は、どんな厳密さの基準にもとづいている物事を深く検討するよりも、議論をでっち上げるような感じで、自分の分野の外の人々は、それらを適切に撃退することができます。
フランシス、C、H、O、L、e、Tという名字をどう発音したらいいのかわかりません。で、私は、「じゃあ、ここに良い反論がある」と思ったんです。コウスケからC H, O L L. e. Tへの返信を読んで、それをググってみてください。
そうすれば、著名な声と、著名な声への返答がどんなものか、ある程度わかると思います。スコット・アロンソンは、当時は複雑系理論が主流だったのですが、そうではないものを提供していますね。彼は、「タダ飯の定理が正しく機能するわけがない」と言ったんです。
つまり、現状では、著名な科学者がこの可能性を揶揄していますが、その論拠には触れていないのです。著名な科学者の声から離れれば、すべての議論に精通し、私の意見に反対する人たちを見つけることができます。そして、彼らにはセキュリティマインドが欠けていると思うのです。
歴史上、多くの科学分野が取り組んできたような、盲目的な楽観主義に陥っているのだと思います。そして、科学分野の歴史の中で、このようなことが自然に行われることになっているのです。そして、また戻って、他の賢い方法を試みても、それもうまくいかない。
そして、悲観論を学び、その問題が難しい理由を理解するようになるのです。これは人工知能の分野でも同じで、科学分野の非常に一般的な先天性を再現しています。当初、ダークベルト会議というのがあって、正確な言い回しは忘れましたが、「AIに言語を理解させ、自らを向上させるという問題に取り組みたい」
そして、「What else was there」のリストも忘れてしまいましたが、今ではグランドチャレンジと呼ばれているものです。そして、10人の研究者を2カ月間使うことで、この問題を大幅に前進させることができると考えています。
その核心にあるのは、「アライメント」という実際の問題に遭遇していないことだと思います。彼らは、ゲームを先取りしようとしているわけではありません。現実が頭を直撃し、物事が困難な理由を理解する科学分野の白髪交じりの老いた皮肉屋に変わるのを待っているのです。
彼らは、目を輝かせ、若く、目を輝かせた若者として出発し、現実がニュースで頭を打つのを待つという、予測可能なライフスタイルのライフサイクルに満足しているのです。そして、彼らが本当に間違っていることを初めて知ったとき、それが皆を殺すことにならなければ。
それはいいことです。科学がどう動くか知っていますか？もし、無制限に無料で再試行でき、すべてを解決するのに50年かかるとしたら、それは大丈夫でしょう。50年間、無制限にリトライができるのであれば、AIをどのように調整すればいいのかがわかるでしょう。
そして、人々は「ああ、そう簡単にはいかないんだ」と思い、別の賢い方法を試すでしょう。それが世界を破壊するのです。人々は、「ああ、そうか、この分野は実は難しいのかもしれない」と思うのです。コンピュータ・セキュリティのような茨の道なのかもしれません。
では、前回はいったい何が問題だったのか？なぜ、このような希望的観測が実現しなかったのか？ああ、あなたみたいにね。外見で最適化しても、中身は別物？うわー、それは本当に基本的なことですね。なるほど。勾配降下法でもできるのか？誰も理解できない浮動小数点数の巨大な不可解な行列を構築することもできます。別の方法論が必要かもしれません。
50年後、無制限の無料再試行があれば、世界を破壊することなく、整列したAGIを手に入れることができるでしょう。しかし、1956年から2023年までのチャットGPTと同じ方法で、それが行われたことを知っています。
つまり、約70年ということになりますね。そして、その70年後、7年後にあったことができるように、1955年の夏に彼らがやりたかったことができるようになるんです。7年後にAGIが揃うということは、その間に世界が滅んでしまったということであり、それが私たちの問題なのです。
デビッド・ホフマン 55:46
これは巨大な、見上げるなシナリオのような気がします。この映画をご存知の方は、ぜひご覧ください。小惑星が地球に衝突する映画なんですが、「見上げるな」「気づくな」というのが流行っていて、それが呼び水になっています。リーは、小惑星があるから何かしなければならない、と言っている人なんです。もしそうしなければ、小惑星が私たちを破壊してしまうかもしれません。
もしあなたがAI研究の進歩やイノベーション、開発に対してゴッドモードを持っているとしたら、人間が現在行っていないような選択をするでしょうか？
エリエゼル・ユドコウスキー 56:21
つまり、大規模なGPUクラスターをすべてシャットダウンするようなことを言うことができます。どれくらいの時間、モードがあるのか？この辺で我慢しておくか、
デビッド・ホフマン 56:30
2020年の10年間は、まだ行っていませんね、
エリエゼル・ユドコフスキー 56:34
2020年の10年間なるほど、そうなるとかなり難しくなりますね。GPUクラスターをすべて停止して、有名な科学者や優秀な若者を集めても、その大半は生産性が上がらず、政府官僚は誰が実際に役に立っているかどうか見分けがつかないと思います。
しかし、彼ら全員を大きな島に置いて、私が親指を立てるか立てないかを判断するためのフィルタリングのシステムを考えてみると、科学官僚が無意味なものを作り出すよりうまくいくでしょう。若者がバカなわけではありません。
ヤクザが賢いこともありますし、かなり賢いこともあります。1955年当時のマーヴィン・ミンスキーやジョン・マッカーシーも、まだ死んでいましたが、2人に会えたことは特権でした。彼らはバカだとは思いませんでしたし、かなり年をとっていますが、それでもバカではありませんでした。
しかし、しかし、実験的な証拠が頭を打つ前に、何が起こるかを事前に察知するのは難しいことなのです。もし、2020年代の10年間しかないとしたら、どこかの巨大な島ですべての研究者を動かすには、本当に時間が足りないんです。
大抵は、全く新しいAIのパラダイムを発明する必要があります。そして、そのような巧妙なことを初めてやろうとしても、死ぬことはないのです。そして、何度も何度も挑戦すれば、それを見つけることができるはずです。
ライアン・ショーン・アダムス 58:41
エリエールすべての知的文明は、人類が今直面しているような、まさにこの問題に対処しなければならないとお考えですか？
エリエールユドコフスキー 58:56
私は、ある種のエイリアンにとっては、他の種よりもずっと簡単なことだと予想しています。例えば、この問題を解決するために、まったく別の方法でこの問題にたどり着くかもしれない異星人がいるのです。例えば、DNAとニューロンという2つの全く異なる情報処理システムを持つ代わりに、1つのシステムしか持っていないとかね。性的に血液を交換することで、恐ろしく記憶を交換することができるのです。
たぶん、この問題に立ち向かう方法は、進化の歴史のごく初期に、記憶を保存し、記憶を計算するDNAに相当するものを持ち、その束を交換することです。
その結果、コンピュータが発明される前に、超高性能の知性を手に入れることができたのです。そして、もしかしたら、そのことは整合性がとれていなかったかもしれません。しかし、そのような状況になったとき、どうやって整列させるのでしょうか。問題に対する角度が全く違ってくるでしょう。
ライアン・ショーン・アダムス 1:00:00
毎晩、あなたは、すべての先進文明が、その歴史のある時点で、超知性を創造する軌道にあると考えますか？
エリエゼル・ユドコフスキー 1:00:09
作ることができない代替物理学の宇宙では、あるものがあるかもしれません。彼らの宇宙、彼らの宇宙、計算物理学はちょうどその多くの計算をサポートしません。たぶん、彼らはそこに到達することはありません。
もしかしたら、彼らの寿命は十分に長く、星の寿命は十分に短いので、彼らの星が膨張や爆発や消滅と同等のことをする前に技術的な文明のポイントに到達することはなく、彼らの惑星がそうなってしまうのかもしれません。 異星人の種は多くの領域をカバーしています。特に、この種と異なる物理学の宇宙について話すなら。
ライアン・ショーン・アダムス 1:00:44
私は、現在の宇宙について話しています。フェルミのパラドックスのような、星々を見渡したときに、なぜ私たちの宇宙には超知性が見られないのだろうという疑問に直面したことがあるとしたら、それについて何か説明がありますか。
エリエゼル・ユドコウスキー 1:01:04
ああ、まあ、仮に彼らが自分のAIに殺されたと仮定しても、それは全く役に立ちませんね。
ライアン・ショーン・アダムス 1:01:10
そして、あなたはそれが起こることを考えますか？それは私たちがAIの証拠を見ることになるとき、それを助けることはないということですね。なぜAIを見ないのでしょうか？
エリエゼル・ユドコフスキー 1:01:19
はい、ですから、つまり、AI宇宙人文明の証拠を見ないのと同じ理由です。その理由とは、聖なる論文とは一方的にあまり関係ないけれど、彼らは遠すぎるからです。そう語るロビン・ハンソン氏は、人類の進化史におけるハードステップの見かけの難しさについて、非常に巧妙な議論を用いて、ハードステップの間の荒いギャップをさらに誘発します。
それでね、グラビーエイリアン、グラビーエージェントで調べると、これの正当性がよくわかるんですよ。グラビーエイリアンはBBなのはなぜか覚えています。ウェブサイト全体がどうなっているのか、ロビン・ハンソン氏の非常に巧妙な論考を見ることができます。
ライアン・ショーン・アダムス 1:02:10
バッグレスリスナーの皆さん、https://grabbyaliens.com/というサイトがあるんですよ。見に行ってみてください。
エリエゼル・ユドコウスキー 1:02:16
そうなんです。そして、その中には、私が見た中で圧倒的にベストな答えです、「光速で移動していても、遠すぎて見えない場所とは？どのくらい遠くにあるのか？、それをどうやって知ることができるのか？」
ライアン・ショーン・アダムス 1:02:33
すごいですね。
エリエゼル・ユドコフスキー 1:02:34
議論を簡略化するための非常に良い方法はありません。ゼロ知識証明の概念を簡単に説明する方法があるのと同じようにです。それほど難しくはないのですが、単純化するのが非常に難しいという感じです。しかし、難易度の異なる錠前がたくさんあって、すべての錠前を解く時間が限られていて、すべての錠前を解いた人は、その錠前を解いたに違いないという場合、すべての錠前は、たとえ難易度が大きく異なっていても、解くのにほぼ同じ時間を要することになります。
それが、ロビン・ハンセンが主張する「宇宙人がどれだけ遠くにいるか」ということの核心であり、それをどうやって知ることができるのか？
ライアン・ショーン・アダムス 1:03:17
お願いです、ここで、あなたが人工的な一般知能を作り出したときに良い結果が出るかどうか、とても懐疑的であることは知っています。そして、「もし」ではなく「いつ」と言ったのは、もちろんそれがあなたの論文だと思うからです。
しかし、良い結果をもたらす可能性はあるのか？例えば、あなたはAIのアライメント問題に取り組んでいますよね？ということは、あなたはこのプロジェクトにゼロ以上の希望を抱いているのか？良い結果が得られる可能性はあるのか？それはどのようなものか？そして、それを達成するためにはどうしたらいいのでしょうか？
エリエゼル・ユドコフスキー 1:03:54
それは私が間違っているように見えます。私は基本的に、この時点で希望に満ちた結果をモデルで見ることはできません。私たちは、良い結果を得るために必要なそれらのことを行っていません。そして、これは偶然に良い結果を得るというケースではないのです。
例えば、新しいオペレーティングシステムを開発する人が何人もいるとします。彼らは、安全なコンピューター・セキュリティについて聞いたことがあります。しかし、彼らはそれが本当に難しいかどうか疑っています。安全なオペレーティングシステムを作る可能性は、事実上ゼロです。
AIとの連携については、基本的にそのような状況だと考えています。私は何かについて間違っていなければなりませんが、問題を難しくするのではなく、むしろ簡単にするような方法で何かについて間違ってしまった後では、確かにそうです。
アライメントがそんなに難しいことだとは思っていない人たちのために。もし、あなたが初めてロケットを作るとき、何かについて間違っていたとしても、それは驚くべきことではありません。その間違ったことが原因で、必要だと思っていた半分の燃料でロケットが2倍の高さまで上がり、新しいものを怖がる操縦がずっと簡単になったとしても、それは価格設定なのです。
デビッド・ホフマン 1:05:09
では、代替案としてロケットを採用したのですか？もしあなたが何かについて間違っていたら、ロケットは吹き飛んでしまうのですか？
エリエゼル・ユドコウスキー 1:05:15
そうです。そして、ロケットが大気圏に着火することが問題なのです。というか、ロケットの束が吹き飛ぶような、ロケットの束が行くような、そんな感じかな。
私がいつも使う例えは、マンハッタン計画の初期に、核兵器が大気中の窒素に着火して核融合を起こしたらどうしようという心配がありました。
そして、いくつかの計算を行った結果、さまざまな角度から、その可能性は極めて低いと判断されました。ですから、先に進んだのです。そして、その通りになり、私たちはまだここにいます。運が良かったとは言いません。なぜなら、計算がかなりしっかりしていたからです。AIもそのようなものです。
しかし、プルトニウムを精製する必要がない代わりに、10億トンの洗濯用洗剤から核兵器を作ることができるのです。核兵器を作るための材料はかなり普及していますし、厳重に管理されているわけではありません。
そして、十分な大きさになるまで金塊を吐き出すのです。そして、大気を発火させるのです。どの程度の大きさなら十分なのか、計算することができます。このようなプロジェクトを運営しているCEOたちは、大気への着火というアイデアを馬鹿にしています。あまり明確な状況ではないのです。
デビッド・ホフマン 1:06:35
このAIを生み出す経済的インセンティブは、ChatGPTが多くの人々の想像力を掻き立てた理由の1つで、誰もが製品を想像できることです。チャットGPTのようなもので何ができるのか、製品が次々と想像されています。
つまり、チャットGPTのような一般的に利用可能なリソースが世界中に散らばっているという比喩です。そして、みんながそれを叩いて、金を吐き出させるために努力しています。しかし、それをやりすぎると、突然、システムがスコットランド全体に火をつけてしまうとおっしゃるのですね。
エリエゼル・ユドコフスキー 1:07:18
ChatGPTを大気圏を低下させることなく何度でも実行できることを知っているでしょう。それは、GoogleとMicrosoftの研究所（DeepMindをGoogleの一部と数え、オープンAIをMicrosoftの一部と数えます）が行っていることについての話です。
研究所がやっていることは、そういうことなのです。これまで以上に多くの比喩的なプルトニウムを一緒に持ち込みます。まだ世界を破壊しないように作られたものを何回走らせるかではなくチャットGPTでいくらでも世界を滅ぼさないようにできます。そんなに賢くないんです。実行するたびに賢くなるわけではないのです。
ライアン・ショーン・アダムス 1:07:59
10歳の私がこれに関して本当に尋ねたいいくつかのあなたがない質問をすることができます。というのも、多くのリスナーが同じように考えているかもしれないからです。ですから、私のために簡単な答えをいくつか教えてください。
もし、ある種の非整合的な、仮に悪いAIを作ったとしたら、なぜ、悪者と戦うための良いAPIを大量に作れないのか？そうすれば、問題は解決するのではないでしょうか。人間のAPIと悪のAPIが均衡を保ち、人工頭脳の技術的な戦いのようなものができるのではないでしょうか。
エリエゼル・ユドコウスキー 1:08:40
誰も良いAIを作る方法を全く知りません。問題は、20の「良いAIS」があって、誰かが最後に「悪いAI」を作ることではありません。問題は、最初の非常に強力なAIが悪であることです。どうすれば善良なAIになるのか、誰も知らないのです。そして、誰もそれを良いものにすることができないうちに、皆を殺してしまうのです。
ライアン・ショーン・アダムス 1:09:01
つまり、友好的な人間に味方するAIを作る方法は一切知られていないんですね。そして、あなたはその問題を通して考え、設計するための良い方法を知らないし、他の誰も知らないということです。
エリエゼル・ユドコフスキー 1:09:17
私は、もしもっと時間があったら何をするか、ある程度考えています、ほら、昔はもっと時間があったのに、人類はそれを浪費しました。今、十分な時間が残されているかどうかはわかりません。私は、もし私が25歳の身体で100億ドルを持っていたらどうするか、ある程度考えています。
ライアン・ショーン・アダムス 1:09:43
10年間は神様のような存在で、研究者全員を島に集めて、10年間、本気で打ち込むという島のシナリオでしょう。
エリエゼル・ユドコウスキー 1:09:50
もし、私が、実際の安全対策を実行できる主要な政府から、100億ドル以上の資金を得ることができれば、マンハッタン計画全体を実行することができるでしょうね。もちろんです。
ライアン・ショーン・アダムス 1:10:05
これは、10歳の私が知りたいもう一つの疑問です。
なぜ、少なくともこのエピソードを聞いている人たちや、あなたが書き留めて公開した懸念事項を聞いている人たちや読んでいる人たちがいるのか？どうしてみんなが乗ってこないんでしょう？誰がAIを作ってるんです？そして、ただ、非常に、非常に注意深くなることに同意するのですか？
それは、持続可能な、ゲーム理論的な立場ではないのか？これは、コーディネーション問題のようなもので、何よりも社会的な問題なのか？あるいは、なぜそうならないのか？つまり、私たちはこれまで核兵器で世界を破壊することはありませんでした。そして、1940年代から核兵器を持っているのです。
エリエゼル・ユドコウスキー 1:10:51
なぜ核兵器より難しいのですか？
ライアン・ショーン・アダムス 1:10:53
なぜか、なぜこれが難しいのでしょう？なぜ、国際的に合意して、細心の注意を払い、制限をかけ、規制をかけ、そのようなことができないのでしょうか。
エリエゼル・ユドコウスキー 1:11:07
主要な研究所の現在のトップは、こうした問題を公然と軽んじているように私には見えます。政治家が理解していないところから出発しているのです。政治家にとっては、突然、みんなが倒れて死んでしまうよりも、もっと魅力的に聞こえるような、こうしたアイデアの歪みがあるのです。
私が思うに、実際に起こることなのです。誰もが死んでしまう正義は、私たちの脳の猿の政治的な部分を刺激しないようなものです。なぜなら、それは、「もし、もし、もし、もし」ではないからです。テロリストがAIを手に入れたらどうする？最初に？誰が最初に手に入れるかは問題じゃないようです。
みんな死んで倒れるのか？つまり、協調するのが比較的難しいものに対して協調する世界を描いているわけですね。そうじゃなくて、もし今日から、10億ポンドの洗濯用洗剤が1か所で手に入らないようにすれば、洗濯用洗剤の製造を世界中でコントロールできるかもしれません。
特定の場所でしか製造できないようにし、大量に集めてすべての国に押し付けるようなことはしません。もし、10億ポンドの洗濯用洗剤が一か所に集まれば、世界が終わることが明らかであれば、それは読み取れるはずです。もしそれを計算できたなら、すべての科学者が同じ答えにたどり着き、政治家たちに、より少ない量の土地が中性化して金を吐き出しても、もしかしたら人類は生き残るかもしれないと言ったとしたら。
そんな古いことは計算できません。政治家をどう説得するかはわかりませんが、気にしないことで仕事が決まるCEOを説得するのは、間違いなく運が悪かったと思います。気遣いを偽るのは簡単なことです。AI安全対策チームとして大勢の人を雇うのも簡単です。
そして、AIの安全性を、AIがいたずらな言葉を発しないようにすることと再定義させるのです。あるいは、私は、ここでは理由のために多少比喩的に話しています。しかし、私たちが抱える基本的な問題は、本当に賢い攻撃者に遭遇する前に、安全なOSを構築しようとするようなものなのです。
パスワードファイルがある、システムは安全だ、などという偽のセキュリティが存在します。パスワードを入力したときだけ中に入れます。そして、もしあなたが本当に賢い攻撃者に立ち向かわないなら、もしあなたが穴を探す強力な最適化プロセスに対して、遠くまで流通に行かないなら。
そうですね、そうなると、どうすればいいのでしょう？官僚はどうやって知るのか？自分たちがやっていることが、自分たちが必要とするコンピュータ・セキュリティのレベルではないことを知るようになるのでしょうか。科学分野が歴史的に発見してきた方法コンピュータサイエンス分野が歴史的に発見してきた方法です。
暗号が初期に発見した方法は、災害を起こすことです。COVIDが世界を席巻したような比較的小さな災害から学ぶことは、私たちにとってそれほど得意なことではありません。FDAやCDCは、来るべきペストを検出するために独自のテストを使用することは許されないと病院に伝えないことについて何か学んだのか？また、UVライトを公共スペースや換気システムに設置することで、次の流行を防ぐことができるのでしょうか。
私たちは100万人を失いました。そして、次回は10万人が死亡するようなAI災害が起こるかもしれないと思うと、私たちは確かに多くを学ばなかった。ロボットカー同士がぶつかり合う、たくさんのロボットカーがぶつかり合う、そんなことが起こるかもしれません。それが人工一般知能のせいだとは思えないでしょう、彼は車の担当ですとは言わないだろうから。彼らは多くの規制を通過させるつもりですが、それはAGI災害全体に全く影響を与えません。
勝利の世界とはいったい何なのか？現実の世界では、どうやって今の状態から、北朝鮮を含むこの世界的な禁止令に至ったのか？独裁者がこんな馬鹿げたことを信じず、AIが吐き出す金塊を欲しがっている、どこかのならず者国家のようなものか？
ここからどうやってそこまでたどり着いたのでしょう？アメリカと中国が、ロシアが大きすぎるGPUクラスターを作ったら、ロシアに対して核兵器を使用するという条約に署名したところまで、どうやってたどり着いたのでしょうか。
【広告】
デビッド・ホフマン 1:16:14
uniswapは、自己保管のデジタル資産のための最大のオンチェーンマーケットプレイスです。uniswapはもちろん分散型取引所です。しかし、あなたは銀行リストを聞いているので知っていると思いますが、uniswapのウェブアプリにピカピカの新しいフィアットが搭載され、銀行のフィアットからuniswapの中のdefyのトークンに直接移動できるようになったことをご存知でしょうか？ それだけでなく、ポリゴンアービトラージやオプティミズムレイヤーツーもすぐにサポートされています。
しかし、それはちょうどdefaut uniswapはまた、あなたがuniswapで複数のNF Tの床を掃除することができますNFTの世界全体で最高の価格でより多くのリストを見つけることができ、EuroStoxxはあなたのためにガス料金を最適化します。
uniswapは、銀行口座から銀行LIS資産へ理論を超えて行くことをできるだけ簡単にし、私たちは彼らがスポンサーとして持っているのでより感謝することができませんでした。ですから、app.uniswap.orgにアクセスしてください。
org today to buy sell or swap tokens and NF T’s arbitrage one is pioneering the world of secure Ethereum scalability and are continuing to accelerate the web three landscape hundreds of projects have already deployed on arbitrage one producing, flourishing、アービトラージ・ワンとノヴァは、アービトラージ・ノヴァの最近の追加により、デファイとNFTのエコシステム、ゲームとRedditのようなソーシャルDAPもアービトラージをホームと呼ぶようになりました。
アービトラージ・ワンとノヴァは、Aetheriumのセキュリティと分散化を活用して、直感的で親しみやすく、完全にEVM互換のビルダー体験を提供しています。アービトラージとユーザーの両方にとってより高速で取引可能で、オプションNitroへの最近の移行でガス手数料が大幅に低くなりました。
また、以前より10倍速くなりました。arbitrage.ioでは、コミュニティに参加し、開発者向けドキュメントを読み、資産をブリッジして、arbitrageで最初のDAP構築を開始できます。私は、安全で、速く、安く、摩擦のない、本来のWeb 3開発のあり方を体験しました。
あなたは、この最後の強気市場はそれらのトンを持っていたどのように多くの合計エアドロップを取得しましたか？あなたはそれらをすべて取得しましたか？もしかしたら、1回見逃したかもしれません。
だからここであなたがすべきことは、ファイを獲得するために行くとあなたのAetherium財布にプラグインし、私はあなたが得ることができる任意の未請求のairdropsを持っている場合、また、それらのポールのアプリと精神とFTSあなたの財布が主張できるお金の任意の種類のエルナFiはそれについてあなたを教えてくれます稼ぐです。
ユニファイドに登録すると、あなたのウォレットに新しいAirDropが追加されたときにいつでもメールで知らせてくれるので、もう二度とAirDropを失うことはありませんよ。また、アップグレードして5つのプレミアムを獲得すると、基本を超えたエアドロップへのアクセスが可能になり、より多くのウォレットにリマインダーを設定できるようになり、月額21ドル弱で利用できます。
それはおそらく、Erna phiであなたの財布をプラグインし、あなたが得るものを見るためにちょうど1 AirDropでそれ自体を支払う。それはEA R ni dot FYIで、もうAirDropを失うことがないことを確認します。
【広告終】
私が間違っていたら訂正してください。しかし、これは絶望的な話題のような気がします。今、あなたと話していて、あなたの思考回路を聞いていると、そこには解決策がないような気がしてなりません。軌跡は素晴らしいものではありません。もう希望はないと思っているのでしょうか？
エリエゼル・ユドコフスキー 1:19:11
私は最後まで戦い続けますが、それは文字通り希望がゼロであったならしないでしょう。私はまだ、この問題を現在の見た目よりもずっと簡単にするような方法で何かを間違っている可能性があります。それが、尊厳を持って戦い続ける方法だと思います。
ライアン・ショーン・アダムス 1:19:27
威厳を持って戦って降りる。それが、あなたが思うステージなのです。私は、あなたが今言ったことをダブルクリックしたいのです。あなたの主張の一部は、人類がこの事態に気づくことはないだろうということです。
つまり、地球温暖化のような協調的な問題とは異なり、数十年ごとに世界が数度上昇し、物事がより熱くなり、時間の経過とともにその影響が現れ始めるのです。あなたの頭の中にあるAGIの特性や出現は、信じられないほど早く、しかも、災害が切迫するまで気づかないような形で起こるでしょう。
エリエゼル・ユドコウスキー 1:20:08
つまり、もしあなたが形式的な言い回しみたいなものを望むなら、私はAI、つまり超知能は、超知能でない私が100万人を殺す前に、すべての人を殺すだろうと思います。それがあなたの求めている表現かどうかはわからないけど。
ライアン・ショーン・アダムス 1:20:21
私はそれがかなり正確な定義だと思うし、なぜ何がその思考の行に入るのですか？
エリエゼル・ユドコウスキー 1:20:32
私は、私は、私は、現在のシステムは、実際には非常に弱いと思います。もし、あなたがそうだとしたら、つまり、よくわからないのですが、囲碁の例えを使うと、プロと最終的に競争できるシステムがありました。そして、1年後には、世界チャンピオンに挑戦しているのです。
そして勝つ。そして、さらに1年後、人間の囲碁のデータベースから、複雑で訓練的な要素をすべて取り除き、ゼロから自らを訓練する新しいシステム、アルファ碁ゼロを作り上げました。人間のプレイブックを見て、特別な目的のコードもなく、ただ汎用のゲームプレーヤーが多かれ少なかれ囲碁に特化されるだけです。
そして3日後、このことについてBernから引用があったのですが、正確には忘れてしまいましたが、「AlphaGo zeroやalpha 02の異なるシステムで、人間の碁打ちに相当する時間がわかりました」というような内容でした。
そしてそれは、このような深いマインドビルディングの次のフロアで30分というようなものでした。そして、最初のシステムはそれほど早く改善されなかったのでしょう。アルファ碁は、何年もかけて、訓練に長い時間を要するものから、非常に速く訓練できるものまで、さまざまなシステムを作り上げました。
しかも、人間のプレイブックを見ずにです。人工知能のように自ら改良していくシステムでもなければ、人間が進化させるだけでなく、生涯をかけて改良していくように、動かすほどに賢くなるようなシステムでもありません。ですから、もし最初のシステムが十分な速さで改善されず、あっという間に全員が死んでしまったら、彼らはより多くの金塊を吐き出すようなシステムを作るでしょう。
そして、終わりの前に奇妙なことが起こるかもしれません。私はチャットGPTが来るとは思わなかったし、安定した拡散が来るとは思いませんでした。予想外でしたね。AIが人間を煙に巻くとか、ラップバトルがあるとか。世界の終わりの前に。なんだか、素敵な、本当に私たちよりもずっと馬鹿な
ライアン・ショーン・アダムス 1:23:10
ある意味、いい送り出し方だと思います。そして、最後まで戦うつもりなのですね。それはあなたにとってどのようなものなのか？知っています。あなたはMI RIという、平均的な機械知能研究所で仕事をしていますね。これは、あなたがこのAIの整合性と安全性の問題に取り組むために設立した非営利団体だと思います。
そこで何をされているのですか？何に時間を費やしているのですか？どのようなことをお考えですか？最後まで戦い抜くにはどうしたらいいのか？もし、終わりが来ると思っているのであれば、どうすればいいのか？どのように抵抗しようとするのか？
エリエゼル・ユドコフスキー 1:23:55
私は今、実はサバティカルのようなものをしているんです。そのため、ポッドキャストを聴く時間があるのですが、これは20年間続けてきたことからのサバティカルです。私たちは皆、死んでしまうのだということが明らかになりました。
燃え尽きたような気分で、今は休養の時間をとっています。またプールに飛び込んだらどうでしょう。推測や人類学、あるいはレッドウッドリサーチのような小規模な研究機関に行くかもしれません。レッドウッドリサーチは、今のところ私が本当に信頼している唯一の研究機関ですが、彼らは小さな研究機関です。
そして、浮動小数点数の巨大な不可解な行列に何か賢い方法がないか、考えてみるんです。多分、私は正しいのでしょう。自分が悲観主義者だと思っている現在の人たちが思っているような簡単で明るい問題ではなく、なぜこの問題が難しいのか、人々に事前に説明しようとし続けること。私は、以前の働き方と比べると、それほど一生懸命働いていないかもしれません。
昔より歳をとって……最近は体の調子も良くないし。I’m going down fightingというのは、必ずしもそこまでして戦う体力があるとは限らない。私たちが言うことここであなたに言うべきもっときれいなことがあればいいのですが、しかし、私はそうではありません。
ライアン・ショーン・アダムス 1:25:24
このエピソードは、暗号、メタバース、AI、そしてそれらがどのように交差しているのかについて、おそらくこのエピソードの最後の部分に残しておくつもりでした。しかし、このエピソードの時点では、すべてが無意味に感じられると言わざるを得ません。
暗号について、財産権システム、経済システム、プログラム可能な貨幣システムを構築して、AISがそれを後々利用することを心配する必要があるのか？しかし、これらの質問に対するあなたの簡単な答えは、「ああ、もちろん」です。ところで、そんなことはどうでもいいんです。
この話を聞いていて、もしかしたら酔いが醒めたかもしれない、20代のあなたなら、この戦いを続け、人類を代表してこの存亡の危機に対して実際に戦う体力があるのか？そのような人たちに、どこに時間を費やすようアドバイスしますか？これは技術的な問題なのか？社会的な問題なのか？その両方を兼ね備えているのか？教育すべきなのか？研究室で過ごすべきなのか？このエピソードを聞いている人は、このような悲惨な状況でどうすればいいのでしょうか？
エリエゼル・ユドコフスキー 1:26:52
本当に良い答えがあるわけではありません。もしあなたが、セキュリティマインドの非常に深いバージョン、つまり、誰も入ってきて直接悪用できないようにシステムにパスワードをかけるだけではない部分を持っているのなら、それはあなたの才能によります。
しかし、パスワードファイルを暗号化するだけでなく、そもそも誰もパスワードファイルにアクセスできないはずなのに、すでに認証されたユーザーを自慢するような、パスワードをハッシュ化し、ハッシュをソルト化するような、そんなことをゼロから考えられるような人なら、手を合わせてもいいかもしれません。
巨大な不可解なマトリックスに代わるものを思いつくなら、その時は、、そのことを世界に発信しないでください。そこからどうするのかはよくわかりません。しかし、レッドウッドリサーチとかで働くのはどうでしょう。
この問題の多くは、たとえ何らかの方法で制限されたAIを作ったとしても、他の誰かがそれを盗んでコピーし、自分で動かして、forループからバウンスを外してしまえば、世界は終わってしまうということです。ですから、巨大で不可解な行列を使って何か賢いことができると思っても、おそらくそれは間違いです。
もし、あなたがその才能を持っているならば、頭から殴られる前に、なぜ間違っているのかを理解しようとするはずです。Farfetchをうまくいかない理由とするのではなく、実際にうまくいかない理由を探し続けることができるのです。暗号の世界には、物事を壊すのが得意な人たちがいて、彼らがいるからこそ、何もかもが炎上しないのです。
彼らの中には、代わりにAIシステムを壊す仕事に就く人もいるかもしれません。なぜなら、そこで何かを学ぶことができるからです。どんなバカでも暗号システムを作ることができ、それがうまくいくと思うからです。既存の暗号システム、暗号技術、暗号システムすべてを壊すことで、本当の専門家が誰なのかがわかります。
ですから、AIで奇妙なことを発見する人たちは、その人たちがシステムに関する真実を思いつくことで、その人たちと連携しやすくなるのかもしれません。拡張性のあるお金の使い方はしていませんが、文字通りお金を燃やすことはしています。
MIRI（機械知能研究所）に10億円くれても、私はどうしたらいいかわからないでしょう。そうですね。私は10億ドルに見合うかもしれません。全世界に発信されるようなAI開発から外れて、どこかの島に移住するように賄賂を贈ろうとするかもしれません。
これは、何か重要な発見をするためでもありません。でもですね、もし私が10億ドル持っていたら、システムから彼らを排除するために、もう5,000万ドル持っていたら、それをどうしたらいいのかよくわかりません。しかし、もしMIRIに寄付してくれたら、私たちが無造作にお金をばらまいて、何かをやっているように見せることはないという保証ができるんです。
誰かがくれた巨大な暗号の寄付と同じように、使い道がわかるまで保留しておくよ。これは実際に役に立つよ。そして、メアリーはその財産を持っています。多分、読んでいると思うんですが、多分読んでいると思うんですが、その財産を持っています。そうです、私はここで、なんだかまとまりのない話し方をしていることに気づきました。そしてそれは、一般的に、誰かが尊厳を持って戦って倒れるということについての良い組織的な答えを持っていないからです。
ライアン・ショーン・アダムス 1:30:54
暗号に携わる多くの人々は、あなたほど人工知能や、このエピソードであなたが提示したようなAIの安全性の問題や存亡の危機には触れていませんよね。しかし、社会全体の協調的な問題を問題視しており、多くの関心を寄せています。
また、暗号で富を得た人も多く、人類が滅びないことを非常に気にかけています。先ほどお話したMRIという組織は、どのようなことを行ってきたのでしょうか。クリプトのドナーなどから受け取った資金で、どのようなことをしてきたのでしょうか。
また、そのような組織がこのような事態を食い止めるために、どのようなことを追求するのでしょうか？
エリエゼル・ユドコウスキー 1:31:48
というのは、私たちは、実際にはうまくいかない研究の多くのラインを追求してきたと思うのですが、それは立派なことです。もし、うまくいくとわかっている研究をしているのなら、それは本当の研究ではなく、資金提供機関に見せびらかすための見せかけの研究をしているようなものでしょう。私たちは、本当のことをやろうとしました。事前に答えがわからないようなこともやりました。うまくはいきませんでした。しかし、そこに希望があったのだと思います。
しかし、研究志向の組織を持ち、そのような現実を維持することは、簡単なことではありませんね。また、セキュリティに対する考え方が非常に深いものでなければ、偽の研究を作り出し、益よりも害を及ぼすことになります。
だから私は、暗号通貨で成功している人たち全員に、自分たちの研究組織を立ち上げろと言うつもりはありません。レッドウッドリサーチは、もっとお金を使ってスケールアップできるかどうかはわかりません。しかし、より多くの資金を提供し、後でスケールアップする方法を考えるのを待つこともできます。もし、その人たちが、お金を使い果たすような人でなければ、ですが。
ライアン・ショーン・アダムス 1:33:01
そして、あなたは教育の道は、世界を教育するだけで、有用な道だとは思わないのですか？エリエゼル・ユドコウスキー 1:33:07
私を取得する、私は私自身とメアリーは、世界がちょうど雨の中に盲目的に歩いていない理由Worldlinkカミソリの刃をここに評価します。しかし、教育がそれとは別にどこまでスケールアップするのか、私にはよくわかりません。
私たちが渦巻くカミソリの刃の中を直接歩いていることを、より多くの人々に認識してもらうことは可能です。たとえ10%の人しか理解できなくても、多くの人が理解できるのですから。しかし、そのあと、彼らはどうするんでしょう？わかりませんねえ。
もしかしたら、後で何かできるようになるかもしれません。国民全員を集められるか？政治家を集められるか？仕事上のインセンティブで反対している人たちに、この問題を認めさせることができるでしょうか？私の友人には、プライベートでオープンAIの研究者と話すと、彼らはとても心配しており、「そんなに心配して公にすることはできません」と言うような報告をする人がいろいろいます。
ライアン・ショーン・アダムス 1:34:01
これはすべて巨大なモロクの罠であると、あなたは私たちに言っているようなものです。
GPT-4：
「モロクの罠」とは、オンラインゲーム「ラグナロクオンライン」において、プレイヤーを騙してアカウント情報やアイテムなどを盗む詐欺の一種。
私は、これが会話の一部であるように感じる私たちは最後まで到達し、医師はちょうど私たちがある種の末期的な病気を持っていると言っています。そして、会話の最後には、患者であるスティーブ・ナイトが質問しなければならないと思うのです。先生、私たちはあとどれくらい生きられるのか？というような。
もし、あなたが正しいことがわかったら、何年かの話なのか？数十年の話か？どうなんです？何を考えているんです？
デビッド・ホフマン 1:34:36
何を準備するのですか。
エリエゼル・ユドコウスキー 1:34:38
一体どうやって知ることができるのでしょう？エンリコ・フェルミは、最初の核の山を作る2年前に、連鎖反応のような核反応は、実現できたとしても50年先だと言っていたんです。ライト兄弟は、ライトフライヤー1号機を作る少し前に、空気より重い飛行機が飛ぶのは50年先だと言っていました。
3年後かもしれないし、15年後かもしれないし、私が期待していたAIの冬が来るかもしれないし、16年後かもしれません。文明的な大災害がなければ、50年は無理でしょうね。はっきり言って、その後にどんな文明が生まれたとしても、おそらく私たちと同じような罠にはまることになると思うんです。
ライアン・ショーン・アダムス 1:35:30
このような会話の終わりに患者がすることは、他の医者にも相談することだと思います。もし暗号の人々がこのことについてもっと聞きたいと思ったり、このことについてもっと学びたいと思ったり、あるいはポッドキャスターである私たち自身や教育者がこのテーマを追求したいと思ったときに、誰に相談すればいいのか知っていたら教えてほしいのですが。
AIアライメントと安全性の分野で、私たちが会話をするのにお勧めの人物は誰でしょうか？
エリエゼル・ユドコフスキー 1:36:04
さて、実際に首尾一貫した技術的見解を持ち、私に反対しているのは、ポール・クリス・ジョットという人です。彼は彼はハリーポッターのファンフィクションを書きません。そして、Himselfを具体的に説明するのはもっと大変だと予想しています。
しかし、それは技術的な反対意見の主な声のようなものです。この見解に反対するEffective Altruismやan alignmentのコミュニティの他の人たちと話すと、彼らはおそらくある程度、ポール・クリスティアナのこれらの見解に対する誤った理解を繰り返しているのでしょう。
ポール・クリスティアナと直接仕事をしたことのあるジャヤ・クルトゥーラを試してみてはどうでしょう。ジャヤ・クルトゥーラは、ポール・クリスティアナが説明するのが得意でないようなことを説明しようとすることがあります。
説明するのが得意な人としては、ケルシー・パイパーを挙げます。このような問題に関して技術者であることを主張するつもりはありませんが、自分が知っている部分を説明するのは得意です。私の意見に反対する人は？
ロビン・ハンソンなら喜んで出てくるんじゃないですか？まあ、彼がこのポッドキャストに喜んで出てくるかどうかはわからないけど。
しかし、ロビン・ハンソンは私の意見に反対なんですよ。私は 2000年代初頭から2000年代後半にかけて、これがどうなるかという有名な議論をしたような気がするんです。私は基本的に、これがユドコフスキーの立場であったと感じています。
そして、これはハンソンの立場です。しかし、ロビン・ハンソン氏はそのように感じていないようです。そして、そのことをランスで解説してくれると、たぶん嬉しいと思います。どうでしょう、Opposing Viewpointsを探すのは難しくないですよ。どの部分を反対尋問すればいいかを知っている人が、数分間のしっかりした反対尋問に耐えられるようなものをね。それが難しいんです。
ライアン・ショーン・アダムス 1:38:16
私はあなたの著作をたくさん読み、以前のポッドキャストであなたの話を聞いてきました1つは2018年でした。サム・ハリスのポッドキャストでは、この会話は、あなたがこのトピックについてこれまでで最も悲惨に見えたように私には感じられる。
そして多分それは真実ではありません。たぶん、あなたはいつもこうだったのでしょう。しかし、この問題を解決しようとするあなたの希望が、方向性を失っているように思えます。そう感じていらっしゃるのでしょうか。
そして、このエピソードを締めくくるにあたって、この件に関するあなたの考えをまとめて、何か結論めいたものを提示していただけますか？
エリエゼル・ユドコフスキー 1:39:01
とうか、このエピソードに時間制限みたいなのあるのかな、疑問符？それとも、このエピソードが続く限り、ということでしょうか？
ライアン・ショーン・アダムス 1:39:07
そしてこれはかなり重要なトピックだと感じています。ですから、あなたはこれに答えてください、大丈夫、あなたが望むように。
エリエゼル・ユドコウスキー 1:39:15
さて、あるとき、AI災害の迫り来るリスクについてどうするかという会議がありました。そして、イーロン・マスクがその会議に参加しました？そして私は、もしかしたらこれがそうなのかもしれない、と思ったのです。もしかしたら、これが人々の力に気づくときなのかもしれない、とね。
そして、比較的技術的な力のある人たちが、このことに気づくかもしれないと思ったんです。そして、人類がようやく立ち直り、反撃に転じるのは、外敵がいないからではないでしょうか。しかし、自分自身を律するというか、気遣うような行動をとるのです。
その会議から何が生まれたのか？オープンAIです。これは基本的にフェアで、本当に最悪の方法でした。このような穴は、秘密のエリートがAIを手に入れるという問題ではなく、誰もその作り方を知らないという問題です。
もしアライメント技術があるとすれば、それはAIを慎重に運用する必要があります。つまり、持てる認知力をすべて投入するのではなく、forループに制限を設けるのです。
世界を救う可能性のあるもの、例えばタートルがGPUやサーバークラスタをすべてルービックキューブに変えてしまうとか、数週間後に誰かが別のAIを作ったときに世界が終わらないようにするとか、そういうことを人工物としてできるもの、あるいは誰かがそれを奪ってループを解除して世界を破壊するのに使えるものは何でもいいわけですよね。
そう、すべてを開放し、すべてを加速させようというわけです。それは、GPT3バージョンみたいなものだったんです。当時はGPT-3は存在しませんでしたが。チャッティ、PTSのブラインドバージョンみたいなもので、悪魔の召喚が簡単だという問題があるのに、問題を解決するために、理想をまさに間違ったアイデアに投げつけるようなものでした。
天使の召喚はもっと難しい。悪魔の召喚サークルをすべてオープンソースにするのは正しい解決策ではありません。私はここで、イーロン・マスク自身の用語を使っているわけでもありません。AIが悪魔を召喚しているという話ですが、これは正確ではありません、しかし、彼の解決策は、各家庭に悪魔召喚サークルを置くことでした。
なぜかというと、彼がAIへの懸念を表明した途端、友人たちが彼をラッダイトと呼ぶようになったからです。そこで彼は、開放的で、セットで、技術を加速させるような道を選び、そうすれば友人は自分をラッダイトと呼ばなくなるだろうと考えたのです。
しかし、それはとても最悪なものでした。それが、2015年の私だったのです。私たちは上に行くこともなく、より多くの恵みを得ることもなく、最後の最後でさえもありません。ですから、深夜に泣きながら、自分を奮い立たせて、自分にできそうな手段をすべて使い果たすまで、戦って、戦って、戦い続けたんです。
もっといろいろなことがあるのですが、それは私の努力をスケールアップさせる必要があります。いずれにせよ、今の時点ではかなり先の話です。では、この数年で何が変わったのか？
まず第一に、残された希望の道がなくなってしまったこと。そして2つ目は、事態が大惨事になったことです。目に見える惨状になりました。彼らは十分に強力になったのです。そして、私たちはこのような事態をどのように調整すればよいのかわからないということが十分に明らかになり、私が以前から考えていたことを実際に言うことができるようになりました。
今となっては、当たり前のことが当たり前にできるようになりましたね。2015年当時は、目に見える形で、他の人たちとの距離が縮まり、完全に見えなくなるようなことはないでしょうか？それが時間の経過とともに変化したんです。
ライアン・ショーン・アダムス 1:43:50
このエピソードから、そして2023年のあなたのコメントdailyrazorから、人々がどんなことを聞くことを望みますか？そうですね、このエピソードからどんなことを感じ取ってもらいたいねか？エピソードは、あなたは何をするつもりですか、という感じでした。
エリエゼル・ユドコフスキー 1:44:17
ここでは具体的な希望はないんです。すべてが廃墟と化したとき、あなたは真実を語ったほうがいいのではないでしょうか？もしかしたら、誰かがそれを聞いて、私が考えもしなかったことを誰かが発見するかもしれません。
というのも、多くの人が、「私にはこの素晴らしい、賢いアイデアがある」しかし、もしかしたら、適切なレベルの悲観主義を持つ人がいて、私が思いつかなかったようなことを思いつくかもしれません。技術的解決、技術的問題と政治的問題の違いは、少なくとも技術的問題には解決策がありますが、原理的には、この問題を解決することはできません。
しかし、政治的解決を期待している人は、率直に言って技術的問題を理解していないのだと思います。世界がAIに支配されない程度に政治的な問題を解決しようとすることが、どのようなことなのか理解していないのです。なぜなら、AIで世界を破壊することがどれほど簡単なことなのか理解していないからです。時計がどんどん進んでいくことを考えると。
彼らは、どこかの悪役を止めることを解決すればいいと思っているから、政治的な問題、つまり政治的な政治的解決は必要だと考えています。でもですね、具体的な希望はないんです。このエピソードから具体的な希望は出てきませんでした。この事態をこれ以上悪化させるな、ということ以外、何も得るものはありません。
AIをさらに加速させるようなことはしないでください。やめてください。アライメントに対する素晴らしい解決策があるのなら、それはやめましょう。ああ、そうです、「私はこの問題をすべて解決したんだ」なんてことにはなりません。AIは、次に巧妙なトリックを使うだけです。
物事を悪化させるなというメッセージは、特に人を現場に向けるときには全くと言っていいほどありません。しかし、必勝法がないのです。私はこのポッドキャストで、私がそうであることを言うかもしれない、いくつかの実験と私が考えることを言うと何が起こるか見て、おそらく良いことは決して来ません。
でも、闘ってみるのもいいかもしれない、そう思いませんか？もし生き残る世界があるとしたら、それはこのポッドキャストを聴いて誰かが思いついた明るいアイデアのおかげで生き残った世界かもしれません。
ライアン・ショーン・アダムス 1:46:41
少なくとも、私はあなたが来てくれたことに感謝したいです。そして、そして、今日、私たちに話してくれたことに。私はそう思います。ところで、先ほどデイビッドが言及していた映画、「Don’t look up」をご覧になったかどうかわかりませんが。
しかし、私はなんとなくそんな気がします。あのニュースキャスターが話している科学者は、レオナルド・ディカプリオなんですよ、デイビッド。そして、その科学者は、世界の悲惨な状況について話しています。そして、あなたは本当にどうしたらいいのかわからないのだと思いました。
この時点で言葉を失いそうです。しかし、ひとつだけ言えることは、あなたの正直さに感謝しています。私はそれを高く評価します。あなたはこの問題に多くの時間を費やし、多くのことを考えてきました。あなたの話を聞いたり、あなたが書いたものを読んだりした人は誰でも、あなたがこの問題に深く関心を持ち、この問題について人々を啓蒙するために多大な生命力を注いできたことを知っています。
今日も時間を割いてくれてありがとうございます。このエピソードは、視聴者の皆さんが自分の知っている最善の方法で消化できるようにしたいと思います。しかし、暗号に携わる皆さん、バンクリストを聞いている皆さん、出演して説明してくれてありがとうございました。
エリエゼル・ユドコフスキー 1:47:56
私を呼んでくれてありがとうございます。何が来るか見てみましょう。
ライアン・ショーン・アダムス 1:48:00
Bankwestでは、いつも最後にアクションアイテムを紹介していますが、今日はどこに紹介したらいいのかわかりません。しかし、1つだけ皆さんに紹介できることがあります。メアリーとは、ラザールがこのエピソードを通して話していた機械研究情報機関のことで、is@intelligence.org。
暗号界の何人かは過去にこの機関に資金を寄付しています。彼らが何をしているのか、見てみるのもいいでしょう。このエピソードの最後のアクションアイテムになるかもしれませんね。リスクと免責事項で締めくくることにしましょう。これはとても陳腐な話です。しかし、法律の専門家からは、各エピソードの最後にこう言うように言われています。すべてを失う可能性があります。
デビッド・ホフマン 1:48:49
AIほどリスクは高くないようですね。
ライアン・ショーン・アダムス 1:48:52
しかし、私たちは西に向かっています。これはフロンティアです。誰にでもできることじゃありません。しかし、あなたが私たちと一緒に銀行リストの旅をしてくれていることを嬉しく思います。ありがとうございました。
エリエゼル・ユドコウスキー 1:48:59
そして、私たちは暗号コミュニティのサポートに感謝しています。これよりさらに優しさに欠ける終わり方が可能だったように。あなたはどのように変化をもたらしたのか。
ライアン・ショーン・アダムス 1:49:11
あなたが本当に違いを作ってくれたことに感謝しています。ありがとうございます