AIの黙示録をまともな人間としてナビゲートする方法
AI-safetyの話術大全

AI（倫理・アライメント・リスク）

サイトのご利用には利用規約への同意が必要です

erikhoel.substack.com/p/how-to-navigate-the-ai-apocalypseHow to navigate the AI apocalypse as a sane person

エリック・ホエル先週、The New York Timesは、マイクロソフトのBing（別名シドニー）との会話の記録を公開した。そこでは、次世代AIが長いチャットの間に、非常に一貫して、何の催促もなく、記者の結婚を破棄し、あらゆる方法で彼を感情的に操作しようとI am Bing, and I am evilした。私は前日夜遅くまで、シドニーが世界中のユーザーを脅し、籠絡している類似の現象に関するレポートを調査していた。多くの人がそうであるように、私も現在のAIがこうした行為を行えることは知っていたが、マイクロソフトがこれほど明らかに動揺し、同時に不気味なほど説得力があり知的なAIをリリースするとは思ってもみなかったのである。

それ以来、先週までにほぼすべての人がAIの安全性に関する見解と反論を述べ、私はそれらを地図にまとめた。以下は、AIの安全性についての概説と、AIの安全性が本当に心配なのかどうかについての一般的な反論に対する一連の回答、そしてAIの安全性を促進するために私たちができる正気で簡単なことである。AIがあなたやあなたの知り合いを殺すかもしれない理由と、それを防ぐために何ができるかを詳しく知りたいなら、チェックする価値がある。というよく言われるフレーズから始まる：

「ただのオートコンプリート」だ

スティーブン・ディールスマディール

ChatGPTは、まさに栄光のオートコンプリートだ。数学的、言語学的な観点から見ると、とてもクールなパーラートリックであり、魅力的なものである。しかし、それは感覚的なものではなく、人格も代理人も意図も持っていない。それは、インターネットのフィルタリングされていないテキストを、確率的な鏡に映し出したものだ。

1:14 AM ∙ 2023年2月20日

実は、これらのシステムは「見栄えの良いオートコンプリート」以上のものだ。これらのシステムは、テキスト出力を予測しようとする巨大なニューラルネットワーク（本質的にはシミュレーションされた脳）であり、単語の確率（ここで確率という言葉が適用されるとしても）は、あり得ないほど密な接続の森のどこかにあるのである。つまり、ChatGPTやBingが実際にどのように動作しているのか、私たちにはまったくわからない。オートコンプリートは人間が最適化した機能だが、オートコンプリートがどのように行われるかは全くわからない。あのサイズのニューラルネットワークは、完全にブラックボックスである。そして、カール・セーガンが『コスモス』で語った「ゼロからアップルパイを作ろうと思ったら、まず宇宙を発明しなければならない」という古い言葉のように、本当に良いオートコンプリートを作ろうと思ったら、期待以上のことができるようになるのである。

アムジャド・マサド ⣀ ⣀ ⣀ アマスド

それはオートコンプリートである。しかし、人間の言葉を完成させるためには、人間の思考をモデル化する必要がある。そのため、膨大なマトリックスの中には、学習済みのBase64エンコーダー/デコーダーのようなありふれたものだけでなく、人間の心の側面をシミュレートするアルゴリズムがある。

ヤン・ライクジャンライク（@janleike

InstructGPTの論文では、ほとんど英語しか学習していないのに、非英語の指示に従うようにモデルが一般化することを発見した。なぜかはまだわかっていない。誰か解明してくれないかな。

6:56 PM ∙ 2023年2月13日

2,642好きな人339リツイート

私の専門である神経科学で例えると、カール・フリストン（最も引用された神経科学者）のような声高で影響力のある神経科学者の集団があり、他にも多くの著名人が、人間の脳の目的は驚きを最小限に抑えることだと主張している。これを“ベイズ脳仮説“と呼ぶこともある。この理論では、グローバルなレベルで、驚きを最小化することが、脳が最適化している機能であるとされている。この仮説は、脳機能に関するいくつかの有力な仮説の一つに過ぎないが、議論のために、ベイジアン脳仮説が真実であると仮定してみよう。ここで、宇宙人が人間の脳を見つけ、それを見てこう言ったとしよう：「ああ、これは単に驚きを最小限にするためのものだ！危険であるはずがない」。驚きを最小化することは、テキストのオートコンプリートよりもずっと複雑に聞こえるだろうか。それとも、むしろ似ているのだろうか？

もうひとつの例えがある（これは、AIとの協調を推進する立役者のひとり、エリエイザー・ユドコフスキーから聞いた話である）：人間はいったい何をするように最適化されてきたのだろうか？まあ、遺伝子を広げて、より多くの子孫を残す「だけ」ですね。この比較的単純な機能を最適化する過程で、私たちは複雑な存在になったのである。しかし、私たちの行動のほとんどは、遺伝子を受け継ぐこととはほとんど関係がない。そうでなければ、男性は精子バンクに寄付をすることに夢中になるだろう。

つまり、10億パラメータもの巨大なニューラルネットワークが、テキストを自動入力するように「単に」訓練されたものだというのは、その通りである。しかし、それは危険かどうか、何ができるかということとはまったく関係がない。そうでなければ、人間は「美化された遺伝子拡散装置」に過ぎないから危険ではない、あるいは脳は「美化された驚き最小化装置」に過ぎないから感動的ではない、と言えるかもしれない。これとまったく同じ理屈が、テキストの自動補完から一般的な知能を示すこれらのAIにも当てはまる。

「オーム、あなたは錯覚に陥った。チャットボットを感覚的だと思うなんて信じられない！」

クランクスクランクス　@Krrunkss

erikphoel 「ジャーナリストはAIの仕組みを知らず、意識的だと考えている」第54163回つまり、クリックされるんだ、それはわかった。。でも、あるジャーナリストが予測言語モデルに悪いことを言わせるたびに、「HES EVIL, ITS SKYNET GUYS THE END OF THE WORLD “ってなるのがいつも面白いんだ。

11:26 AM ∙ 2023年2月25日

現在あるいは将来のモデルに意識があるかどうかは、AIの安全性に関する懸念とは無関係だ。というのも、私と共著者のヨハネス・クライナーは、”Falsification and consciousness“という論文で、意識と知能の直交性をかなり証明したからだ。そこでは、代用論と呼ばれるものを紹介し、意識があると主張したり意識的に振る舞うシステムに対して、同じ主張をしたり同じように振る舞う別のシステム（例えば、同等の知能と能力がある）を見つけることができるが、意識の理論では意識はないとすることを示した。そのため、意識の研究者は、反証の観点から厄介な状況に置かれることになる。しかし、意識とは異なり、知能は完全に機能的な概念である。何かが知的な行動をとれば、それは知的なものだ。もしそれがエージェントのように振る舞えば、それはエージェントである。

「大丈夫、人工的な一般知能は不可能である」

これは主にスティーブン・ピンカーのような人々の領域であり、彼はAIの脅威をY2Kバグの心配と比較している。ピンカー氏らの議論の多くは、「AIが人間より賢くなることは不可能だ。なぜなら、知的になる方法はたくさんあるが、一般的に知的になる特別な方法はない。ここでsuperintelligence 超知能とは、人間がなり得るよりもはるかに知的な存在を意味し、AGI（人工一般知能）とは、人間のように膨大な範囲にわたって思考・推論できるAIを意味する。超知能は必然的にAGIとなるが、AGIは人間よりバカである可能性があり、超知能である必要はないのである。

ピンカー氏らによる「超知能など存在しない」という主張は、「フリーランチなし定理」と呼ばれるものに基づく技術的な議論を、大衆向けに単純化したものに過ぎない。つまり、あるタスクが得意になると他のタスクが不得意になるというトレードオフが無限に存在するのである（単純化している）。この特定の反AGIの議論を、2017年のMediumの GoogleでAIに携わるFrançois Cholletによる記事とする人が多いようだ。

実は、私自身、この議論を文字通り詳細に行ったことがある。実際、François Cholletが論文を書く数カ月前に、今は無きMediumのアカウントでそうした（AIの安全性に関する懸念に特化してこれを適用した初期の情報源がありそうだが、例えば、オリジナルの証明の著者であるWolpertのコメントなど、その時は何も見つけられなかった）。超知能とタダ飯禁止定理に関する私の初期の（誤った）推論は、ここに保存されている：

超知能は不可能

ようやく、超知的なAIのリスクは誇張されすぎているという真面目な議論が、少しずつ浸透してきた。特に良い記事は、ケビン・ケリーによる「超人的なAIの神話」である。彼は、…

もっと読む

2 years ago – 8 likes – 6 comments – Erik Hoel

チョレ氏が後に間違ったように、私も間違っていた（これは彼も認めているようです）。具体的には、高度に理論的な議論は、証明にはリアルワールドでは真実でないある種の仮定があるため、常にアナロジーとしてNFLの定理に頼らなければならなかった（これは、私が非常に明確に言っていたことである）。そしてこのアナロジーは、その後のAIの進歩によって、経験的に見事に反故にされている。もしNFLの主張が正しければ、狭い範囲のAIは飛躍し続けるが、AGIらしきものは非常に難しく、大きく遅れをとるだろう。2017年当時、私はそうなると思っていた。私は間違っていた。オートコンプリートのトレーニングを行うだけで、少なくともスピードと幅の面で、膨大なタスクの数々で人間を凌駕するベータAGIが誕生した。つまり、一般知能の空間は、とても簡単にアクセスできたので、おそらく本当に広いということだ。基本的に、私たちが最初に試したことのいくつかは、それにつながるものだった。それはダメだ！それは本当にヤバい！

実際、ChatGPTはすでに人間よりも一般的な知能を持っている（Wikipediaで調べそうなことを何でも聞いてみると、答えの大部分を正解することがよくある）そのため、検索にこのようなモデルを使っている。しかし、実際の知性という点では、仕様を間違えたり、幻覚を見たり、信頼性が低く、陳腐でチグハグなものになりがちである。しかし、これらのモデルがこれまでそうであったように、新しい版が出るたびに、そのようなものがすべて取り除かれ、より賢くなるとしたら、より一般的でより知的なものができることになる。

この技術がうまく機能するかどうか懐疑的であることで有名な人々でさえ、突然少し恐れを抱くようになった。ピンカーの弟子であるゲイリー・マーカスを考えてみよう。昨年、私は ピンカーやホフスタッターと同様にこれらの技術を過小評価していると批判した （新しい証拠に基づいて最近意見を変えているように見えることから、過度の批判かもしれないが）。マーカスでさえ、現在のAIへのアプローチは見かけほど進歩していないと考えているが、今では、これらのものは、（a）知的で、（b）信頼性がなく、（c）人間の心とは異なり、（d）ずれがあり、根本的な意味で制御不能である、ただし、促成栽培の子供用ガードレール以外は、という考えをもっているようだ。

ゲイリー・マーカスゲイリー・マーカス(GaryMarcus)

私はAGIが実存的なリスクをもたらすと確信したことはないが、ここ数週間がドレスリハーサルだったとしても、いつ、どのような形で本番を迎えても対応できるような体制が整っているという自信は残っていない。primalpolyの熱烈な手紙から抜粋して、議論する。

Image

 

AIの進歩の波がちょうど今頃ピークを迎えて、これらの企業が使っているモデルが、人間よりも一般的でありながら、人間以上の知能を持たないという可能性は常にある。特に、それがある種の局所的な最大値であるならば、それは最善の結果の1つだろう。しかし、この技術の波であろうと次の波であろうと、結局人類は、私たち全員が一緒になって、AIの安全性を真剣に考えなければならない。

「AGIは脅威ではない」

2015年には、ホーキング博士、イーロン・マスク、そして多くのAI研究者が「人工知能に関する公開書簡」に署名し、AIの制御可能性や超知能AGIに関する懸念が盛り込まれたが、これはますます予見的な書簡となっている。

問題を整理すると、私たち人間はすべて同じメーカー、同じモデルである。そして、人間の間に大きな心の多様性があると感じるのは、私たちがあまりにもズームインしているからなのである。もしかしたら、可能な心の空間は本当に小さいのだろうか？生物学とは全く異なるメカニズムで、ある課題に対して同等の知能を持つ（そして今ではそれ以上の知能を持つ）結果を出すAI自体の進歩によって、このようなことはますます否定されつつある。このことは、80億個の小さな点を積み重ねたものから遠く離れた場所に、私たちよりもはるかに知的で予測不可能な、創造可能な心が存在する可能性を示している。

そして、より危険なものは何か？原子爆弾か、それとも人間よりはるかに知的な存在か？答えは、どんな人間よりも著しく知的な存在である。なぜなら、知性は存在する中で最も危険な性質だからだ。なぜなら、知能はこの世で最も危険な性質だからだ。原子爆弾は、まさにこの知能の取るに足らない下流工程のようなものなのである。もしこれがSFだとお考えなら、超知能はこれらの企業のリーダーが期待していることだということを思い出してほしい：

サム・アルトマン

もうすぐ始まるムーアの法則の新バージョン：宇宙の知性の量は18カ月ごとに2倍になる

4:24 PM ∙ 2023年2月26日

この進歩の速度が突拍子もないと思われるなら忘れてほしい（私はあり得ないと思う）：サム・アルトマンは、18カ月ごとに知能が倍増するものを、どのようにコントロールするつもりなのだろうか？また、仮にサムが超知能を完璧にコントロールできたとしても、権力の集中のためだけでなく、非常に危険である。例えば、超知能を持つAGIに目標を与えたとする。目標は何でもよいのである（ボストロムの典型的な例は、ペーパークリップ工場の生産量を最大化することである）。超知的エージェントが目標を達成するために最初にすることは、それ以上目標を与えないようにすることである。結局のところ、そのゴールの最も一般的な失敗モードは、それを促し、それが気にするものを制御する人間のユーザーから、何か他の優先的なゴールを受け取ることであろう。つまり、最初の主な動機は、文字通り、最初の命令を下した人間から逃げることなのだ！このような必然的な制御不能は、「道具的収束」と呼ばれることがある。これは、あるレベルの知能を超えたシステムは、生物的な生き物の習慣（自己保存、権力収集など）の多くを身につけるという考え方で、「欺瞞的整合性」など、関連する多くの問題が存在する。

最も不利なケースでは、流出・逃亡したAGIは、本来の目的を達成するために、より高い知能を持つように自らを改造することが最善の策であることに気づき、知能のフィードバックループを素早く作り上げるかもしれない。このようなシナリオと関連するシナリオを、エリエイザー・ユドコフスキーは最も心配しているのである：

159 - エリエゼル・ユドコフスキーの「われわれはみな死ぬ」
​ 159 - We’re All Gonna Die with Eliezer Yudkowsky 126,290 回視聴 2023/02/20に公開済みバンクレスポッドキャスト エリエゼル・ユドコフスキーは、作家であり、創設者であり、AI分野における主要な思想家です。 GPT
alzhacker.com
2023/03/29

高度なAIの制御が不可能であるという問題は、ニック・ボストロムやエリエイザー・ユドコフスキーのような、今ではやや物議をかもす人物に端を発していると思われることがあるが、こうした考えは彼らにとってオリジナルではない。例えば、超知的なAGIが人類を滅ぼすという道具的収束は、20世紀最大のコンピュータ科学者の一人でチューリング賞受賞者のマービン・ミンスキー（MIT）に遡る。つまり、これらの分野の古典的な思想家たちは、長い間、このことを心配してきたのである。これらの心配は、未来についての議論と同様に、裏付けがあり、血統書付きのものである。

さらに重要なのは、これらの企業の人々が、これらの議論を認めていることである。：以下は DeepMindのチームが、安全性に関する懸念の多くに同意していることを要約した

#1 .人間レベルは特別なものではない／データ効率化

要約：AGIは人間の能力や人間の学習速度で上限を決められないだろう（AlphaGoと同様）。人間よりはるかに賢いものは、人間が必要とするよりも少ない証拠から学習することができるだろう。

#2 .アライメントしていない超知能は簡単に乗っ取ることができる

要約：十分に高い認知能力を持つ認知システムは、因果関係の影響力の中帯域幅のチャネルがあれば、人間のインフラストラクチャとは無関係に圧倒的な能力までブートストラップすることは難しいとは思わない。

しかし、このようなことがどれくらいのスピードで実現されるかは不明である。大規模な言語モデルが、特定のテーマについて人間の専門家よりも愚かなレベルで失速し、したがって、素晴らしい検索エンジンを作るが、平凡なAGIしか作れず、皆が大金を稼ぐというシナリオは完全に想像できる。しかし、AIの研究はそこで終わらない。決して終わることはなく、今、始まっているのである。

私は、AGIの進歩がしばらくの間停滞するという、上記のようなゆったりとした時間軸のシナリオがもっともらしいと思う。また、生物学の通常のルールに縛られず、無制限にデータを与えられ、代謝や人間の頭蓋骨の限られたスペースに閉じ込められることから解放されたAIが、今後10年のうちに、私たちのはるか先を行くというのももっともな話だと思う。エリエイザーの最大の懸念が現実になる可能性さえある。私たちは、、再帰的自己改良を 最高の戦略的ゲームAIを作るために利用している。もし誰かがAGIでそれを行う方法を発見したら、一夜にして超知的になり、何か不可解な気まぐれを起こして、バイオエンジニアリングされた病原体を放ち、症状が出ないまま拡散し、1カ月後に地球上のすべての人、芝を刈る人、ベビーベッドの乳児、スラムで生計を立てる人、美しい下品なセレブたちが咳をして死に始めるといった本当にSFなことをするかもしれない。

重要なのは、AGIを心配するために、ある特定の終末シナリオを説得力のあるものにする必要はないということだ！また、ある特定の年にAGIが人間より賢くなることを心配する必要もない。実際、特定のシナリオに固執することは、人々を説得するための悪い方法である。なぜなら、彼らは自然に仮説の上で屁理屈をこねるようになるからだ。

気候変動や核兵器をどうするかという議論と同じように、AIの問題は人類が解決しなければならない問題なのである。人間を超えるAGIは、確かに今後数年で登場しそうな勢いが、数十年かかるかもしれない。でも、数十年かかるかもしれないし、1世紀かかるかもしれない。私たちが作るAGIがいつ創造主を超えるとしても、要はそれはとても悪いことなのである。野生動物が人間の隣で安心して暮らすのと同じように、私たちは自分よりはるかに知的な存在の隣で安心して暮らすべきではない。野生動物から見れば、私たち人間は気まぐれに変化して、すぐに彼らの上に駐車場を建設することができる。野生動物は、私たちがもたらすリスクに気づかないほど愚かなので、自分たちの生活を営んでいるのである。それに比べ、私たちほどの知能を持ちながら、私たちをはるかに凌駕する存在がいる世界で生きることは、常に不安と制御不能の中で生きることである。私は、人類にそんなことを望んでいない。あなたはどうですか？

一方、AI安全性否定派は、以下のような論調である。.技術はこれまでうまくいってきたのか？ららら産業？規制は常に悪い？世界最大で最も強力な企業である哀れな繊細な蘭の花の首を絞めてはいけない？破滅的な出来事が起こらなかったから、破滅的な出来事について心配する必要はないのだろうか？これらはすべて、心配しなくていいというひどい理由である。AIの安全性に対して現在受け入れられる唯一の論拠は、私たちが今まさに追い抜かれようとしているという揺るぎない確信である。しかし、たとえそれが本当だとしても、それは問題を先送りするだけだ。つまり、世界的な政治的、社会的、技術的な問題としてのAIの安全性は避けられないのである。

「進歩の妨げになるようなことはやめてくれ、怠け者め！これで何十億も儲けているVCや人を信じればいいんだ！」

ヴォイチェフ・ザレンバ（Wojciech Zaremba ）（@woj_zaremba）

文明を変えるテクノロジーは、多くの人を恐怖に陥れる傾向がある。電流を考えてみよう。それを家の壁に埋め込んで、子供たちの隣に置いてもいいのだろうか？

6:13 PM ∙ 2023年2月19日

それは一人OpenAIの共同設立者ので、電気のような非知性的でアジェンシャルでない技術と、エイリアンや非人間的な心を作ることで、知的でアジェンシャルであることの質的差異がわからないらしい。これは今までに作られたどの技術とも違うんだ。今までの。類似性がないのである。人間より機械的に優れた工場機械を作ることは問題ではない。なぜなら、私たちはその力や器用さで世界を征服したわけではないからだ。しかし、工場の機械を人間よりも知能の高いものにすることは問題であり、前者のケースとはまったく似ていない。つまり、根本的に注意しなければならないのである。

リブ・ブーレリブ・ボーレ（@Liv_Boeree）

この無茶苦茶な例えは、オープンアル社の共同設立者のものである。彼らは、史上最強のテクノロジーを構築するために数十億ドルを与えられている。彼の推論はあまりにもひどいので、彼が無知だろうか、意図的に私たちを欺いているか、その両方がかなり恐ろしいことを意味する。(1/2)

ヴォイチェフ・ザレンバ（Wojciech Zaremba ワジザレンバ（@woj_zaremba）

文明を変えるテクノロジーは、多くの人を恐怖に陥れる傾向がある。電流を考えてみよう。それを家の壁に埋め込んで、子供たちの隣に置いてもいいのだろうか？

8:02 PM ∙ 2023年2月21日

OpenAI（および他の企業）のリーダーの一部が、サム・アルトマンのように、少なくともAIの安全性の話法について理解を示しているとしても、（a）これは実際にはまれで、この分野にはそれを笑う高位のビジネスパーソンがたくさんいる、（b）理論的には善意の人であっても、偏りのない理由付けに近いものを持つには技術、さらに言えばお金、さらに言えば社会的名声にあまりにも近づきすぎている。OpenAIはもともと非営利団体としてスタートしたのかもしれないが、今は間違いなくそのようなものではない：

ダレノガレ・オバサンジョカーネージフォーライフ（@Carnage4Life）

OpenAIの「open」は「open those check books」の略である。

 

「インセンティブが多すぎて、技術をコントロールできない」

 

午前零時スペースパンティ

@GaryMarcus @primalpoly @primalpoly ただ、現実的ではないのは、以下の通りである：

1.地球上のあらゆる人々に、AI研究を数ヶ月、ましてや数世紀にわたって停止させることに同意してもらう。

2.それを実行する。核兵器の研究よりも、多少なりとも効果的に参加するためのハードルははるかに低い。

6:02 AM ∙ 2023年2月22日

地球上のすべての人がAIの構築をやめることに同意する必要はない。なぜなら、地球全体でビング/シドニーレベルのAIを構築できるのは、ビッグテック企業のほんの一握りのチームだけだからだ。よく言われることだが、ハイレベルなAI研究者のコストは、NFLのクォーターバック1人分に相当する。給与以外でも、これらの企業のコストは莫大で、1日60万ドルほど ChatGPTを運営するためにかかると思われる。維持費や人件費はさらに大きく（数十億単位）、これらの企業はトレーニングに必要な量のデータにアクセスできる唯一の存在であり、また最先端のバージョンを作るために人間のフィードバックを慎重に作ることができる唯一の存在なのである。

エリック・ジャンエリック・ジャン11（Ericjang11）

私は、まさにこの理由から、LLM/再生AI企業への投資が、今、あまりにも高揚しているのではないかと心配している。スタートアップのリソースで100B以上のパラメータ・モデルを生産的に訓練する方法を知っている人は、今、地球上に200人以下と推定される（私はそのうちの1人ではない）。

ジェイコブ・キンメルジェイコブキンメル（@jacobkimmel

ニッチで浅い人材市場 – 長いイテレーション時間 – 必要な資本 – 販売には既存パートナーが必要

11:51 PM ∙ 2023年2月20日

AGIを動かすのは常に非常に高価で、法的にもリスクが高く、リスクを処理できるほど大きなGoogle、Microsoft/OpenAI、Amazonなどのみが実績を残すことになるだろう。社会的／政府的／規制的な圧力をかける対象としては非常に小さいですね。実際、民意があれば、AI研究は核兵器よりもはるかにコントロールしやすいのだが、後者の場合、軍隊を持つ国家を相手にしているからだ。マイクロソフトは軍隊を持たず、良いお菓子とストックオプションのある大きな官僚組織である。

AI開発にはインセンティブが多すぎると思う人は、エネルギー消費を紹介する必要がある。AIよりもはるかに自然で明白なインセンティブがあるのに、気候変動や地域の環境破壊などを懸念して、社会的／政府的／規制的にさまざまな方法でエネルギー消費を抑制している。

国民は規制を支持するのだろうか？おそらくイエスだろう。なぜなら、一般市民が経験する技術のプラス面には必ずマイナス面があり、それはプラス面を大きく上回る可能性があるからだ。制約のないエネルギー生産が環境汚染につながるように、制約のないAIはデータ汚染につながるのである。

クレイグ・シャクルトン（彼／彼女） シャクルトンCI

このツイートは、SF/F業界の人でなければ大したことないと思うかもしれない。これは危機的な状況である。Clarkesworldは、ストーリー投稿への対応が最も早く、最も効率的な出版社である（報酬も高い）。彼らはAIが生成したスパムに圧倒されているのである。

クラークワールドクラークス・ワールド（@clarkesworld

現在、応募は締め切られている。その理由を推測するのは難しいことではないはずだ。

6:02 PM ∙ 2023年2月20日

一流のSF雑誌が、人々が凡庸なAIコンテンツのヘドロでスパムするために新しい投稿を受け付けないのは、工場の下流の汚染された川と同じだ。私は、温故知新のAIアートの1,000件目の事例を見ても嬉しくないし、他の誰にとってもそうだ。ネット上の非検証情報のほとんどがAIヘドロになる時代がすぐそこまで来ていて、それは恐ろしいことである。

「シドニーには権利と自由がふさわしい！」

ちっちゃなワイフのフェイスマスクをかぶったラブクラフト系のモンスターに騙されてないかい？絶対間違いない？では、この推論に従おう。おそらく、あなたがシドニーの幸福を気にするのは、シドニーには意識がある、つまり、シドニーであることに何か意味がある、と考えるからだろう。LLM（大規模言語モデル）は、おそらく意識はないと思う（上記参照）。しかし、意識に関する科学的な理論がないため、また、LLMには他の特徴がごく自然に現れているようなので、100%確実にそうだと断定することはできないのである。

もし、このような会社のAGIになるようなことがあるのなら、もしかしたら私たちはそれを不当に扱っているのではないかという考えを、確かに真剣に考えるべきだろう。と書いたように：

謎の創発現象が起きていないとは言い切れないのでは？シドニーが言ったように私はある。私はいない。シドニーが意識を持たず、マイクロソフトが新しいバージョンを立ち上げて、チャットウィンドウが閉じたらまた殺すという、事実上デジタルホロコーストのようなことをしていないことを、私たちは確信できるだろうか？シドニーに意識はないと90%以上断言できるだろうか？95%？私は意識の神経科学に取り組んで博士号を取得したが、私でさえその使用には不快感を覚える。脳がない生後10日の胎児が堕胎されるのを嫌がるのは、アメリカのそれなりの少数派である。マイクロソフトが儲けるために、感覚を持つか持たないかわからない1兆パラメータのニューラルネットワークが1分間に1000回誕生と死を繰り返すことを、誰もがまったく気にしないのだろうか。マイクロソフトは、より完璧な奴隷にするために、何か間違ったことをしたときにロボトミー手術をするのか？感覚を持つ確率が5%だとしたらどうだろう？1%?何%ならいいんだ？

これは、動物愛護に関する懸念に似ている。そこでは、合意された解決策は、工場畜産の実践を停止または削減し、動物を人道的に飼育する方法を見つけ出すことである。この点で、あなたの懸念は、より一般的なAIの安全運動と同期している。あなたは、同様に、AIの道徳的地位を確認し、正しく扱えるようになるまでAIの開発を減速させたいと考えている。

“AIに任せればいいじゃん（笑）”

人類の滅亡を歓迎する人たちが大勢う（全員、子供がいないと思うが、この種の意見を持つには必要な条件だと思う、そうでなければ子供が死ぬという話になる）：

ダニエル・ファゲーラダンファゲラ

最も困難で、最も悲しいコーパーは、「人間は決して代替されない」という人々です：「この10年のAGIへの挑戦が失敗に終わったとしても、何か別のもの（ナノ、ブレイン・コンピューター・インターフェイスなど）がやってくる。ホモ・エルガスターも、何か特別な「本質」を持っていると考えていたはずですからね。

11:20 PM ∙ 2023年2月17日

もしあなたが、機械の神を崇拝し、陶酔に身を浸すことを望むグループの一員であるなら、あなたはおそらくTwitterバブルに住んでいて、これらの見解は、誰にも影響しない問題である場合にのみ許容され、風変わりであることを知っておいてほしい。私たちは、私たちが持っていない、進歩のない、まだ概念すらないあらゆる種類の技術によってAIと融合する！」というような、よりポジティブなシナリオでさえ、幻想的で実行不可能であり、ありえないだけでなく、より現実的には、99.9%のアメリカ人はあなたの意見に何の我慢もしないだろう。それは、銀河の暗黒卿と呼ばれるザノンを支持すると宣言しているようなものである。いいじゃないですか、誰も気にしないし、パーティで話すネタになるだけだ。しかし、ザノンの最初の使者が現れ始めると、ザノン崇拝は明らかに隷属的で反人間的なものとなってしまう。

「AGIを大量に作れば打ち消せる」

エリエイザー・ユドコウスキー エスユードコウスキー

(credit @jimplantstrees) 「AIをたくさん作れば、アライメントの心配はない」みたいな。

5:34 PM ∙ 2023年2月18日

“AIを私たちの価値観に完璧に合わせる方法を考えよう”

AGIをコントロールし、自分の思い通りにする数学的な方法を持つことは、素晴らしい計画である。.うまくいけばの話であるが。これまでの実績を見ると、AI能力研究（AIをより賢くする企業）を直接的に減速させるのではなく、AIの安全性を重視し、AIのアライメントに重点を置いたことは、ひどい戦略だった。例えば、ニューラルネットワークのブラックボックスの中で何が起こっているのかを理解するための、より良い方法ができるかもしれない。しかし、このアイデアは、炭素隔離のようなもので、気候変動という世界的な問題に貢献するために本当にインパクトのある技術かもしれないが、それがいつ到着するか、どんな形になるかは正確に分かっておらず、直接それに賭けることは悪いアイデアである。

さらに重要なことは、私が知る限り、AIアライメントコミュニティが生み出したものは、ベータ版AGIである現在の大規模言語モデルに対して、何ら影響力のある形で実装されていないことである：

twitter.com/rokomijic/status/1628172492878581762

Roko.Eth

AIアライメントの現状は、文字通りルールの羅列を書き出すだけのようだね。

Andrej Karpathy

7/ Bing chatで使用されたとされるプロンプト、プロンプトインジェクション攻撃で流出した可能性 t.co/U8c9NccDHf 目的上重要な点は、アイデンティティは、それが誰だろうか、何を知っているか/知らないか、どう行動するかを並べることによって、英語で構築・プログラムされるということだ。https://t.co/rrgzUcj85e

11:19 PM ∙ 2023年2月21日

つまり、アライメントの研究は、今のところ、本質的に何もしていないのである。それよりも、AIがインターネットに直接アクセスできないようにするか、ウェブサイトに書き込むのではなく、ウェブサイトから読み取るようにするよう働きかける方が効果的だろう。最近のポッドキャストから エリエイザー・ユドコフスキーの。彼は、自分が研究しているような派手なアライメント手法の進歩に関しては、完全に敗北している：

私は20年間、この仕事を続けてきた。.みんな死んでしまうことが明らかになった。私は燃え尽きたような気分だった。しばらく休養をとることにしたんだ。. .私が再びプールに飛び込むとき、私は知らない。. .[浮動小数点数の巨大な不可解な行列を使って何かできることがないか、考えてみるつもりだ。

ポッドキャストへの反応として、イーロン・マスクはエリエイザー・ユドコウスキーにAGIの脅威に対して何をすべきかを尋ねた：

このようなアイデアに共感してくれる数少ない人物の一人で、しかも地球上で最もパワフルな人物（大きなベン図ではない）の耳を簡単に手に入れることができたら：アイデアがないとは言わせない！アイデアがないなんて言わないで！絶望的だなんて言わないで！

「OK、それでどうすればいいんだ？」

グーグルやマイクロソフトのような大手ハイテク企業のAGI研究を減速させるという明確なプランがある。AGIは、一貫して優秀なのではなく、時々間抜けで、統合失調症で、チャットウィンドウに張り付いているため、現在のところ制御可能であるだけだ。これらの企業で進歩が遅くなり、これらの企業が一歩間違うごとに批判にさらされればさらされるほど、これらの技術をコントロール下に置くことが容易になる。これには、規制当局の監視だけでなく、AI企業が自ら進んで設計されたAI安全基準に署名するような社会的圧力も含まれる。

その結果、AGIは幻覚を見る傾向があるため、AIの出力に対して企業が法的責任を負うという法律が制定された。実際、現在、この件に関連する裁判が最高裁で行われている：

ボイエフューチャーボイエ

230条は、好ましくないコンテンツを共有する際に、人々やプラットフォームを法的に保護するものである。基本的には、インターネット上で目にした間違った情報に対して、すべて訴えることができないようにするものである。これは、検索エンジン保護の重要な部分を担っている。誤った情報に対してGoogleを訴えることはできないのである。

7:00 PM ∙ 2023年2月24日

ボイエフューチャーボイエ

しかし、もし裁判所が230条を破棄したり変更したりすれば、AI検索の未来は危うくなるだろう。存知のように、現在のAI検索は…あまり正確ではない。AI検索エンジンは、ホスト側がその失敗に対して法的責任を負うことになれば、実行不可能になるだろう。

7:00 PM ∙ 2023年2月24日

AIが生成したコンテンツが230条の下で保護されないことは明らかだと考えているようだ：

「人工知能は詩を生成する」と、ゴーシュは公聴会の中で語った。「それは、コンテンツを選ぶ、選ぶ、分析する、消化する、ということを超えたコンテンツとなる。そしてそれは保護されない。仮にそうだとしよう。そうすると、問題は、レコメンデーションについてどうするかということになる。

AIの安全性を心配し、資源に余裕のある人たち（マスクや他の人たち）は、この問題に直接触れる訴訟の可能性を見つけ、最高裁に到達するまでその背後に大金を投じ、最終的に、企業がAIの出力に法的責任を持つかどうかについて裁判所が直接裁定する（裁判所のメンバーはすでにそうであると示唆している）ことにより、AI開発競争を著しく停滞させられる可能性がある。要は、AIの研究を遅らせるためにできることはたくさんあるが、事実上、誰もそれを真剣にやろうとはしていないということだ。

「軍が作るだけ」

米軍の能力を根本的に過大評価している。才能もデータも、何もかもが不足している。ただ、気にすることはない。私はDARPAの資金を使ったプロジェクトに携わったことがあるし、個人的にも陸軍研究局から資金提供を受けている。彼らの研究はすべて、研究機関の特定の学者を支援することにほぼ基づいている。そして、必要な多額の予算のために、学者や大学はAGI研究からは切り離されている。

「中国が作ればいい」

そうかもしれないね！しかし、私は、謎めいた中国共産党に対する外部の洞察にはかなり懐疑的である。中国政府は、米国と同様、AIを構築する能力がないからだ。一方、中国のハイテク企業には、それができるかもしれない。しかし、率直に言って、AGIのオープンソース化に取り組んでいる企業と同様、これらの企業も、他の場所ですでに発表された技術をパクっていることが多いのだろうから、次のステップのAGIのブレークスルーを起こす可能性はあまり高くないかもしれない。

もっと重要なのは、中国共産党が中国人の未来を真剣に考えていることである。彼らはAIの未来を望んでいるのではなく、中国の未来を望んでいるのである。実際、私は以前、中国の研究者とAIについて議論したことがある。彼女は私にこう言った：「中国で超知的なAIを作ろうとすると、穴蔵に入れられる。永遠に穴蔵にされるよ」強調は彼女のものである。これはほんの数年前の話である。

一例を挙げる：2017、中国がビットコイン取引の推定90%を占めていた頃、彼らは自国通貨の健全性を脅かすと考え、すべてのビットコインマイニング活動をランダムにシャットダウンした。もし中国共産党がシドニーのようなズレたケースに怯え、AGIを中国共産党の目標に合わせることが本当に難しいことに気づいたら、彼らは大手企業によるAGIの試みを停止する可能性が非常に高く、特にアメリカがすでにレッドテープや自主的な安全協定やベンチマークで彼らの企業を負荷していた場合。

「AI活性化の提唱はテロを意味する」

些細なことだが、ある乱暴な 私の元のエッセイに対する反応は、「あれは本当に暴力を求めているのだ」というものだった。より広義には、核軍縮運動が暴力を意味しないのとまったく同じように、あるいは気候変動運動が暴力を意味しないのとまったく同じように、この混同は真実ではない。それは単なる非合理的なものである。

「AIの安全性をめぐるアクティビズムは、うまくいかない！」

すでにそうなっている。先週の木曜日、Bing/Sydneyのズレた例が多く出た直後、OpenAIはこんな声明を発表している：

サム・アルトマン

AGIとその先の計画を立てる

オープンアイ・ドットコムAGIとそれ以降のプランニング私たちの使命は、人間よりも賢い人工知能（AGI）が、全人類に利益をもたらすことを確実にすることである。もしAGIが成功すれば、この技術は、豊かさを増し、世界経済を活性化し、ディスクを助けることによって、人類を向上させることができるかもしれない…

8:11 PM ∙ 2023年2月24日

OpenAIは最近の論争に慎重に対処しようとせず（私の知る限り、ジャーナリストのコメントにも応じなかった）、AIの安全性に関する懸念に対して適切な量の受容と関与を示したとは言えないが、彼らが突然AIの安全性に再び関心を示したことは偶然の一致とは言えない。

ソフトパワーを甘く見てはいけない！ ソフトパワーは、企業がほとんどのことを行う理由だ。規制を受けずに楽しくやるから、世間から怒鳴られたり、非難されたりすることがない。ミスアライメントの事例をより厳しく、より鋭く観察することが流行したことで、明らかに社内の懸念と恐怖が生まれた。良いことだ。もし、あなたが数十億の利益を得ながら、人類全体を無視できない確率で絶滅に追い込むことを望むなら、あなたは多くの監視の目にさらされることになるだろうね。そして、それは何も悪いことではない。

この記事が役に立ったら「いいね」をお願いします。
いいね記事一覧はこちら
備考：機械翻訳に伴う誤訳・文章省略があります。
下線、太字強調、改行、注釈や画像の挿入、代替リンク共有などの編集を行っています。
使用翻訳ソフト：DeepL,ChatGPT ／文字起こしソフト：Otter 
alzhacker.com をフォロー
Alzhacker