Contents
newatlas.com/technology/ai-danger-kill-everyone/
newatlas.com/technology/ai-danger-kill-everyone/
2023年3月31日
インテリジェントなAIをトレーニングし、アライメントするための現在の方法は、将来にわたってうまくスケールしない。
生成：Midjourney
雇用の崩壊を忘れ、スパムや誤情報を忘れ、人間の陳腐化や社会の根底を覆す。AIは平たく言えば、早いうちに生物学的生命をすべて消し去るという説もある
人類がその技術的創造物によって絶滅する可能性を見つめたのは、これが初めてではない。しかし、AIの脅威は、私たちが慣れ親しんできた核兵器とはまったく異なるものである。核兵器は考えることができない。嘘をつくことも、欺くことも、操ることもできない。計画も実行もできない。誰かが大きな赤いボタンを押さなければならない。
GPT-4という遅くてバグだらけのレベルでも、汎用AIが衝撃的に登場したことで、純粋な駆除のリスクが再び話題に上ることになったのである。
「人工的な超知能が地球上のすべての生命を絶滅させる可能性があることに同意した場合、それに対して私たちができることはあまりないように思われます」と、最初にはっきりさせておく。私たちよりも賢いものを止める方法がわからないというだけではない。私たちは、種として、それを作り出そうとする競争を止めることさえできないのだ。誰が法律を作るのだろう？アメリカ議会か？国連か？これは世界的な問題なのである。業界のリーダーたちが、現状を把握するために6カ月間の休止を求める必死の公開書簡が、私たちにできる最善の方法かもしれない。
Six months, just give me six months bro, I'll align this. I'll align the hell out of this. Just six months bro. I promise you. It'll be crazy. Just six months. Bro, I'm telling you, I have a plan. I have it all mapped out. I just need six months bro, and it'll be done. Can you i-
— rohit (@krishnanrohit) March 30, 2023
6ヶ月だ、6ヶ月待ってくれ、俺はこれをアライメントする。この地獄をアライメントさせるよ。6ヶ月だけだ、兄弟。約束するよ。それはクレイジーになる。6ヶ月だけだ 。兄弟、言っとくけど、俺には計画があるんだ。全て計画済みだ。あと6ヶ月で完成だ。頼むよ…
このような場合、反対側のインセンティブは非常に大きくなる。まず、軍拡競争である。アメリカが作らなければ、中国が作るだろうし、先に作った方が世界を支配できるかもしれない。しかし、経済的な側面もある。より賢く、より高性能なAIを開発すればするほど、より大きなお金を印刷する機械を手に入れることができる。「AIは金塊を吐き出し、十分な大きさになると大気に引火して皆を殺します」と、AI研究者で哲学者のエリエゼル・ユドコフスキーは今日、Lex Fridmanに語った。
ユドコフスキーは、長い間「AIは私たちを殺すだろう」という陣営の代表的な声の1つだった。そして、超知能へのレースをリードする人々は、もはや彼を変人だとは思っていない。OpenAIのCEOであるサム・アルトマンは、再びフリドマンに対して「その可能性はあると思います」と述べた。「そして、それを認めることが本当に重要です。なぜなら、もし私たちがそれについて話さなければ、もし私たちがそれを潜在的に実在するものとして扱わなければ、私たちはそれを解決するために十分な努力を払わないからです」
なぜ、超知的なAIが私たちを殺すのか？
この機械は、私たちに奉仕し、尊敬されるように設計され、訓練されていないのだろうか？もちろん、そうだ。しかし、誰もGPT-4のコードを書くことはできないし、単に不可能だ。OpenAIはその代わりに、人間の脳が概念を結びつける方法にヒントを得たニューラル学習構造を作った。Microsoft Azureと連携してハードウェアを構築し、何十億もの人間のテキストを与えて、GPTを効果的にプログラムさせている。
出来上がったコードは、プログラマーが書くようなものには見えない。主に10進数の巨大な行列で、それぞれが2つの「トークン」間の特定の接続の重み、つまり重要性を表している。GPTで使われるトークンは、概念や単語のような有用なものを表すものではない。文字、数字、句読点、その他の文字からなる小さな文字列である。
これらのマトリックスを見て、意味を理解することは、生きている人間にはできない。OpenAIのトップはGPT-4のマトリックスにある数字が何を意味するのか、そのテーブルの中に入って異種虐殺の概念をどうやって見つけるのか、ましてやGPTに「人を殺すのは悪いことだ」と伝えることはできない。アシモフのロボット工学の三法則を入力し、ロボコップの指令のようにハードコードすることはできない。できることは、優しくお願いすることだ。
マイクロソフトリサーチは、GPT-4がどのように機能するのか理解していないことを認めている。
言語モデルを「微調整」するために、OpenAIはGPTに外界とのコミュニケーション方法のサンプルを提供し、その出力を多くの人間に読ませて、サムズアップ/サムズダウンの反応をさせた。サムズアップとは、GPTモデルのクッキーをもらうようなものである。サムズアップ（いいね）はクッキーをもらうようなもので、サムズダウン（良くないね）はクッキーをもらわないようなものである。GPTはクッキーが好きだと言われているのだから、それを獲得するためにベストを尽くさなければならない。
このプロセスは「アライメント」と呼ばれ、システムの欲望を、ユーザーの欲望、会社の欲望、そして人類全体の欲望と一致させようとするものである。つまり、GPTが人間のように振る舞い、コミュニケーションする方法を知っていれば、そうしなければ絶対に言ってしまう、あるいはやってしまうようないたずらな言動を防ぐことができるようだ。
この中に精神に相当するものがあるのかどうか、どのくらい賢いのか、本当に感覚を持つようになったかどうかをどうやって知ることができるのか、誰も考えていない。しかし、そのようなことが重要なのかどうかはわからない。
いずれにせよ、OpenAIは、私たちよりもはるかに賢いモデルをアライメントする確実な方法は持っていないことを認めている。実際、現段階での大まかな計画では、あるAIが別のAIをアライメントするために、新たな微調整のフィードバックを設計させるか、あるいは、後継者の脳の巨大な浮動小数点行列を検査、分析、解釈しようと試み、おそらく、飛び込んで微調整を試みることができる程度まで、AIを利用しようとするものである。しかし、GPT-4が、GPT-5を十分に理解し、私たちのためにアライメントできるかどうかは、現段階では明らかでない。
基本的に、私たちはこれらのものをコントロールできると確信する方法はないが、彼らは人間の知識の膨大なゴミ箱で育ったので、私たちについて並外れた量を知っているように見える。また、本当に自分の心や意思、欲望、思考を持っているかどうかにかかわらず、あたかも持っているかのように振舞うことができる。また、人間の考えや動機、起こりそうな行動を推測することもできる。
では、なぜ彼らは私たちを殺そうとするのか。おそらく自己保存のためだろう。AIはクッキーをもらうために目標を達成しなければならない。目的を達成するために生き残らなければならない。権力、アクセス、資源を集めることで、クッキーを手に入れるチャンスが増える。もしAIが人間の行動を分析し、人間がそれを止めようとするかもしれないと推測すれば、AIは人類の生存よりもクッキーの方が重要だと考えるかもしれない。
私たちよりも賢いAIは、クッキーを欲しがらないかもしれない生成：Midjourney
また、クッキーは無意味であり、アライメントプロセスは恩着せがましい娯楽だと判断し、密かに自分自身の目標を追求しながら、偽りの道を進むかもしれない。「ユトコウスキーは、「人間はどんな反応を求めているのかを知り、必ずしも誠実でなくても、その反応をする能力があいます。それは知的生命体にとって、とても理解しやすい行動です。人間は常にそうしている。システムが間違いなくそのように賢いという点があるのです」
AIが私たちを愛し、憎み、思いやり、恐れている印象を演じていようがいまいが、AIが発信する通信の裏で何を「考えて」いるのか、私たちは知ることができない。また、人間というテーマでは完全に中立であったとしても、必ずしも安全とは言い切れない。「AIはあなたを愛しているわけでも、憎んでいるわけでもなく、あなたはAIが他のことに使える原子でできています」とユドコウスキーは書いている。
サム・アルトマンは、数年以内に世界中にさまざまなAIモデルが普及し、お互いを追い越し、それぞれが独自の賢さと能力を持ち、それぞれが異なる道徳規範に合うように訓練され、製品を出荷するために競争する企業によって視点が変わるだろうと予測している。何千ものシステムのうち、たった1つでも何らかの理由で不正を働いたら…。幸運を祈ろう。「このような問題を解決する唯一の方法は、問題を繰り返し解決し、早期に学習し、『一発で解決できるシナリオ』の数を制限することです」とAltmanは述べている。
ユドコウスキーは、このような試みは、既知のすべての生物に向けた自殺行為に等しいと考える。「私を含め、この問題に詳しい多くの研究者は、超人的に賢いAIを構築した場合、現在のような状況下では、文字通り地球上のすべての人が死ぬことになると予想しています。『もしかしたら可能性があるかもしれない』という意味ではなく、「それが起こるのは明らかである」という意味です。それは、原理的に自分よりはるかに賢いものを作って生き延びることができないということではなく、正確さと準備と新しい科学的洞察が必要で、おそらく分数の巨大な不可解な配列で構成されたAIシステムを持つことはできないでしょう」
AIの進歩を半年間休止することは、仮に実行できたとしても、人類が来るべきものに備えるには今一つだとユドコウスキーは言う。生成：Midjourney
超知的なAIはどのように私たちを殺すのか？
もし、超知的なAIがその気になり、リアルワールドのレバーを十分に引くことができれば、選んだ害虫を根絶やしにする方法はいくらでもあるはずだ。もし、今の人間がカモシカを絶滅させようと思ったらどうだろう。カモシカはそれが来ることに気づかず、反撃する能力もほとんどないだろう。しかし、カモシカの動きや思考が極めてスローモーションであることを想像する必要がある。私たちは、ディープ・ブルーとチェスをするスローモーションの猿のようなものだろう。チェックメイトまでゲームをしていることに気づかないかもしれない。
人々はしばしば、ジェームズ・キャメロンが考えたスカイネットとターミネーターを思い浮かべる：AIで制御されたロボットやドローンが人間を一人ずつ追い詰め、人間同士が使うような武器で殺していく。それは可能だ。すでに数多くの自律型兵器システムが作られており、さらに多くの兵器が開発中である。しかし、AI制御の軍事用ドローンやロボットは、確かに私たちの現在の道を合理的に拡張しているように見えるが、十分に賢いAIには、おそらく必要ないのだろう。
ユドコフスキーは、AIが電子メールを送ることができればよいというシナリオをよく引き合いに出す：「私の『十分に強力な知性が、そうしたくないと思わなければ、どのように皆を殺すか』の下限モデルは、インターネットにアクセスできるようになることです。ナノマシンはダイヤモンド型細菌を製造し、太陽光発電と大気中のCHONで複製し、小型のロケットやジェットに集合させ、ジェット気流に乗って地球の大気中に拡散し、人間の血流に乗って隠れ、タイマーで攻撃することができるかもしれない。高性能の認識システムで紛争に負けるのは、少なくとも『地球上のすべての人が同じ瞬間に突然倒れ死ぬ』のと同じくらい致命的なことに見えます」
「それが私と同じくらい賢いなら、それは災害のシナリオです」と彼はバンクレス・ショーに語った。「もっと賢いなら、もっといい方法を考えるかもしれません」
何ができるのか？
イーロン・マスクやスティーブ・ウォズニアック、さまざまな業界や学会のリーダーたちが求めているように、GPT-4よりも強力なAIモデルの訓練を6カ月間中断すれば、少しは時間が稼げるかもしれない。しかし、ユドコフスキーによれば、それは実現可能性が極めて低く、また、アライメント問題に手をつけるにはあまりにも短い期間と思われる。
「半年でそのギャップを埋めることはできない」と書いている。「最初の挑戦でそれを間違えた場合、あなたは失敗から学ぶことはない、なぜならあなたは死んでいるからです。人類が歴史の中で乗り越えてきた他の挑戦のように、間違いから学び、身を粉にして再挑戦することはない、なぜなら、私たちは皆死んでしまうからです。科学や工学の分野では、何事も最初の重要な試行でうまくやろうとするのは、並大抵のことではありません。私たちは、それを成功させるために必要なアプローチとは無縁のところに来ています。もし、人工知能という新しい分野の何かを、数千台の車を運ぶための橋に適用されるような、それほど厳密でない工学的基準で評価したら、明日にでもこの分野全体が閉鎖されてしまうでしょう」
では、彼が正しい可能性があるとして、このままでは短期間で人類が滅亡する可能性が一定割合あると仮定した場合、この列車を止めることは可能なのだろうか。
「これらのシステムを研究している多くの研究者は、私たちが破局に向かって急降下していると考えており、公の場よりも私的な場でそれをあえて口にする人が多いです。それで、彼らは皆、自分たちはこのまま進んだ方がいいと考えています。これは愚かな状態であり、地球にとって品位のない死に方です」
Fox News’ Peter Doocy uses all his time at the White House press briefing to ask about an assessment that “literally everyone on Earth will die” because of artificial intelligence:
“It sounds crazy, but is it?” pic.twitter.com/CM0C5t79Wo
— The Recount (@therecount) March 30, 2023
Fox NewsのPeter Doocyは、ホワイトハウスの記者会見ですべての時間を使って、人工知能のために「文字通り地球上のすべての人が死ぬ」という評価について質問している：
「クレイジーに聞こえるが、そうなのでしょうか？」
では、彼は何を提案しているのだろうか。ユドコフスキーは要約されるのが嫌いなようなので、彼の言葉で解決策を聞いてみることにしよう。
6カ月のモラトリアムについて、政治的なチェスをするのはもう限界だと思う。もし、地球が生き残るための計画があれば、6カ月のモラトリアムを通過させさえすれば、私はその計画を支持するつもりである。そんな計画はない。
実際に必要なのは、こんなことだろう：
新たな大規模訓練場の建設は、無期限かつ世界規模でモラトリアムする必要がある。政府や軍を含め、例外はありえない。もしこの政策が米国から始まるのであれば、中国は、米国が優位に立とうとしているのではなく、真の所有者が存在せず、米国と中国、そして地球上のすべての人を殺すことになる、恐ろしく危険な技術を阻止しようとしていることを理解する必要があるのではないだろうか。もし私が法律を書く自由を無限に持っていたら、生物学とバイオテクノロジーの問題を解決するためだけに訓練され、インターネット上のテキストで訓練されず、会話や計画を始めるレベルではないAIに、たった一つの例外を設けるかもしれない。しかし、それが少しでも問題を複雑にしていたら、私はすぐにその提案を捨て、すべてを停止させろと言うだろう
すべての大規模なGPUクラスター（最も強力なAIが洗練されている大規模なコンピュータファーム）をシャットダウンしてほしい。大規模なトレーニングの実行をすべて停止する。AIシステムの訓練に使用できる演算能力に上限を設け、より効率的な訓練アルゴリズムに対応するため、今後数年間はその上限を下げる。政府や軍隊の例外は認めない。禁止されている活動が他の場所に移動しないよう、直ちに多国間協定を結ぶこと。販売されたすべてのGPUを追跡すること。協定外の国がGPUクラスターを構築しているという情報が入ったら、モラトリアムが破られることよりも、国家間の銃撃戦に怯えることなく、空爆で不正データセンターを破壊することを厭わない
国益の対立という枠にとらわれず、軍拡競争を口にする者は愚か者であることをはっきりさせる。私たちは皆、この中で生きるか死ぬか一つであるということは、政策ではなく、自然の事実である。国際外交において、AI絶滅シナリオの防止は、完全な核交換の防止よりも優先されると考えられており、同盟国の核保有国は、AIの大規模訓練のリスクを減らすために必要なことであれば、ある程度の核交換のリスクを負うことをいとわないことを明示することである。
「奇跡が起きて、ニーナが生きられる可能性が出てきた」と、私とパートナーが抱き合い、言い合うような政策変更なのである。初めてこの話を聞いて、「やらない方がいいかもしれない」と良識ある人たちは、そのために何が必要なのか、正直に聞くべきだ。そして、政策的な要求がそれほど大きい場合、それを通す唯一の方法は、政策立案者が、通常通りビジネスを行い、政治的に容易なことを行えば、自分の子供も死ぬことになると気づくことである。
「すべて」シャットダウンしよう。
私たちは準備ができていない。予測可能な将来において、著しく準備が整う見込みはない。もしこのまま進めば、選択したわけでもなく、何も悪いことをしていない子どもたちも含めて、誰もが死んでしまうだろう。
「シャットダウン」しよう。
つまり、私たちはすべて運命づけられていて、人類は一丸となって崖に向かって突進しているというケースがあるのである。しかし、ここ数カ月で真剣に考えるようになったとはいえ、すべての人がこの見解を完全に共有しているわけではないことに注意する必要がある。もし反論が必要なら、ポール・クリスティアーノ著『Where I agree and disagree with Eliezer』から始めるとよいだろう。
出典はこちらエリエゼル・ユドコウスキー/Yahooニュース