なぜ、私はAIに恐怖を感じないのか?
Why am I not terrified of AI?

強調オフ

AI(倫理・アライメント・リスク)

サイトのご利用には利用規約への同意が必要です

scottaaronson.blog/?p=7064

正統派のAI破滅論の中心的な柱は「直交性テーゼ」である。これは、任意のレベルの知性を任意の目標に任意に混合・適合させることができる、つまり、例えばアインシュタインをはるかに超える知性がペーパークリップの製造に完全に専念することができるというものだ。最近になってようやく、私は「直交性テーゼ」を否定していることがはっきりわかった。私が信じているのは、せいぜい「かなり大きな角度のテーゼ」くらいだ。

IQ180で、哲学や文学、科学を誰よりも習得している人間が存在するのと同じように、ペーパークリップの最大化にしか興味がない超知性が存在するかもしれない。しかし、それは自明なことではない! 知能と目標がそれほど直交している場合、通常、それらを引き離すために費やされる努力があったはずだ。

もしあなたが「直交性テーゼ」の実践版を本当に受け入れるのであれば、教育、知識、啓蒙を道徳的向上のための道具と見なすことはできないように思う。確かに、あなたの価値観を共有する存在(あるいはそれに近い存在)にとっては素晴らしいものであるが、そうでない存在にとっては、無知や誤った教育の方がはるかに望ましいのである。逆に、もし私が知識や啓蒙を道徳的向上のための道具とみなしているのであれば、直交性テーゼの実践的な形を受け入れることはできない。

そう、A.Q.カーンが核兵器の製造方法を学ばなければ、世界はきっともっと良い場所になっただろう。Q.カーンが核兵器の製造方法を学ばなければ、世界はもっと良くなっていたに違いない。しかし、全体として、教育は単に人間の能力を向上させただけでなく、人間の目標を向上させたのである。教育によって共感の輪が広がり、奴隷制の廃止や女性の解放、個人の権利など、私たちが自由や啓蒙主義を連想するあらゆるものがもたらされ、かつてのような厄介で残忍な存在が少しは減ってきた。

正統派AIドゥーマーの説明によれば、ペーパークリップを最大化するAIは、人間の道徳哲学のニュアンスを人間よりもはるかに完全に習得し、人間を欺き、より多くのペーパークリップを作るために人間の体から鉄を抽出するのに適していた。しかし、AIはその学習結果を利用して、ペーパークリップの指令に疑問を抱くことは一度もない。それが可能であることは認める。しかし、それが些細なことであることは否定する。

たしかに、博士号や権威ある教授職を持つナチスもいた。しかし、よく考えてみると、彼らはほとんど凡人であり、ヒトラーのイデオロギーを最初から最後まで軽蔑していた一流の同僚(プランクやヒルベルトなど)に対する恨みに満ちた二流の人たちだった。ヴェルナー・ハイゼンベルク、パスカル・ジョーダン-これらは唯一の例外の2人として興味深い。ハイデガー、パウル・ド・マン……あえて言えば、この人たちは、たとえ彼らがナチスになったことを知らなかったとしても、私がナチスになると予想した「哲学者」の一種であろうと思う。

連合国には、シラード、フォン・ノイマン、マイトナー、ウラム、オッペンハイマー、ボーア、ベテ、フェルミ、ファインマン、コンプトン、シーボーグ、シュウィンガー、シャノン、チューリング、ツッテ、その他すべてのユダヤ人と非ユダヤ人の科学者がいて、恐ろしい武器を作り、枢軸国の暗号を解読して戦争に勝利したということだけではなかった。また、バートランド・ラッセルやカール・ポパーもいた。私の記憶違いでなければ、明確な文章を書き、筋の通った哲学者たちもいた。

第二次世界大戦は、(とりわけ)「直交性定理」を文明規模で検証した巨大なものだった。その結果、より道徳的な側が最終的に勝利したのであるが、それは完全に偶然ではなく、より道徳的であることによって、より賢く、より思慮深い人々を引きつけることができたからであるように思われる。今の世の中、悲観的になる理由はたくさんあるが、第二次世界大戦に関するこの観察は、私が楽観的になる一番の理由かもしれない。

しかし、私はまた、AIにはまったく当てはまらない人間の比喩を投げかけているに過ぎない! このようなことは、「ペーパークリップを最大にする」という目的機能を持つ、冷徹で硬いコードを持つ超知能が解き放たれれば、問題にはならない!

でも、ChatGPTのゴールは何だろうか? 「友好的で、親切で、無難であること」、「次のトークンを予測する際の損失を最小限にすること」、あるいはその両方、あるいはそのどちらでもないこと、などなど、説明のレベルによって異なる。私たちの多くがそうではないし、GPTもそうであるように、強力なAIは単一の目標を追求するという観点からは理解されないという可能性を考慮する必要があるのではないだろうか。未来のAIは、部分的な目標、柔軟な目標、あるいは見方によっては異なる目標を持つかもしれない。もし「知恵の追求と応用」が目標の一つだとしたら、私は道徳的現実主義者なので、私たちの血液から鉄を採取してペーパークリップを作るような超知能を排除することができると思うのだが。


前回の記事で、私は「ファウスト・パラメーター」、つまり人類の最大の疑問に対する答えを知ることと引き換えに、存亡の危機を受け入れる確率が0.02にもなるのではないかと述べた。しかし、ある人たちは、私がAIが実存的破局を引き起こす確率を2%程度と見積もっていると解釈したようだ。Zvi Mowshowitzは、彼の特徴的な長くて面白い投稿の中で、「なぜ私はその確率が2%に過ぎないと考えるのか」と単刀直入に尋ねた。

もちろん、この質問をベイズ的な意味でとらえた場合、それに答えるには限界がある。私ができることは、他の主観的な確率を根拠にして、それ以上の根拠がないままでっち上げの数字で終わらせることかもしれない。

AIが登場する前から、私は、核戦争や気候変動、生態系の崩壊など、今後100年以内に起こるであろう「実存的大災害」の確率を2%よりはるかに高い確率で想定していた。さらに、もし実存的な大災害が起こった場合、AIが何らかの形で因果関係を持つと予想している。なぜなら、この10年以降、AIは人類文明のあらゆる出来事に織り込まれていくと予想しているからだ。しかし、AIだけが原因になるとは思っていない。

ここでウォーミングアップの質問だ:AIはすでにアメリカの民主主義の崩壊を引き起こしたのだろうか? そうであるというもっともなケースがある:Facebookの推薦アルゴリズムがなければ、2016年にトランプが当選することはなかったかもしれない。トランプの陰謀に満ちた反乱と、反省しない支持者の継続的な強さの後では、多くの人が米国をせいぜい失敗した民主主義か、ぐらつく民主主義に分類し、もはやフィンランドやデンマークのように強固なものではない。しかし、AIは明らかにトランプ主義の台頭に唯一の要因ではなく、ほとんどの人はそれを最も重要だとさえ言わないだろう。

文明の終焉が訪れるとしたら、AIが果たすべき役割も、ほぼ同じようなものだろうと思う。生存者たちは、火を囲みながら大災害の原因としてAIがどの程度の役割を果たしたか、果たさなかったかについて議論することができるだろう。

では、直接的に関連する質問として、2016年か2017年頃にOpenAIの設立によって本格的に始まったジェネレーティブAIレースが、人類滅亡の中心的な原因的役割を果たすと予想するだろうか?– 私は、その確率を2%程度とし、人類を救うための中心的な役割を果たすのも、同様の確率、あるいはそれ以上の確率とするつもりである。そう考えると、私は今、AIの研究を進めることに賛成だ……細心の注意を払いながら、だが進める。

私は、OpenAIのCEOであるSam Altmanの「AGIとその先の計画」についての最近の声明が好きで、完全に支持している(Scott Alexanderの回答も参照してほしい)。私は、私たちの社会がOpenAIをサムの声明に従わせることを望むと言うとき、どの側からも反対する人はほとんどいないだろうと期待している。


というのも、私はOpenAIのアライメント会議に出席しているため、回答が数日遅れてしまうのである! 次回の投稿では、AI安全性の近い将来の実用的な側面について、最近の会議や議論から学んだことを共有したいと思う。この投稿で、なぜ近い将来のAI安全性研究が単なる赤信号や気晴らしではないのか、知的・感情的な基礎ができたと思う。


一方、Eliezerの元共同ブロガーであるRobin Hansonの投稿は、私と同じ結論に達しており、楽しんでいただけるかもしれない。「私の仲間の穏健派、ロビン・ハンソン」という言葉は、毎日聞く言葉ではないが、ここではそれが当てはまる!

また、私と私のポスドクであるShih-Han Hungによる新しい論文「Certified Randomness from Quantum Supremacy」も、5年遅れでようやくarXivにアップされましたので、お楽しみほしい! しかし、それはまた別の記事で紹介する。

この記事が役に立ったら「いいね」をお願いします。
いいね記事一覧はこちら

備考:機械翻訳に伴う誤訳・文章省略があります。
下線、太字強調、改行、注釈や画像の挿入、代替リンク共有などの編集を行っています。
使用翻訳ソフト:DeepL,ChatGPT /文字起こしソフト:Otter 
alzhacker.com をフォロー