www.overcomingbias.com/p/ai-fear-is-mostly-fear-of-future
2023/04/14
40年来、未来学者やその聴衆に囲まれてきた経験から言えることは、多くの人は普段、未来に対して漠然と楽観的であるにもかかわらず、もっともらしく詳細に説明された近未来ではない未来を見せられると、すぐに考えを改めるということだ。(例えば、「EMの時代」のような）そのようなビジョンには、深い違和感を覚える。
もし、多くの人がそのようなビジョンを信じているのであれば、それを防ぐための実質的な規制を支持するかもしれない。しかし、「そんなことはSFだ、実際に起こるはずがない」という単純な信念が、多くの人を救っている。(多くの人は、未来が過去と同じように変化することはあり得ないとさえ言う）これは通常うまくいくが、多くの人が突然、未来の厚いカーテンの向こう側を覗き見ることになる今のような時期には、そうではない。
もちろん、ChatGPTのような大規模な言語モデルについて話している。これらのモデルは、有名な「チューリングテスト」をほぼクリアしており、ほとんどの人が、自分が機械と話しているのか、それとも人と話しているのか、見分けるのが難しいのである。このようなモデルを見ると、私たちは、このような多くのAIが私たちの世界で重要な役割を果たす未来を、もっと信じたいと思う。
これを見ると、当然ながらほとんどの人が怖くなり、この傾向を妨げるための規制を支持するようになる。多くの人が、未来のAIが「非アライメント」、つまり、完全に完全に奴隷化されているわけではなく、私たちがいないときでも、また、私たちが望んでいることを正確に言葉で言うのが難しいような場合でも、すべて常に永遠に私たちが望んだとおりのことをしてくれることを恐れていると言う。多くの人は望んで、、 この（ほぼ不可能な）基準を満たす方法を見つけ出すまで、AI開発を「一時停止」したいのだ。
しかし、AIを無視しても、デフォルトの未来が揃うことはなかった。3つの仮定を考えてみよう：
- 人類学者が詳細に示しているように、人間は非常に文化的に可塑的である。
- この10万年の間に、文化は大きく変化し、技術や経済の変化とほぼ同じ速度で変化した。
- 過去のトレンドと私たちの最良の理論の両方が、今後1世紀ほどで世界の技術/環境変化率が大幅に（50倍以上）増加することを示唆している。
これらの仮定は、私たちの子孫が近い将来、異なる価値観、信念、行動など、まったく異なる文化を持つようになる可能性があることを意味する。つまり、不一致になるのだ。
そう、最も劇的なAIの恐怖、最近私のTwitterのフォロワーを最も心配させているひとつ は、突然「フーム/foom」（人工知能の自己改善による急速な変化）して自らを向上させ、すべてを征服し、大きく変わった価値観で私たちすべてを殺してしまう単一のA Iの恐怖である。これは、先ほど説明したデフォルトの非アライメントシナリオと同じ恐怖ではないが、非常に近いものであることにお気づきだろうか。主な違いは以下の通りである。
- フームでは、ふにゃふにゃのバイオカーボン、セックス、子育てではなく、金属と数学で子孫が作られる。(この違いは本当に本質的なのだろうか）。
- フームがあれば、変化はずっと速く起こると（非現実的に）仮定され、そして
- 全世界ではなく、単一のAIフームを持つことで、そのシナリオは陳腐化した人間の財産権を維持しにくくなる。
そう、デフォルトのアライメントされていない未来では、改良された子孫が古い精神に取って代わることで、古い精神は少なくとも、投資で生活するためにある程度の余裕をもって平和的に引退することが許されるかもしれないという希望を持つことができる。しかし、この新しい高速化した世界が、現在の変化率で1000年後に見られるような文化的変化を10年で経験するのであれば、そのような希望は確実なものとは言い難いだろう。
ほとんどの人は、常に変化を恐れていた。そして、もし彼らがこれから起こる変化を本当に理解していたなら、おそらくほとんどの人が、これまで見てきたほとんどの変化に反対票を投じたことだろう。例えば、50年前、国民は原子力エネルギーの未来を異常なほど鮮明に見たと思い、基本的に反対票を投じた。最近では、人間の遺伝子操作についても同じようなことが起こっている。
長期的な変化が正味で良いものであり、進歩としてカウントされるのであれば、それは将来の変化に対する無知が広まったことが一因であると考えることができる。今日のAIビジョンのような明確な瞬間は、特に危険である。世界は、この変化を阻止するために投票するかもしれない。そして、次の大きな変化も。そうやって、進歩が止まるまで続くのだ。
追加 10p： 回答者の多くは、「アライメントしていない人間よりも、アライメントしていないAIの方がはるかに心配だ」と言っているようだ。なぜなら、アライメントしていないような人間は、私たちが大切にしているものをはるかに多く共有しているに違いないと推測しているからだ。しかし、その理由については あまり説明できないようだ。
追加 10a： AIがはるかに少ないアライメントであると仮定することの含意は、文化変化率が大幅に増加しても、人間の子孫は前の世代を殺す可能性がはるかに低いということであることに注意してほしい。それがどの程度確かなことなのか、自問自答してみてほしい。