www.overcomingbias.com/p/ai-risk-again
AI Risk, Again
ロビン・ハンソン
GPT-4：
Robin Dale Hansonは、アメリカの経済学者、予測市場の研究者、そして作家である。彼は、1989年にカリフォルニア大学バークレー校で経済学の博士号を取得し、その後、ジョージメイソン大学、オックスフォード大学、カリフォルニア大学バークレー校で経済学の教授を務めた。彼は、予測市場の分野で広く知られており、政治、ビジネス、科学などの分野での予測の正確性を向上させるために、予測市場を使用する方法を提案した。また、彼は、未来の技術や社会的な変化に関する予測を行うことでも知られている。彼の著書には、「The Elephant in the Brain」、「The Age of Em: Work, Love, and Life when Robots Rule the Earth」などがある。
3月3日
ChatGPTのような大規模な言語モデルは、最近多くの人を驚かせた。私のTwitterフィードは、そのようなモデルを作ってリリースした機関がいかに無責任であったかを語る心配性でいっぱいである。なぜなら、そのようなシステムは私たち全員を殺してしまうかもしれないからだそうだ。そして、そのようなものをよりよく制御する方法を研究しているという研究者もいるので、そのような研究者が目標を達成するまで、AIの進歩を遅らせたり止めたりするために規制しなければならないと、心配性の人々は言う。この点については、これまでにも何度も書いてきたが、そろそろ私の立場を再確認する必要があるようだ。
まず、過去の傾向が続くとすれば、今後数世紀の間に、世界経済はおよそ10年の移行期を迎え、その後、現在の15年という倍増期間とは対照的に、数カ月に一度、あるいはそれ以上のペースで倍増する可能性がある。(イノベーションが世界経済に比べれば微々たるものであるため、倍増期間は比較的安定している）。
このような変化の最も可能性の高い原因は、人工知能（AI）が支配する経済への移行だと思われる（おそらく脳のエミュレーションという形であろうが、もっと異質な形であるかもしれない）。特に、現在の全自動化された工場の倍増時間は数ヶ月であり、コンピュータのアルゴリズムの向上はハードウェアの向上に近いものがある。そして、それから1、2年以内に、さらに高速なモードへの移行がもっともらしく起こるかもしれない。
第二に、調整と制御が難しいということだ。今日、組織のリーダーはしばしばその地位から余剰利益を得ているが、その余剰利益は組織の所有者、供給者、顧客を犠牲にしている。これは、非営利団体や公営の営利団体で、民営の営利団体に比べてより顕著に見られる。政治的、軍事的リーダーも余剰利益を得ており、時にはクーデターによって国家を支配することもある。指導者の余剰利益だけが支配の問題ではないが、このような余剰利益の水準は、支配の問題の大きさをおおよそ示している。貧困層や第三世界の住民など、リーダーから文化的に遠い人々は、一般に高い余剰利益を支払う。
今日、このような余剰利益は自明なものではないが、それでも組織間の競争によって許容範囲に保たれている。つまり、私たちはほとんど自分のオーガをコントロール下に置いているのである。人間一人一人に比べれば、大きな組織は事実上「超知性」であるにもかかわらず、である。
第三に、生物学的な人類（つまり今の私たち）が将来の組織化をコントロールするためには、余計な障害があるかもしれない。生物学的人間は、EM型AI（エミュレーション人工知能 emulation artificial intelligence）よりも文化的な距離があり、スピードも遅く、能力も低いだろう。(しかし、原理エージェントの実験では、賢さの違いが問題になることはまだない）。そして、非EM型AIはさらに文化的に遠い存在になるかもしれない。しかし、AIに対するコントロール・余剰利益が2～4倍になったとしても、そのようなバイオ・ヒューマンに豊かで成長する未来を提供することは、許容できるように思える。たしかに、定期的にクーデターが起きるベンチャー企業もあるだろう。しかし、現在のように、それぞれのベンチャー企業がこの未来の世界のほんの一部であるならば、生物学的的人類全体としてはうまくいくだろう。EMsが存在するならば、もっとうまくいくかもしれない。
もちろん、生物学的的人類であれ、EMsであれ、そうした未来のベンチャー企業のオーナーは、ベンチャー企業をコントロールする最善の方法を検討し、リーダーの余剰利益や不完全なコントロールに関連するコストを削減することは十分に可能である。しかし、そのような努力は、具体的に実戦投入されたシステムの実体験に基づくとき、最も効果的であると思われる。例えば、20世紀の組織や兵器、その他の技術を制御する方法を考えるために、1500年の時点で人々ができることはほとんどなかった。したがって、将来のAIベースのベンチャー企業やリーダー、システムの詳細については、ほとんど何もわかっていないのだろうから、私たちは今日、将来の取り組みに充てるためのリソースを節約するか、既存のベンチャー企業の制御を改善することにイノベーションの努力を傾けるべきだ。例えば、意思決定市場などである。
GPT-4：
意思決定市場とは、人々が様々な情報を集め、それに基づいて意思決定を行う場所やプロセスを指す。この市場では、投資家や消費者、企業などが様々な意思決定を行い、それによって価格や需要、供給量などが決定される。例えば、株式市場や商品市場、不動産市場などが挙げられる。意思決定市場では、情報の非対称性やバイアス、市場の不完全性などが存在し、これらが市場の効率性や公正性に影響を与えることがある。
しかしながら、上述の心配を持つ人の多くは、歴史的なパターンの継続を期待している上記の分析を否定している。これまでに、ベンチャーやイノベーションは世界経済に比べて常に小規模であったという歴史的なパターンが続いていた。彼らは代わりに、単一の小規模なAIベンチャーが非常に強力なイノベーションに出くわし、突然「foom」という現象が起こり、世界経済に比べて微々たる存在だったそのベンチャーが、他のすべてのAIを含めて、世界経済全体よりも強力になる可能性があると主張している。
GPT-4：
「foom」とは、Nick Bostromの著書『超知能』で使用された造語で、突然爆発的に力を増し、世界経済全体よりも強力になることを指す。つまり、一時的に非常に急速な成長を遂げ、その後、現在の人間には理解できないほどの高度な能力を発揮することがあるとされている。
このシナリオでは、このベンチャーが、この爆発的な時期に、他のベンチャーがその重要な技術革新を使うのを阻止する必要がある。また、この新しいより強力なシステムは、ほとんどの重要な領域ではるかに賢いだけでなく、今や巨大な内部調整問題を管理する能力も非常に高いことが要求される。そして、このシステムが単なる道具ではなく、自らの計画、目標、行動を持つ完全な「エージェント」であることが必要である。
さらに、このシステムは、この爆発前に、そして今日のほとんどすべてのコンピュータシステムと同様に、使用領域全体にわたるオーナーの目的と合致した振る舞いを確実にするために非常によくテストされた可能性がある。しかし、この爆発後の振る舞いは、ほぼ最大限に不整合（AIとオーナの意図が異なる）になる可能性がある（高次元空間における直交に近い）。このことは、人類の絶滅を引き起こす可能性がある。通常のテストや監視プロセスは、この問題に気づいた場合には、この爆発があまりにも速く起こるため、またはこのシステムが爆発前に所有者から異なる意図を作成して隠すため、問題に気づくことができず、停止を呼びかけることができない。
このシナリオが論理的に可能なものであり、私たちが知っていることから除外されるものではないことに同意するが、私たちの過去の経験とはかけ離れているように思えるのに、多くの人がこのシナリオを高く評価しているのを見てがっかりしている。確かに、人類革命、農業革命、産業革命は、それぞれ一つの根本的な革新の結果であった可能性が高いということはある。しかし、この3つの革命は、人類の歴史上、最も大きな革新だった。そして、これらのケースでは、関連する先行世界の大部分が一緒に爆発したのであり、ある小さな部分が突然残りのすべてを駆逐したわけではない。
さらに、次の移行期間の長さについて、過去の傾向から予測されるおよそ10年の期間は、今日の標準的な大型コンピュータシステムのテストがアライメントの問題に気づくのに十分な時間であると思われる。また、最近の印象的なAIチャットボットは、ここで懸念されているシステムとは特に異なる。つまり、自己改善ができる広範囲に能力を持つ完全エージェントで、隠された意図を持っているものである。新しいAIシステムが私たち全員を殺してしまう可能性があると不平を言うには特に奇妙な時期となる。
少なくとも1930年代以降、およそ30年おきに自動化に対する不安や懸念が噴出した歴史から、人々は教訓を得るだろうと思うかもしれない。そのたびに、新しい印象的なデモで前例のない能力が明らかにされ、活発な議論や活動が起こり、多くの人が、人間の労働をすべて自動化する急速な爆発がまもなく始まるかもしれないという恐怖を表明した。もちろん、それは大きな間違いだった。
心配性な人々は、パスカルの賭け（Pascal’s wager）のような計算を持ち出し、この悪夢のシナリオのわずかなリスクでもあれば、AIの進歩を大幅に削減することを正当化できるとしている。しかし、それは、将来の進歩の総量を同じにすることは比較的容易で、より長い期間に分散させることができるという前提に立っているようだ。私はむしろ、全体的な経済成長と技術進歩は、この仮定が想定している以上に脆いものだと危惧している。原子力発電の悪夢のシナリオに触発された規制が、70年もの間、その潜在能力のほとんどを実現することを妨げてきたことを考えればわかるだろう。また、他の多くの有望な技術の進歩も、漠然とした恐怖に触発された規制によって、単に遅れるだけでなく、ほとんど止められているのを私は見てきた。実際、私には、恐怖に誘発された過剰な規制のために、世界的に進歩が遅くなっているように見えるのである。
この数世紀、世界は将来の技術に関する問題を想定し、具体的な技術に遭遇するずっと前にその問題に備えるということを、比較的少なく行っていた。そして、そのような準備をするために、技術の進歩を大幅に遅らせたとしても、世界がより良くなるとは思えない。特に、そのような減速政策を実施するために必要な中央集権的な統制の度合いを考えると、なおさらである。
上述したように、未来のAIシステムをコントロールする方法について、詳細を知るにはあまりにも早すぎるように思われる。なので、私たちの恐怖が本質的に進歩を止めてしまうというリスクに直面したとき、私はむしろ今の道を進み、管理すべき重大な制御の問題が具体的に見えてきたときに、制御をより強化することを望む。
3月7日追記：十分なデータとハードウェアがあれば、ChatGPTのようなPredict-the-Next-Tokenモデルは、人間以上の性能を発揮するという話もある。アクショントークンを使えば、多くの種類の行動を含むことになる。しかし、このようなシステムが急速に「フーム」するためには、これだけでは不十分である。挑戦するにも、代替システムアーキテクチャの設計やテストに高い能力が必要で、それをもってしても保証はない。