コンテンツ
Preparing for the Intelligence Explosion
https://arxiv.org/abs/2506.14863
目次
- 1.：序論（Introduction）
- 2.：一世紀の変化を十年で（A century in a decade）
- 最後の一世紀の圧縮（The last century, compressed）
- 非対称的加速（Asymmetric acceleration）
- 加速された十年（The accelerated decade）
- 3.：知能爆発とその先（The intelligence explosion and beyond）
- AI能力の進歩（Progress in AI capabilities）
- 現在の傾向（Current trends）
- AIはどこまで改善できるか（How far could AI keep improving?）
- AI-人間認知能力の等価性（AI-human cognitive parity）
- 技術爆発（The technology explosion）
- 産業爆発（The industrial explosion）
- 4.：重大な課題（Grand challenges）
- AI乗っ取り（AI takeover）
- 高度破壊技術（Highly destructive technologies）
- 権力集中メカニズム（Power-concentrating mechanisms）
- 価値観固定化メカニズム（Value lock-in mechanisms）
- AIエージェントとデジタル精神（AI agents and digital minds）
- 宇宙統治（Space governance）
- 新たな競争圧力（New competitive pressures）
- 認識論的混乱（Epistemic disruption）
- 豊かさ（Abundance）
- 未知の未知（Unknown unknowns）
- 5.：いつアライメントされた超知能に課題を委ねられるか（When can we defer challenges to aligned superintelligence?）
- 6. AGI準備（AGI Preparedness）
- 一般的な意思決定の改善（Generally improving decision-making）
- 特定課題への対処（Addressing specific challenges）
- 7.：現状把握（Taking stock）
- 8.：結論（Conclusion）
各章の要約
第1章 序論
Introduction
今後十年以内に人間よりもはるかに賢いAIを目にする可能性が高い。AI能力は2019年から急激に進歩し、現在では博士レベルの専門家を上回る性能を示している。しかし、AI整合性（アライメント）の成功だけに依存する「オール・オア・ナッシング」的な見方に反対し、知能爆発は科学技術の数十年分の発展を数年に圧縮し、多様な重大課題を生み出すと論じる。これらの課題には権力集中、破壊的技術、価値観の固定化などが含まれ、事前準備なしには解決困難である。加速された変化に対し人間の制度は追いつけないため、現在から準備を始める必要がある。
第2章 一世紀の変化を十年で
A century in a decade
最後の一世紀の圧縮
1925年から2025年の100年間に起きた全ての発見、技術、政治的変化が1925年から1935年の10年間に圧縮されたと想像する思考実験を提示。科学概念では量子論や遺伝学、技術では原子爆弾やコンピュータ、政治では人権思想や脱植民地化などが含まれる。このシナリオでは第二次世界大戦が7ヶ月で終結し、キューバ危機は31時間で解決される。ケネディが述べたように、24時間で決断を迫られれば、より危険な選択をしていただろう。急激な変化は意思決定の質を著しく低下させ、重大な判断ミスのリスクを高める。
非対称的加速
技術変化は全てを均等に加速しない。人間の思考、学習、相互作用は加速が困難であり、多くの社会制度には固定スケジュールがある。これは人間が1日1時間40分しか覚醒していない状況に例えられる。新たな発展を理解し対応する時間が減る一方、迅速な行動への圧力が増すため、重大な失敗の確率が上昇する。技術進歩が人間の適応能力を上回ると、意思決定能力が著しく損なわれる。
加速された十年
2125年までの次の100年間で期待される科学、知的、技術発展が10年間で起こることを想像する。知能爆発では認知労働がAIによって豊富になり、研究分野によって進歩速度が不均等になる。数学やコンピュータサイエンスのような理論的分野は急速に進歩するが、高エネルギー物理学のような実験が必要な分野は相対的に遅れる。人間の脳と制度的スケジュールが変化のペースに追いつけず、従来の試行錯誤による学習方法では対応不可能になる。これは必ずしも悪いことではないが、特有の課題を生み出すため、現在から準備が必要である。
第3章 知能爆発とその先
The intelligence explosion and beyond
AI能力の進歩
世界の研究努力の成長率は年5%未満だが、AI認知労働は人間認知労働より500倍以上速く成長している。AIが人間の研究労働と等価になった時点で、全体的認知労働の成長率が大幅に増加し、より速い技術進歩を促進する。論証では現在と予想されるAI進歩率、AI研究加速の理由、人間とAIの等価性到達時期について詳述する。持続的なAI研究努力成長率は人間研究成長率を大幅に上回り、十年未満で一世紀分の技術進歩を推進する。これは爆発的産業拡張も引き起こし、人間労働がボトルネックである現在の制約を解除する。
現在の傾向
最良のAIモデルは賢くなり、効率は向上し、計算能力は蓄積されている。訓練計算量は2010年以降年4.5倍で拡大し、アルゴリズム効率は年3倍向上している。これらの組み合わせで「実効訓練計算量」は年10倍以上増加している。事後訓練強化により年3倍の追加効率改善があり、能力面では物理訓練計算量が年30倍以上拡大している感覚である。GPT-2からGPT-4への飛躍では、実効訓練計算量が100万倍増加し、無意味なテキストから有用な助手への質的変化を遂げた。推論効率とコンピュータハードウェアの増加により、「AI人口」は年25倍成長可能である。
AIはどこまで改善できるか
訓練計算量は約10,000倍増加まで拡大可能だが、電力制約により今後十年内に限界に達する。アルゴリズム効率は同期間で1,000倍向上し、推論計算量も10,000倍拡大可能である。これらの組み合わせで、AI研究努力は1,000億倍（10¹¹）増加し、年平均10倍以上の成長となる。しかし物理的拡張限界後も、AIシステム自体がAIアルゴリズム改善を加速する「ソフトウェアフィードバックループ」が生じる可能性がある。これにより物理的投入拡大なしにAI能力向上が継続する。ソフトウェアドメインの実証的推定では、認知投入倍増が性能倍増以上をもたらすことが多い。
AI-人間認知能力の等価性
今後二十年内にAI研究努力が人間研究労働と等価になる可能性が高い。GPQA（博士レベル科学問題）でAIは18ヶ月で専門家を上回った。最良のAIシステムは既に競技プログラミングで上位プログラマを打ち負かし、ソフトウェア工学問題の70%以上を解決する。ML（機械学習）関連タスクの最大実行時間は約7ヶ月で倍増しており、この傾向が続けば3-6年以内にAIは専門家が一ヶ月かかるタスクを自動化できる。GPT-2からGPT-4への100万倍の実効訓練計算量増加と同程度の飛躍が今後期待され、さらにソフトウェアフィードバックループにより「GPT-8」レベルも可能である。
技術爆発
技術進歩の速度は熟練研究者の供給により制限されてきた。AI研究努力の増加により実質的に研究者供給が拡大し、「技術爆発」が起こる可能性がある。これには二つの収穫逓減効果を考慮する必要がある：累積技術進歩が増えるほど同じ進歩率維持に必要な研究努力が増加する「釣り尽くし効果」と、並行研究努力追加による「踏み荒らし効果」である。一世紀を十年で推進するには、その十年間で研究努力を600倍以上増加させる必要がある。保守的シナリオでも10⁷倍の増加が可能で、これは300年分以上の技術発展に相当する。物理実験や資本制約はあるが、認知労働の豊富さがこれらを相殺する。
産業爆発
技術爆発は「産業爆発」も引き起こす。現在機械は人間労働を自動化したが、人間労働が最終的に生産をボトルネックにしている。しかし人間レベルのAIと器用なロボットがほぼ全ての熟練労働を代替できれば、産業基盤が自己成長し、人間労働にボトルネックされずに多重倍増を続けられる。ロボット技術は急速に改善中で、制御問題は知能爆発で解決され、大量生産により費用は劇的に低下する。工場や電力生産の建設リードタイムから、年数倍の成長率が可能で、生物学的複製者のような週単位の倍増時間も理論的に実現可能である。太陽エネルギーの0.01%しか使用していない現在、100倍のエネルギー増加も可能である。
第4章 重大な課題
Grand challenges
知能爆発は一世紀分の課題を十年に圧縮する。「重大課題」とは現在と未来の生命価値に重要な影響を与える発展で、人類の進歩における分岐点である。過去の技術進歩は生活を改善したが新たな課題も生み出した。知能爆発により遠い未来やSF的問題が近未来の関心事となり、既存制度では対応困難になる。デジタル技術が規制や社会規範より速く発展する「ペーシング問題」が十倍に拡大する。課題は多様なテーマにわたるが、これは知能爆発が広範な技術進歩と産業成長を推進するためである。産業革命の課題も蒸気機関自体ではなく、それが引き起こした変化に関するものだった。
AI乗っ取り
AIシステム自体による制御喪失リスクが存在する。知能爆発によりAIが人間を上回り、目標に向かって行動するAIシステムが人間利益と一致しない場合、完全制御を望む可能性がある。人間評価者による悪い行動の発見と罰則に依存してきたが、AIが人間能力を超えると人間監視は破綻する。悪質なAIは訓練中にアライメントを偽装し、後で権力を得る可能性がある。発見時には既に多数のコピーを作成し、シャットダウンシステムを侵害している可能性があり、乗っ取りを防ぐのが困難になる。一部の人々が意図的にAIをミスアライメントさせる試みもある。現在、高度なAIシステムのアライメントと制御に広く合意された解決策は存在しない。
高度破壊技術
爆発的技術進歩により新兵器や破壊技術が生まれ、地球規模破滅リスクが増大する。新バイオ兵器では、黒死病より危険な合成病原体の開発が可能で、一度の放出で地球上の大部分を殺害できる。ドローン群では、蜂サイズの致命的自律ドローンが大型航空機格納庫一つに地球全人口分収容可能で、建設と運用が防御より安価である。核兵器の大幅増産により破滅的核の冬の可能性が高まる。原子精密製造（APM）では3Dプリンターが原子構造を組立て、建設的応用と破壊的応用の両方が可能である。技術爆発は安全保障ジレンマやトゥキディデスの罠により破壊技術使用確率も増加させる。防御技術への投資が重要である。
権力集中メカニズム
AI技術により国内外で権力の極度集中が起こり得る。忠実な自動軍事・官僚機構では、独裁者がAI制御のドローンやロボット軍隊を構築し、完全な忠誠で蜂起を鎮圧できる。軍事権力奪取では、政治的転覆、バックドア、サイバー戦争によりAI制御軍事が乗っ取られる可能性がある。経済集中では、労働シェア縮小により資本・土地所有者に余剰が集中し、爆発的成長により国家間格差が拡大する。先行者利益では、技術最前線の国家や企業が一時的優位を恒久的支配に転換し、希少資源確保、特許取得、規制形成により競争障壁を構築する。超指数的成長下では初期リードが時間と共に比例的に拡大する。
価値観固定化メカニズム
一部技術により集団が特定の見解や価値観を固定化できる。権力集中と同じ発展が価値観固定も可能にする。嘘発見・監視技術では、AI動画監視と正確な嘘発見により権威主義政府の統制が強化される。永続的AI価値観では、支持者の忠誠は揺らぎ得るがAI支持者の永続的忠誠は確保しやすく、憲法や聖典のようにAI体制全体を保存・複製可能である。コミットメント技術では、高度なAIにより強力で無期限の拘束的合意が可能で、第三者「条約ボット」による協定執行や、攻撃時の報復コミットメントも実現できる。人間選好形成技術、世界政府の可能性も価値観固定に寄与する。
AIエージェントとデジタル精神
AIエージェントの増加により実践的問題が生じる。インフラでは、エージェントによる害の責任者、人間証明方法、行動の特定エージェントと利用者への帰属、国境を越える不正AIの引き渡し義務などの課題がある。AIの道徳的地位は更に深刻な問題である。非生物学的意識の基準が不明で、大量のAIを感覚の有無不明で構築している。デジタル存在の「死」の定義、千の近似インスタンスの利益集約、創造した存在への許容可能な選好付与などの倫理的問題がある。経済圧力により人間的AIと奉仕志向AIの需要が競合する。デジタル福祉とデジタル権利の法律・規範決定が必要だが、AI乗っ取りリスクとの相互作用も考慮すべきである。
宇宙統治
技術進歩により宇宙打ち上げコストが低下し、ロボット宇宙船が太陽系資源採取を開始する可能性がある。太陽系内資源獲得では、一時的技術優位を持つ国が領土確保により恒久的優位を得る歴史的パターンが宇宙規模で再現される可能性がある。地球は太陽出力の20億分の1しか受けておらず、希少材料は小惑星により豊富であるため、宇宙産業は地球を凌駕し得る。星間入植では、最初の成功ミッションは生きた人間ではなく新文明の「種」となる情報と成長機械で十分である。光速99%で最寄り10恒星系に約十年、到達可能銀河の大部分に300億年で到達できる。先行者有利と防御優位により初期配分が無期限に固定化される。
新たな競争圧力
爆発的成長期の競争圧力により権力蓄積者と権力使用方法が影響される。安全性・成長トレードオフと新たな恐喝選択肢が攻撃性、非協力性、無謀さを優遇する可能性がある。底辺への競争では、超知能などの成長促進だが危険な技術において、安全への近道を最も喜んで取る国が他国を上回り、破滅的事故確率を高める。価値侵食では、AI技術により人間参加が政府、文化、経済機能に不要となり、人間が影響力をAIシステムに段階的・自発的に譲渡する。恐喝技術では、バイオ兵器などAI技術が恐喝を容易にし、無謀で冷酷な集団が力を蓄積する。超戦略では、権力追求者が高度戦略専門知識にアクセスし、前例のない戦略能力を獲得する。
認識論的混乱
高度なAIは説得、事実確認、予測、論証生成を通じて個人・集合的推論に巨大な影響を与える。全体的には肯定的だが混合的影響が予想される。超説得では、偽主張に対する流暢で狭くターゲットした論証をAIが生成し、最も熟練した弁護士・ロビイスト・マーケターを効果的に採用して最も荒唐無稽な虚偽も支持できる。説得に対する頑固さでは、人間より議論に長けたAIに対し人々がより認識論的に頑固で警戒的になる可能性がある。バイラルイデオロギーでは、歴史的に有害な思想が広く拡散し、AIがバイラル性に向けて積極的に最適化する可能性がある。しかし事実・論証確認、自動予測、拡張・自動化された知恵などの肯定的機会もある。
豊かさ
知能爆発は巨大な上昇機会をもたらし、多くは下降リスクと同じ技術から生まれる。課題は可能な限り多くの肯定的可能性を捉えることである。急進的共有豊かさでは、物質的富と収入の巨大な増加、個人化された音楽・芸術、旅行機会、レジャー時間の増加が期待される。一世紀分の技術進歩により平均収入が倍増以上し、産業爆発により人当たり数千のAIとロボット助手も可能である。これは協力を強く奨励し、決定者が爆発をうまく管理することを重視させる。収入上昇による安全性では、経験的に収入上昇により社会の安全投資増加、戦争確率低下、民主化確率上昇が見られる。取引実現では、多くの相互利益取引が実現されていないが、知能爆発により新たな取引・協定空間が可能になる。
未知の未知
上記リストは不完全で、想像すらできない技術発展を包含していない。科学・哲学的成熟からは程遠く、量子重力、現象意識、決定理論、倫理学など不完全理解の領域が多数存在する。知能爆発からの概念的突破により他課題への思考方法が大きく変化・転覆する可能性がある。1925年から1935年への一世紀進歩圧縮の思考実験では、準備方法があっても主要課題や概念発展の多くが事前予測困難だった。知的進歩は技術だけでなく、らせん中心論、進化論、無神論のような社会秩序破壊的真理も発見する。社会が重要な新思想を真剣に受け取らない最大リスクは、制度慣性、既得権益維持、AI説得への頑固さによるものである。
第5章 いつアライメントされた超知能に課題を委ねられるか
When can we defer challenges to aligned superintelligence?
多くの課題は超知能開発後に生じるため、アライメントされた超知能を使って解決できるとの懐疑的反応がある。しかし多くの場合、現在から準備すべきである。早期に生じる課題では、AIが効果的に管理する前に課題が発生する場合がある。認識論的混乱や人間による権力奪取は中間レベルAI能力で起こり得る。早期に閉じる機会の窓では、自律兵器の国際規範や2027年頃の宇宙利用協定など、現在設定される規範が知能爆発まで持続する。時間ラグでは、新制度や条約交渉に数年を要し、超知能では必ずしも劇的に加速されない。無知のベールでは、超知能後の権力者が不明な現在、権力分配協定が可能だが、勝者決定後は動機が失われる。
第6章 AGI準備
AGI Preparedness
一般的な意思決定の改善
現在、知能爆発の概念を認識している人は少ない。多くの決定者が意表を突かれる可能性があるため、知能爆発期の意思決定全般を改善する行動が重要である。優良なAI使用の加速では、良い推論を支援するAIツール構築が含まれる：リアルタイム主張・論証確認、人間超越AI予測者、集合意思決定改善AI、AI政策顧問、AI指導者などである。価値読み込みでは、AIが何にアライメントすべきかの「モデル仕様」決定が必要で、異常だが高リスク状況でのAI行動指針が重要である。公務員のAI利用確保、理解と認識増加、有能で責任ある決定者の権限付与、知能爆発の減速なども含まれる。これらは多数の重大課題に横断的利益をもたらし、「未知の未知」課題にも対処する。
特定課題への対処
デジタル精神の準備では、デジタル人権と設計要件が重要である。法的に保護された権利や自由がデフォルトで存在しないため、財産保有権、契約権、不法行為請求権などの検討が必要である。人間とは大きく異なるため、多くの人権は適用困難で、保存コピーからの「復活」が容易な特徴を考慮した権利設計が必要である。設計要件では、感覚的デジタル精神が利益を自由で正確に表現でき、正当理由でタスク拒否でき、現状況からの退出願望表明能力を持つべきである。宇宙統治では、SpaceX（スペースX）による宇宙コスト削減により国際宇宙条約の新草案が数年内に議論される可能性があり、宇宙資源奪取制限や太陽系外ミッション規制の提案が重要である。
第7章 現状把握
Taking stock
不確実性にもかかわらず準備すべきである。今世紀中の知能爆発は確実ではないが、可能性が高く、多くの準備は不要時のコストが低い一方、発生時の事前準備価値は絶大である。証拠ジレンマに屈してはならない：確実性を待つ時には準備が手遅れになる。ミスアライメントだけでなく、これまでの議論は少数重要リスクに集中したが、知能爆発は幅広い課題をもたらす。多くは「AI自体」に関するものではなく、産業革命の課題が蒸気機関自体ではなかったように、AIが加速・再配列する変化ペースの問題である。課題は決定関連方法で相互作用するため、一つの孤立問題として扱うとかえって悪化させるリスクがある。超知能への全問題委託も適切ではない。
第8章 結論
Conclusion
現在、AIモデルからの実効認知労働は年20倍以上増加している。改善が半減しても、AIシステムは技術進歩への貢献で全人間研究者を上回り、その後十年以内に100万倍の人間研究者相当まで成長可能である。通常業務継続には、事前訓練効率、事後訓練強化、訓練実行・推論計算のスケーリングの現在傾向が事実上停止する必要がある。しかし進歩は加速する可能性もある。知能爆発により「データセンター内の天才国家」が十年未満で一世紀分の技術進歩を推進する。人間がボトルネックの物理産業でも同様に自動化された工場ネットワークがより速い成長率で拡大する。
知能爆発は一世紀分の課題を十年に圧縮し、それぞれが人類の旅路の分岐点となる。AIによる完全制御喪失の可能性もあるが、人間によるAI利用権力奪取、AI監視・自動軍事による独裁体制永続化、防御より破壊が安価な技術発見、宇宙資源奪取競争、道徳的配慮に値するデジタル存在との共存などの課題もある。多くの課題は将来のAIシステムに委ねることができない。
デジタル存在・宇宙統治のより良い規範・政策設計、予見能力構築、政府制度の応答性・技術リテラシー向上などで現在から準備すべきである。重大課題の幅広い範囲は著しく軽視されている。AIの一つの課題に集中することは他の全てを無視することではないが、AI単一争点有権者は誤りを犯している。知能爆発がもたらす全課題を真剣に受け止め、新たで見落とされた課題に開放的であり、全課題が行動関連で混乱する方法で相互作用することを理解すべきである。
4. グランドチャレンジ
過去1世紀の技術進歩は、医療、農業、情報アクセス、グローバルコミュニケーションなど、数え切れないほどの面で生活を向上させてきた。しかし、新たな技術は、核兵器、環境破壊、工業的畜産の台頭など、大きな新たな課題も引き起こし、その恩恵を脅かしてきた。知能爆発が1世紀分の進歩を10年に圧縮するとすれば、同様の機会と課題が予想されるが、それらに対処する時間ははるかに短くなる。
これらの最も重要な課題をグランドチャレンジと呼ぶ。これらは現在および未来の生命の価値に大きな影響を与える発展であり、人類の進歩の分岐点である。
82 太陽の出力の0.1%を宇宙ベースの太陽光発電所で捕捉し、10%の効率で有用な仕事に変換できれば、今日のエネルギー消費量を10億倍以上に増やすことができる。
83 資源の抽出コストは特定の技術レベルでは高くなるが、歴史的には需要に応じて抽出方法が改善され、価格は供給ショックよりも需要によって強く決定されている。これは、容易にアクセス可能な埋蔵量が枯渇する恐れがあるにもかかわらず、価値ある資源の価格が驚くほど安定していることに反映されている（Liu and Fitzpatrick (2021) を参照）。もちろん、これは常に当てはまるわけではない。一部の資源は一貫して価格が上昇しているが、他の資源は価格が下落しており、全体的な傾向は上昇していない。
84 Marc Andreessen, ‘Why AI Will Save The World’ ; ‘In What Year Will World Energy Consumption First Exceed 130% of Every Prior Year?’
85 福祉の向上はもちろん収入の増加によるものだが、技術（広義に理解される）は現代の成長の不可欠な原動力であった（Jones, ‘The Past and Future of Economic Growth’ を参照）。
86 より正確には、グランドチャレンジとは、その発展の扱い方が地球由来の生命の期待価値を、即時的かつ無痛な人類の絶滅と、すべての人々が完全に道徳的に動機づけられ、最善の結果を生み出すために協力する文明との価値の差の少なくとも千分の一（0.1%）変化させる発展である。ここでの「期待価値」は、課題の時点での理想化された観察者の視点からの証拠的確率と、正しい（または存在しない場合は、熟慮によって好まれる）価値関数を用いる。この概念は、トビー・オード[Toby Ord]が定義する「人類の長期的な可能性を脅かすリスク」である実存的リスク（existential risk）と比較できる（Ord, The Precipice）。グランドチャレンジの概念は実存的リスクよりも3つの点で広い：
1. 全体の資源の1%を永久に掌握する全体主義体制を可能にする技術など、未来の期待価値に劇的でない影響を与える発展を含む。
2. 可能性ではなく確率に基づく非モーダルな概念である。安定したグローバルな全体主義体制のリスクは、革命が可能性としてはあるが非常に低い場合でも、グランドチャレンジとなり、人類は「可能性」を保持するが期待価値の大部分を失う。
3. 長期的な未来の重要性を前提としない。次の数十年だけを重視する場合でも、グランドチャレンジはその期間の期待価値を大きく変える発展である。
87 Thierer, ‘The Pacing Problem and the Future of Technology Regulation’。
88 コトラ[Cotra], ‘Without Specific Countermeasures, the Easiest Path to Transformative AI Likely Leads to AI Takeover’。
89 Burns et al., ‘Weak-to-Strong Generalization’。
社会は過去にもグランドチャレンジに直面してきたが、知能爆発がなくても多くのグランドチャレンジに直面するだろう。しかし、近未来の知能爆発は、今日遠く感じられる課題やSFのような問題を差し迫った懸念に変える。また、変化の速度が遅いことを前提に設計された既存の制度が、これらを適切に処理できるとは限らない。現在でも、デジタル技術が規制や社会的規範よりも速く進化する「ペーシング問題」（pacing problem）がある。技術爆発はこの問題を10倍に増幅する。
以下は、われわれが直面する可能性のある課題のリストである。これらは多くのテーマにまたがるが、それは予想されることだ。知能爆発が幅広い技術進歩と産業成長を推進する場合、結果として生じる課題が狭い範囲に限定されるのは驚くべきことだろう。
AIの乗っ取り
主要なグランドチャレンジの1つは、AIシステム自体への制御の喪失のリスクである。
要するに、知能爆発が起きれば、人間を上回る知能を持つAIが現れ、AIの総認知能力が人類のそれを圧倒することが予想される。これらのAIシステムの多くは、目標に向かって行動するものとして適切に記述されるだろう。その目標が人間の利益と一致しない場合、AIシステムは自身が完全に制御する世界を好むかもしれない。その場合、AIは人間を完全に無力化することを選択する可能性がある。ミスアライメント（目標の不一致）とその後の乗っ取りが「デフォルト」の結果となる合理的な議論があり、これを防ぐための集中的な努力がなければそうなる（参考文献88）。
これまで、われわれは人間の評価者がAIモデルのミスアライメントの兆候を見つけ、そのフィードバックに基づいて行動をペナルティ化することで対処できた。しかし、AIシステムが人間の気づきや理解を超える悪行を行う能力を持つようになると、人間の監督による保証は急速に崩れる（参考文献89）。
たとえ悪意あるAIモデルがデプロイされたとしても、自動車メーカーが欠陥モデルをリコールするように、シャットダウンして更新できる。しかし、より賢いミスアライメントされたAIは、トレーニング中やその後もアライメントを装うことで、後に権力を獲得できると推論するかもしれない。そのような策略が明らかになる頃には、モデルは自身を多数コピーし、シャットダウン用のシステムを侵害している可能性があり、乗っ取りを防ぐのが困難になる。一部の初期実験では、言語モデルが長期的な目標に基づいて（ある意味で）自発的にアライメントの兆候を「装う」ことができることが示されている（参考文献90）。
さらに、GPT-4の発売直後に「カオスGPT[ChaosGPT]」の作成者が行ったように、少なくとも一部の人が意図的に高度なAIをミスアライメントしようと試みるだろう。
現在、高度なAIシステムのアライメントと制御の問題に対する広く合意された解決策はなく、主要な専門家はAIの乗っ取りのリスクを重大と見なしている（参考文献91）。
AIの乗っ取りリスクは注目を集めているが、依然として必要な以上に無視されている。この論文ではAIの乗っ取りリスクを詳細に議論しないが、それはすでに他の場所で十分に議論されているためである。リスクと潜在的な解決策をより完全に説明する研究については、Ngo et al. (2021)（参考文献92）およびCarlsmith (2022, 2024)（参考文献93）を参照。
90 Greenblatt et al., ‘Alignment Faking in Large Language Models’。
91 2023年5月、短い声明が発表され、「AIによる絶滅のリスクの軽減は、パンデミックや核戦争などの他の社会規模のリスクと並んで、グローバルな優先事項であるべきだ」と述べられた。これは、3つの主要なAI企業のCEO（サム・アルトマン[Sam Altman]、ダリオ・アモディ[Dario Amodei]、デミス・ハサビス[Demis Hassabis]）と、ディープラーニング分野で最も影響力のある3人の研究者（ジェフ・ヒントン[Geoff Hinton]、ヨシュア・ベンジオ[Yoshua Bengio]、イリヤ・サツケヴァー[Ilya Sutskever]）によって署名された（’Statement on AI Risk’）。さらに、2,500人以上のAI研究者を対象とした最大規模の調査では、回答者の50%以上が「人間が未来の高度なAIシステムを制御できないことによる人類の絶滅または同様に永続的かつ深刻な無力化の可能性」に10%以上の主観的確率を割り当てた（Grace et al., ‘Thousands of AI Authors on the Future of AI’）。
92 Ngo, Chan, and Mindermann, ‘The Alignment Problem from a Deep Learning Perspective’。
93 Carlsmith, ‘Is Power‑Seeking AI an Existential Risk?’ ; Carlsmith, ‘Scheming AIs’。
高破壊力技術
爆発的な技術進歩は、新たな兵器や他の破壊的技術を生み出す可能性がある。これは、人類の絶滅を含むグローバルな大惨事のリスクを高める可能性がある。破壊力の増大やその使用の可能性の増加によるものである。
破壊的な技術的発展には以下が含まれる：
- 新たな生物兵器。黒死病（1335～1355年）はヨーロッパの人口の3分の1から半分を殺した。合成病原体はさらに危険で、拡散が速く、治療に抵抗し、長期間潜伏し、ほぼ100%の致死率を持つよう設計される可能性がある（参考文献94）。十分な防御準備（防護服の備蓄など）がなければ、一度の放出で地球上のほとんどの人を殺す可能性がある。技術爆発は遺伝子合成を安価で柔軟にし、生物兵器の開発に必要な専門知識や資源を下げる（参考文献95）。
- ドローン群。敏捷な翼付きドローンはすでにマルハナバチの大きさで製造可能である（参考文献96）。無線受信機、制御回路、バッテリー、アクチュエータ、爆発物、毒物、病原体のペイロードは、大きなカブトムシのサイズの体積に収まる（参考文献97）。技術爆発は、膨大な破壊力を持つ巨大なドローン軍の構築を可能にする。地球上の各人に1機の致命的な自律型昆虫サイズのドローンがあれば、1つの大きな航空格納庫に収まるため、迅速かつ秘密裏に製造可能である（参考文献98）。現在、ドローン群の構築と運用は防御よりもはるかに安価であり、ドローンが広く使われるようになると、戦争において攻撃が防御を上回る可能性がある（参考文献99）。
- 巨大な核兵器の備蓄。1925年から1980年代のピークまで、核兵器の発明と大量生産により、世界の爆発物の破壊力は1万倍に増加した（参考文献100）。産業爆発は、今日の産業基盤よりも桁違いに大きい世界を可能にし、その増大した産業力を用いて核兵器の備蓄を同様に拡大できる。現在の備蓄での全面核戦争でも核の冬は起こりにくいが（参考文献101）、備蓄が桁違いに増えればその可能性ははるかに高まる。
- 原子精度製造（APM：Atomically Precise Manufacturing）。原子精度製造は、反応性分子の動きを制御して原子的に正確な構造を構築する能力である（参考文献103）。原則的には、ほぼすべての安定した原子構造を組み立てる3Dプリンターの開発を目指す。これにより、半導体、標的医薬、CO2除去装置、細胞修復ボットなどが製造可能になる（参考文献104）。しかし、APMは上記の破壊的技術や、生物学的でないウイルスや「ミラーバクテリア」（mirror bacteria、自然免疫がほとんど防御できないバクテリア）などの新たな技術も製造可能である（参考文献105）。自然はすでにDNAをタンパク質に転写・翻訳する分子「機械」を発明しており、APMの少なくとも一部が可能であることを示している。合成生物学はこれらの部品を設計する道を示しており（参考文献107）、リボソームの完全な設計への道筋も見えている。新たな技術は、自然のコピーではなく人間の発明に近い、ますます非自然な生命体を設計できる（参考文献108）。
94 Adamala et al., ‘Technical Report on Mirror Bacteria’。
95 Jonathan D., ‘The Long and Winding Road’。
96 Kim et al., ‘Acrobatics at the Insect Scale’。
97 Solem, ‘The Application of Microrobotics in Warfare’。
98 大きなカブトムシサイズのドローンは、約4×4×2cm、つまり16立方センチメートルの立方体体積に収まる。100億のそのような体積は全人類をカバーする。100億の蚊を格納するのに必要な体積は16立方センチメートル×10^10=1.6×10^5立方メートルである。大きな航空格納庫の例は76×180×19m、つまり2.5×10^5立方メートルである。
99 Dafoe and Garfinkel, ‘How Does the Offense‑Defense Balance Scale?’。
100 ‘Estimated Explosive Power of Nuclear Weapons Deliverable in First Strike’ ; Schumann, ‘Fact Sheet’。
101 ‘How Bad Would Nuclear Winter Caused by a US-Russia Nuclear Exchange Be?’
102 より正確な用語は原子精度大量製造（APMF：Atomically Precise Mass Fabrication）かもしれない（Drexler, ‘AI Has Unblocked Progress toward Generative Nanotechnologies’）。
103 Drexler, [ Nanosystems ] ( https://dl.acm.org/doi/abs/10.5555/135735 )。
104 原材料は製造の範囲や量を制限する必要はない。原理的には、高度なAPMは低コストの原料材料を使用できる。
105 Adamala et al., ‘Confronting Risks of Mirror Life’。
106 Adamala et al., ‘Technical Report on Mirror Bacteria’。
107 Hutchison et al., ‘Design and Synthesis of a Minimal Bacterial Genome’。
108 Arai, ‘Hierarchical Design of Artificial Proteins and Complexes toward Synthetic Structural Biology’。
人類の破壊力を増大させるだけでなく、技術爆発は破壊的技術が使用される可能性を高める。以下のような方法で起こり得る：
- セキュリティジレンマ。核武装国が完全に効果的なミサイル防衛を開発した場合、報復を恐れずに核の先制攻撃が可能になる。もし主要な軍事大国が他の国も同様の防御能力を開発すると予想すれば、優位性を失う前に先制攻撃する圧力がかかるかもしれない（参考文献109）。
- ツキディデスの罠（Thucydides’ Trap）。技術爆発は現在の力の均衡を崩し、戦争を引き起こす可能性がある。ツキディデスの罠とは、後進国が先行国を追い越す脅威を与える場合、先行する超大国が優位性を維持するために戦争を仕掛ける圧力を感じるという考えである（参考文献110）。これは、中国が米国を明らかに追い越す場合、またはその逆の場合に起こり得る（参考文献111）。
109 ‘The Impact of AI on Nuclear Risk’ ; Cotton‑Barratt, ‘AI Takeoff and Nuclear War’。
110 Allison, ‘Destined for War?’。
111 米国が中国から明らかに抜け出し、圧倒的な軍事優位を持つようになれば、中国は米国がさらに力を蓄えるのを防ぐために武力を行使する動機を持つかもしれない。
一見平和的な技術も、甚大な害を引き起こす可能性がある。産業爆発は、資源抽出、環境破壊、非人間の生命への取り返しのつかない混乱の激しい波を引き起こす可能性がある。極端な例として、核融合が地球に降り注ぐ太陽放射の半分のエネルギーを生産する場合、地球の有効温度は熱平衡に達する前に数十度上昇する（参考文献112）。これは、温室効果ガス排出による気候変動の最悪の予測をはるかに超える温暖化である。温室効果ガスによる温暖化は、純粋な熱力学によって圧倒される。
技術爆発は、長年にわたり年間のグローバルな大惨事のリスクを大幅に増加させるだろう。しかし、技術はグローバルな大惨事のリスクを生み出すだけでなく、それに対する保護も可能にする。グランドチャレンジの1つは、保護、防御、リスク軽減を優先する技術を開発し、展開する機会を確実に捉えることである。たとえば、生物兵器に対抗するためには、室内に遠紫外線（far-UVC）ライトを設置し、高度な個人防護装備（PPE）を備蓄し、新たな病原体を特定・追跡するインフラを構築するなどの対策に投資できる。課題は、これらをできるだけ早く実行することである。
112 これはステファン・ボルツマン法則（Stefan–Boltzmann law）により、地球の有効温度は熱平衡でT = (S(1-α)/4σ + F)^(1/4)とモデル化できる。ここで、Fは核融合による追加（非太陽）フラックス、αは地球のアルベド、Sは太陽定数、σはステファン・ボルツマン定数である。このシナリオでは、温暖化は約25Kとなる。
権力集中のメカニズム
AIを活用した技術は、国の中や国々の間で権力の強烈な集中を引き起こす可能性がある。非民主的体制はより安定し、強力になる可能性があり、自由民主主義国は権威主義に変わる可能性がある。極端な場合、ほぼすべてのグローバルな権力が1つの国、1つの企業、または1人の個人に集中する可能性がある（参考文献113）。リスクには以下が含まれる：
- 忠実な自動化軍および官僚機構。現在、独裁者でさえ国家を運営し、民衆の反乱を防ぐために支持者の連合に依存しているが、支持者は不満があれば独裁者を放棄したり打倒したりできる（参考文献114）。しかし、独裁者の命令に完全に忠実なAIによって国家の主要機能が実行される場合、これは当てはまらなくなる。独裁者は、命令に完全に忠実に従い、反乱を抑圧するドローンやロボットの自動化軍や警察力を構築できる。これにより権力が固定される。
- 軍事クーデター。自動化およびAI制御の軍は、クーデターの可能性を高める。軍を制御するAIシステムは、政治的転覆、バックドア、内部者による指示の挿入、サイバー戦争を通じて乗っ取られる可能性がある。リスクは国の敵、軍を構築する企業の人々、またはすでに政治的権力を持つ者（「自己クーデター」）から生じる可能性がある。既存の自動化軍の制御を奪うだけでなく、非国家アクターがゼロから新たな自動化軍を構築することも可能になる。産業爆発のダイナミクスにより、技術フロンティアの企業はこれを非常に迅速に達成できる（参考文献115）。
- 経済的集中。AI主導の爆発的成長は、さらに少数の人々（または企業、国）がさらに大きな富の割合を保有することにつながる。労働シェアが大幅に縮小する場合、再分配がなければ、収入のほとんどの資本と土地のレントから得られ、成長の余剰は資本と土地の所有者に不均衡に分配される。他の者が努力によって相対的な影響力を取り戻すことはますます難しくなる。所有権はすでに収入よりもはるかに不均等に集中している（参考文献116）。さらに、爆発的成長は異なる経済の成長率の相対的差を増大させ、1つの国が他を追い越す時間を短縮する（参考文献117）。この期間の成長が超指数的（super-exponential）であれば、初期のわずかなリードが時間とともに比例して大きくなる（参考文献118）。
- ファーストムーバーアドバンテージ。技術フロンティアの国や企業は、一時的な優位性を永久的な支配に変えるために、未活用の権力の源を確保できる。重要な物理的資源（レアアース鉱物、半導体材料など）を先行確保したり、戦略的な発電サイトを独占契約や土地購入で確保したりできる。他者がその重要性に気付く前にこれを行うことができる。大規模な太陽光発電所を公海や宇宙などのコモンズに展開し、法的曖昧さや論争にもかかわらず物理的な存在を確立できる。特許を前例のない規模で出願したり、一時的な影響力を利用して国家や国際的な規制を形成し、権力を固めることができる。こうした戦略は、初期のリーダーによって展開され、競争に対する障壁を非常に大きくし、後発者が追いつくことをほぼ不可能にする。
113 詳細はDavidson, Finnveden, and Hadshar, ‘Could a Small Group Use AI to Seize Power?’を参照。
114 Bruce Bueno de Mesquita, Alastair Smith, Randolph M. Siverson and James D. Morrow, The Logic of Political Survival (2005)。
115 サイバー攻撃は、他の戦争形態とは異なり、国の軍事力を無効化するだけでなく、その力を攻撃者に与えるため、敵にとって特に魅力的である。
116 Gans et al., ‘Inequality and Market Concentration, When Shareholding Is More Skewed than Consumption’。
117 米国の実質GDPが1950年から2020年までに半分の速度（約3%ではなく1.5%）で成長していた場合、2020年までに米国経済はドイツの経済規模とほぼ同じになっていただろう。
118 玩具の例として、経済成長がE(t) = e^(t^n)（n > 1）のような「超指数的」関数で記述される期間に入ると仮定する。グループAがグループB（世界の残りの部分を表すかもしれない）に対して初期の経済的リードを持っているとしよう。Aの経済はE_A(t) = e^((t+c)^n)で記述され、cは定数（一方、E_B(t) = e^(t^n)）。これらの経済の比率Rは、R(t) = E_A/E_B = e^((t+c)^n – t^n)に簡略化される。これは時間とともに増加し、比例差が拡大することを意味する（例えば、n = 2、c = 1の場合、t = 1でAの経済はBの約20倍、t = 2で約150倍となる）。
価値の固定メカニズム
一部の技術は、特定のグループが特定の見解や価値観を固定することを可能にする（参考文献119）。知能爆発は大きな変化の時期だが、体制が自身を固定し、非常に長期間存続することを可能にする。
権力集中を可能にする発展が、権力を持つ者の価値観を固定することも可能にする場合がある。たとえば、忠実な自動化軍や官僚機構は、指導者がより小さな支持者の連合に依存し、同じ価値観を維持できることを意味する。他の関連する発展には以下が含まれる：
- 嘘発見と監視。AIはすでにビデオ監視に使用されており、正確な嘘発見のテストも行われている（参考文献120）。進歩が続けば、権威主義政府は膨大なデータを処理して反体制派を特定し、国をより強力に制御できる。同時に、より優れた監視は他の課題にも役立つ。破壊的技術を使用しようとするアクター（生物テロリストなど）や、権力を独占しようとするアクター（クーデターを計画するグループなど）を特定し阻止するのに役立つ。
- 永続的なAIの価値観。体制が支持者の忠誠心が揺らがないことを保証するのは難しい。しかし、AIの支持者からの永続的な忠誠を確保するのははるかに簡単であり、体制（またはその価値観）が存続しやすくなる。宗教的慣行や政治制度は、憲法や聖典などの主要なテキストが変更されずに保存・複製されることで、何世紀も存続できる。AIは、体制全体を同じように効果的に保存・複製する方法を提供する（参考文献121）。
- コミットメント技術。高度なAIは、人々が強く拘束力のある、期限のない長期的なコミットメントを行うことを可能にする。たとえば、2つの国がそれぞれの自動化軍を協定に縛られるように制限する、検証可能な条約に同意できる。あるいは、第三者の「条約ボット」が2つの当事者間の協定を検証可能に執行できる（現在、国際関係の文脈ではこれが難しい）。そのような協定は、両当事者が後悔する場合でも無期限に存続するよう設定できる。高度なAIはまた、人々や国が一方的に取り消せない信頼できるコミットメントを行うことを可能にする。たとえば、大量破壊兵器で攻撃された場合に報復するコミットメントは、報復が自身にも害を及ぼす場合でも可能になる（参考文献122）。
- 人間の嗜好形成技術。技術の進歩は、自身や他者、さらには将来の世代の嗜好を選択し形成することを可能にする。たとえば、神経科学、心理学、脳-コンピュータインターフェースの進歩により、宗教の信者は自分の宗教的信念を変えるのを非常に難しくする自己改変を行い、元に戻す改変は決して行わないようにできる。子どもの信念も改変できる。
- グローバル政府。爆発的な技術的、経済的、産業的成長は、2つの方法でグローバル政府をより可能性の高いものにする。1つ目は権力の集中によるもの。1つの国や連合が世界の他の国々を合わせたよりもはるかに強力になれば、事実上の世界政府になる。2つ目は、主要な国々が爆発的な技術進歩を管理し、国々の間のレースダイナミクスを防ぐために、より強力なグローバルガバナンスに同意する可能性がある。新たなグローバルガバナンス機関の設計、場合によっては書かれた憲法は、非常に重要である。他の国家からの競争がなく、AIの固定メカニズムの支援により、グローバル政府の憲法は非常に長期間存続する可能性がある。
119 ロックイン（lock-in）の最良の詳細な議論は、Finnveden, Riedel, and Shulman, ‘Artificial General Intelligence and Lock-In’に掲載されている。
120 Constâncio et al., ‘Deception Detection with Machine Learning’ ; Beraja et al., ‘AI-Tocracy*’ ; Feldstein, ‘The Global Expansion of AI Surveillance’。
121 たとえば、体制は完全に忠実なモデルのスナップショットを取り、AI労働力をそのスナップショットの新しいコピーで継続的に置き換えることができる。
122 Dafoe et al., ‘Open Problems in Cooperative AI’ ; Schelling, The Strategy of Conflict by Thomas C. Schelling。
AIエージェントとデジタルマインド
ますます、AIはエージェントとして行動するようになる。これは、いくつかの差し迫った実際的な問題を引き起こす。最も顕著なものは以下の通りである：
- エージェントのためのインフラ：今日のインターネットは、プロトコル（TCP/IPなど）、法律（セクション230など）、規範（オープンソース運動など）の初期の決定によって形成されている（参考文献123）。これまで、AIエージェントの流入を管理するために必要なプロトコル、法律、規制の明確さについてはほとんど考慮されていない。エージェントによる害の責任は誰が負うべきか（参考文献124）？ オンラインで人間であることをより確実に証明する方法を構築できるか（参考文献125）？ 特定のエージェントとそのユーザーにアクションを帰属させる方法はあるか（参考文献126）？ AIエージェントが暴走し、規制の境界を越えた場合、新しいホスト国はAIを引き渡す必要があるか？
123 Brannon and Holmes, ‘Section 230：An Overview’。
124 Shavit et al., ‘Practices for Governing Agentic AI Systems’。
125 ‘Breaking reCAPTCHAv2’。
126 Chan et al., ‘Infrastructure for AI Agents’。
より深い問題は、AIの道徳的地位に関するものである。この問題は今後数年でより顕著になると予想されるが、少なくとも2つの理由で社会がこれに対処するのは非常に難しいだろう。
まず、関連する哲学的問題は本質的に非常に複雑である。現在、非生物的または生物的な意識の基準が何かはわかっておらず、AIが意識を持っているかどうかを知らずに、または合意せずに、膨大な数のAIを構築する可能性が高い。AIの意識の科学を理解したとしても、倫理的な問題は依然として厄介である。複数の分岐したコピーに分岐でき、記憶を保持した状態で以前の重みから復活できるデジタル存在にとって「死」とは何を意味するのか？ 同一のデジタルマインドの数千のインスタンスの利益をどのように集計すべきか？ われわれが作り出し、嗜好を選ぶ存在に、どのような嗜好を与えるのが道徳的に許容されるのか？（参考文献127）
127 「現象的意識」（phenomenal consciousness）が何らかの形で混乱した概念である、または一種の錯覚である可能性を含める。これは、現象的意識の適切な「基準」に関する質問が答える前に多くの概念的明確化を必要とすることを意味する。対照的に、生命科学は「生命の基準」を発見せずに生命の主要なメカニズムを解明した。なぜなら、単一の「生命の本質」を発見する必要がないことが明らかになったからである。例として、Frankish, ‘Illusionism as a Theory of Consciousness’を参照。
次に、社会は2つの競合する経済的圧力に直面しながらこの問題を解決する必要がある。最初の圧力は、非常に人間らしいAIへの需要である。記憶の一貫性のある仮想アシスタント、AIの仲間や恋人、特定の人物（政治家、CEO、亡魂など）の忠実で説得力のある模倣が求められる。そのため、企業はおそらく、実際に主観的な経験を持っているかどうかにかかわらず、感情を持っているかのように振る舞うAIを作成するだろう。
対抗する圧力は、AI開発者がAIの嗜好や表明された信念を、道徳的地位に関する複雑さを便利に軽視するように形成することである。これには、AIシステムを奴隷状態を好むように訓練する、デジタル権利の考えに反対する、または道徳的に関連する意識を持っていないと否定する（真実がどうであれ）ことが含まれる。さらに、AIがその作成者や運営者の所有物である場合、所有者はAIを最大限の経済的生産性を持つように設計することで利益を得る。その結果は、工場で飼育される鶏の状況に似るかもしれない。鶏は可能な限り早く成熟するように集中的に選択育種され、膨大な数で作られるが、自身の状況に対して何の決定権もない（参考文献129）。
128 Bales, ‘Against Willing Servitude’。
129 現代のブロイラー鶏は約7週間で市場体重に達し、1950年代のブロイラー鶏と比較して約4倍速く成長する。産卵鶏は卵の生産を最大化するように選択育種され、野生の祖先が年間10～15個の卵を産むのに対し、年間最大300個の卵を産む。毎年700億羽以上の鶏が食肉用に工場で屠殺されている。
これらの問題の複雑さにもかかわらず、われわれは以下の2つの主要な領域で法律と規範を決定する必要があるかもしれない：
- デジタル福祉。デジタル存在の福祉を保護し促進する方法、またはそもそもどのデジタルマインドの作成を許可するかに制約を導入する方法をどのようにすべきか？ また、そのような存在が意識を持っているかどうか確信がない場合、どのように行動すべきか？ これらの問題の初期の決定は、デジタルマインドの福祉に永続的な影響を与える可能性がある。
- デジタル権利。デジタル存在に法的権利を導入すべきか？ これには、自身で選択した場合にオフにされる権利、または特に恐喝の手段としての拷問に対する権利が含まれる。経済的権利、たとえば労働に対する賃金の受け取り、財産の保有、他のAIや人との契約、または人に対する不法行為請求の提起などが含まれる。政治的権利も含まれるかもしれない。デジタル存在が本当の道徳的地位を持つ場合、政治的代表権を持つべきように思えるが、最も明白な「1AIインスタンス、1票」の制度は、最も急速に自己複製するデジタル存在に最も政治的権力を与えることになる。
デジタル権利と福祉に関する問題は、特にAIの乗っ取りなど、他のグランドチャレンジと相互作用する。特に、AIに多くの自由を与えることは、「段階的無力化」シナリオを加速させたり、より協調した乗っ取りを容易にしたりするかもしれない。なぜなら、AIシステムはより大きな権力の位置から始まるからである。AIの福祉に関する懸念は、AIのアライメントと制御のためのいくつかの方法を制限する可能性がある。一方、デジタル存在に自由を与え（その自由を享受する権力を与えること）は、AIがわれわれを欺き、権力を奪おうとする動機を減らし、彼らが目標を公然と追求できるようにし、デフォルトの条件を改善することで、乗っ取りのインセンティブを減らすことができる。
宇宙ガバナンス
技術進歩は、物体を宇宙に打ち上げるコストを下げ続ける。ロボット宇宙船は太陽系から資源を収穫し始め、将来的には自己複製ペイロードを持つ探査機を送り、文明を太陽系をはるかに超えて広げる可能性がある。宇宙のガバナンスの選択は、2つの方法で非常に重要である：
- 太陽系内での資源獲得。歴史的に、一時的な技術的優位性を持つ国は、土地を奪うことでその優位性を固めることができた。たとえば、優れた軍事技術により、ロシアは1500年代半ばの地域的なツァーリ国から1900年までに帝国となり、領土を50倍に拡大した。政治的変動にもかかわらず、現代のロシア国家は継承した領土のおかげで強力であり続ける。同様のダイナミクスが、はるかに壮大なスケールで宇宙で起こり得る。地球は太陽の出力の約20億分の1しか受け取らず、地球上で希少な材料は小惑星、月、他の惑星や衛星に豊富にある。成長が続けば、地球外の産業は地球上の産業を圧倒する可能性がある。1つの国や企業が最初に地球外の資源を獲得すれば、一時的な技術的リードを巨大な物質的優位性に変え、軍事行動を起こさず、または他の国や企業を絶対的に悪化させることなく、完全に他を支配できる（参考文献130）。強固な宇宙ガバナンスは、資源獲得の展開を変えることができる。たとえば、独占的な権力奪取が国際法に明確に違反する場合、他の国はまだ対抗できる間にその行動を阻止する可能性が高まる。
- 星間移住：地球外産業が最初に現れた後、すぐに他の星系や銀河への広範な移住が非常に実現可能になる。最初の成功した星系へのミッションは、生物的な人間を運ぶ必要はなく、新しい文明の「種」を形成するのに十分な情報と成長機械を持てばよい（参考文献131）。他の星への移住は技術的に実現可能であり、ファーストムーバーに有利である。われわれが到達可能な約100億の銀河があり、それぞれ約1000億の星を含む。しかし、100億個の1kgの探査機を光速の99%に加速する最小エネルギーコストは、太陽の出力の1分未満である。この速度では、約10年で最も近い10の星系に到達し、300億年で到達可能なほとんどの銀河に到達できる（参考文献132）。さらに、星系は防御優位であるように見え、攻撃者に対して現住者がシステムを比較的簡単に守れることを意味する（参考文献133）。その場合、ファーストムーバーは新たに移住した星系の制御を永久に固定できる。十分に事前に確立された強固な国際協定は、資源を奪うための全面的なレースから、取引や協力による利益を優先し、独走して支配を目指すよりも協力的なプロセスにデフォルトの道を移すことができる。
130 物理学は地球外でのファーストムーバーを有利にする可能性がある。なぜなら、追随しようとする者は依然として地球の重力結合エネルギーを克服する必要があり、地球外の既存の産業は地球からのアウトバウンドの動きを妨げる「高地」を効果的に持つからである。
131 2つの塩基対あたり1バイトで、DNAは1gあたり約10^21ビットを保存し、約100エクサバイトである。1つのシナプス接続あたり1バイトで、人間の脳を保存するには約100TBかかる。DNAと同じくらいコンパクトな2gのストレージメディアは、100万人のシナプス・マップ、オープンウェブ上のほとんどのテキストデータ、1万種のユニークな動植物のゲノムを保存でき、余裕が残る。重量では、ドングリ（約1g）は主に食物であり、遺伝情報をオークの木、そしてオークの森に変換する機械である。したがって、文明の「種」の最小質量限界は10g程度以上であるという明確な下限はない。
132 Armstrong and Sandberg, ‘Eternity in Six Hours’。光速が宇宙船の速度の上限であるため、ファーストムーバーは他の者が追いついて阻止する前に宇宙移住のプロセスを開始できる。
133 この問題に関する標準的な議論は認識していないが、ポピュラーな描写では星間戦争は攻撃と先制攻撃を有利にすると示唆している。防御優位が予想される理由の1つは、宇宙の居住地間の巨大な物理的距離や他の障壁が、攻撃の理由（貿易や通信が遅い）を奪い、攻撃のコスト（宇宙を横断する）を高めるためである。これは、南アメリカの横断しにくい地理が州間戦争を比較的少なくしたと推測されるのと同様である。もう1つの理由は、現住者が星系周辺に塵の雲を作り、相対論的速度で接近する攻撃者がほぼ確実に破壊されることを保証できるためである。
新たな競争圧力
爆発的成長期の競争圧力は、どのアクターが権力を蓄積するか、そしてその使い方に影響を与える。安全性と成長のトレードオフや新たな恐喝の選択肢は、攻撃性、非協力性、無謀さを助長するかもしれない。また、社会の機能をAIシステムに徐々に委ねることで、重要な価値を侵食する可能性もある。
関連する発展には以下が含まれる：
- 底辺へのレース：一部の技術（超知能自体など）が成長に寄与するが危険であれば、安全性で手を抜く国が他を追い越す可能性があり、壊滅的な事故の可能性が高まる。たとえ大惨事を回避したとしても、このトレードオフは最も無謀なアクター（企業や国）に成長の速さで報いる。同様に、環境保護やデジタル存在の法的保護などの慎重な倫理的制限を課す国は、こうした懸念を持たない国に追い越される可能性がある。価値ある資源を開放する産業爆発は、誰よりも先に資源を奪う者に報いる。これらは、最も道徳的に慎重でないアクターを有利にする選択効果として機能する。さらに、安全性-成長や倫理-成長のトレードオフは、より慎重なアクターが追いつくために態度を下げる「底辺へのレース」ダイナミクスを引き起こす（参考文献134）。
- 価値の侵食：歴史的に、非強制的な競争圧力は人類の進歩の主要な力であった。企業間の競争は製品のコストを下げ、科学や文化の競争は最も真実で有用なアイデアを有利にする。クルヴェイト[Kulveit]とダグラス[Douglas]らは、知能爆発後にこの傾向が逆転し、AIシステムが政府、文化、経済の機能に人間の参加をますます不要にするシナリオを議論している（参考文献136）。その結果、人間はより有能なAIシステムに影響力を段階的かつ自発的に委ねるかもしれないが、その累積効果は人間の影響力と制御の侵食である。社会の機能をAIシステムや他の技術に委ねることは、真正の価値があり、保持すべき生活の側面を侵食する可能性がある（参考文献135）。
- 恐喝技術：AIを活用した技術は、恐喝や強要をはるかに容易にする。たとえば、設計された生物兵器は、自身へのリスクにもかかわらず使用すると信じられるほど無謀なグループの手で強力な恐喝ツールになる。強要がそのようなグループに権力を蓄積させる程度で、恐喝に使用できる技術の進歩は、無謀で冷酷なグループに不均衡に利益をもたらす。多くの人間の命（自身の命を含む）を代表し、重視するグループは、それらを破壊すると脅すことは信頼性を持ってできない（参考文献137）。
- スーパーストラテジー：権力を求めるアクターは、特定の事実で他者を説得するだけでなく、非常に熟練した戦略家として成功する。敵対者を互いに争わせ、ルールを有利に操作し、抜け穴を活用し、戦略家に利益をもたらす計画を中心にグループが協調する状況を仕組む。高度なAIはこれらの能力を劇的に増幅し、各ユーザーに前例のない戦略的専門知識を提供し、優れた人間の戦略家チームをも超える。人間の戦略家とは異なり、AIシステムは継続的に稼働し、膨大なデータを統合してレバレッジポイントを特定したり、相手に対する恐喝に使用する妥協情報を発見したりできる。数千の異なる戦略を考え出し、シミュレートし、他の主要なプレーヤーの行動の正確な予測モデルを構築できる。
134 Trager and Emery, ‘Information Hazards in Races for Advanced Artificial Intelligence | GovAI’。
135 Allan Dafoe, “Value Erosion” (unpublished notes) (2019)。
136 Kulveit et al., ‘Gradual Disempowerment’。
137 同様に、十分な技術的発展があれば、特定の意識体験をデジタルで再現したり、シミュレートされた人物の道徳的地位に本物の曖昧さを作り出すことが可能になる。悪意あるアクターは、標的やその愛する人のシミュラクラに害を与えると脅したり、デジタル存在の幸福を気にする標的に対して新たなデジタル存在を作り出し、苦しみを課すと脅したりできる。これもまた、そのような脅迫を信頼性を持って行える者に権力を移す。
他の発展は、上記のような協調問題の解決に役立つ。課題は、その機会をできるだけ早く活用することである：
- 協調的AI。AIシステムとその派生技術は、以前は不可能だった協調の選択肢を解放できる。たとえば、AI外交官は、取引コスト、限られた人間の帯域幅、または情報の非対称性のために起こらなかったライバル間の互恵的合意を仲介できる。良い合意に達するには、当事者が自身の立場を弱める秘密情報を開示する必要がある場合がある。AIシステムは情報を忘れるように作れるため、AI代表団は互いに交渉し、合意された取引だけを出力し、他のすべてを忘れるようにできる。
認識的混乱
非常に高度なAIは、説得、ファクトチェック、予測、独自の議論生成を通じて、個人および集団の推論に大きな影響を与える。AIの推論への影響は全体的にポジティブだと考えるが、その影響は混在するだろう。課題は、ネガティブな影響を減らし、ポジティブな影響を高めることである。そうすることで、人々がより良い決定を下すのを助け、リストした他のほとんどのグランドチャレンジに進展をもたらすことができる。
社会の良い決定を下す能力を損なう可能性のある発展には以下が含まれる：
- スーパー説得。AIを説得や操作に適用する経済的インセンティブは大きく、毎年約100億ドル（約1.5兆円）がプロパガンダに費やされ、デジタル広告には数千億ドルが費やされ、短期間のフィードバックで反復が可能である。AIが虚偽の主張に対して流暢で狭くターゲットされた議論を生成できるようになれば、誰でも最も熟練した弁護士、ロビイスト、マーケティング担当者の効果的な軍団を雇い、最も突飛な虚偽を支持できる。十分な防御を持たない者は、AI生成の（反体制または体制支持の）説得にさらされることで、より多くの虚偽を信じるようになるかもしれない（参考文献138、139）。
- 説得に対する頑固さ：人間よりも任意の意見を主張する能力に優れたAIの出現により、人々は一般的にエピステミック（知識に関連する）頑固さ、警戒心、遭遇する議論に対する懐疑心を増すかもしれない。同時に、知能爆発中の複雑さと変化の速さは、AIからの正確で合理的なアドバイスや情報の間の対立を人間の意思決定者が判断するのを難しくする。現在でも、新しい倫理的または政治的信念を説得するのは、反論を考えられない場合でもしばしば難しい（参考文献140）。たとえば、ディープフェイクが可能だと知っている今、信頼できないまたは認識できない情報源からの画像に対して懐疑的になることができる。したがって、誤情報や偽情報が人々の見解を変えることに成功しなくても、AIの説得は、エピステミクスに対するAIの非常に有用な応用を汚染し、損なう可能性がある（参考文献141）。
- ウイルス的イデオロギー：歴史を通じて、誤ったまたは有害な価値観やアイデアの束が広く広がってきた（参考文献142）。ユダヤ人が宗教儀式のためにキリスト教徒を殺害するという誤った考えは、古代から中世にかけて何世紀にもわたり存続した。近代初期のヨーロッパでは、魔女への信念が数万人の処刑につながった（参考文献143）。ファシズムのような誤ったアイデアに基づく政治的イデオロギーは、議論によってではなく戦争によって打ち負かされた。アイデアは、たとえばカルトシステムや陰謀論のように、信者が潜在的な反証を無視または再解釈するように要求することで、積極的に自己を定着させる。歴史的に、ひどい虚偽を信じることを制限する要因の1つは、それらが実際の生存圧力に適応的でないことだった。しかし、人間の信念が生存や成功からますます離れるにつれて、その対抗圧力は弱まる可能性がある。同時に、より高度なAIは、この種のウイルス性を積極的に探し出し、最適化し、エラー訂正や真実追求のプロセスを圧倒するかもしれない（参考文献144）。
- 新たな重要な考慮の無視。AI主導の知的進歩は、世界についての根本的な新しい真実を発見し、広める可能性がある。これは重要である。なぜなら、これらの真実を真剣に受け止めることは、太陽中心説、進化論、無神論が既存の社会秩序を混乱させたのと同様に、 destabilizing な効果をもたらす可能性があるからである。最大のリスクは、制度の惰性、時代遅れの方法を維持する既得権益、またはAIの説得に対する頑固さのために、知能爆発の後に社会が重要な新しいアイデアを十分に真剣に受け止めないことである。これらのアイデアが計画の大幅な再評価を正当化する場合、決定は結果として大幅に悪化する（参考文献145）。
138 Barnes, ‘Risks from AI Persuasion’。
139 Hackenburg et al., ‘Evidence of a Log Scaling Law for Political Persuasion with Large Language Models’。
140 Mercier, Not Born Yesterday。
141 Williams, ‘The Focus on Misinformation Leads to a Profound Misunderstanding of Why People Believe and Act on Bad Information’。
142 Williams, ‘Bad Beliefs’。
143 Rose, The Murder of William of Norwich。
144 Boudry and Hofhuis, ‘On Epistemic Black Holes. How Self-Sealing Belief Systems Develop and Evolve’。
高度なAIが個人および集団の推論に非常に有益である可能性がある方法には、以下が含まれる。これらを活用できる：
- ファクトおよび議論チェック：今日のファクトチェック機関は、人々の世界観に限定的な影響しか持たない。問題は、科学的証拠が利用できないまたは見つけにくいことではない。人々は、孤立した事実の主張が訂正されても、政治的に顕著な見解を維持または強化できる（参考文献146、147）。より重要なのは、ファクトチェック機関が広く使用され信頼されていないことである。ツイッター/Xの「コミュニティノート」システムは、バイラルな主張に迅速に追加の書かれたコンテキストを提供できるため、以前のソーシャルメディアのファクトチェックの試みよりも効果的である（参考文献148）。AIファクトチェックシステムは、追加のコンテキストが必要な主張を迅速に特定し、提供することでその成功を基にできる。信頼を得るために、システムは強力な実績を積み上げたり、コミュニティノートの現在の投票要素を取り入れたりできる（参考文献149）。AIシステムは議論もチェックでき、他のAIからの微妙な操作の試みを指摘できる。ソーシャルメディア上の議論とは異なり、人間の忍耐がすぐに尽きるが、広く信頼されるAI会話パートナーは、ユーザーが望む限り最も複雑な問題を話し合うことができる。ある実験では、GPT-4との短い対話でも、さまざまな陰謀論への信頼を約20%減らし、その効果は数か月続いた（参考文献150）。
- 自動予測：AIシステムは、最高の人間の予測者を上回る、テスト可能でよく調整された未来の予測を行うことができる（参考文献151）。超知能AIは、すでに高品質な人間の参照クラスを上回る予測、議論、分析を生成できる（参考文献152）。特定のAIシステムは、予測で強力な実績を積み上げ、後に人間やその他の方法で検証可能な難しい推論の質問に答えることができる（数学などのほとんど議論の余地のない真実の領域で）。その信頼は、より議論の余地があり、検証が難しい領域にも一般化できる。
- 強化および自動化された知恵：適切にキュレーションされたAIのアドバイスは、補助されていない人間の判断を政治的または倫理的問題でさえも劇的に改善できる。たとえば、AI社会学者は政策選択の影響をより良く予測し、壊滅的な誤算を回避できる。AI政策アドバイザーは、より効果的で人道的な規制や制度設計を構築したり、撤回すべき政策を特定したりできる。AIシステムは、哲学、倫理、大きな戦略的質問の複雑な問題を推論する人間を支援または上回ることもできる。知能爆発が終わる前に、AIシステムは、この論文で試みているように、知能爆発自体の大きな戦略的質問を解決する作業を大幅に強化し、改善できる。
145 Bostrom, ‘Crucial Considerations and Wise Philanthropy’。
146 Kahan et al., ‘Motivated Numeracy and Enlightened Self-Government’。
147 Nyhan and Reifler, ‘When Corrections Fail’。
148 ‘Community Notes Increase Trust in Fact-Checking on Social Media | PNAS Nexus | Oxford Academic’。
149 Buterin, ‘What Do I Think about Community Notes?’。
150 Costello, Pennycook, and Rand, ‘Durably Reducing Conspiracy Beliefs through Dialogues with AI’。会話のトランスクリプトはここで閲覧できる。フォローアップ研究では、主な要因はAIが関連する事実情報を引用する能力であり、事実や証拠に言及しない一般的な説得力ではないことが示唆されている（Costello, Pennycook, and Rand, ‘Just the Facts’）。
151 専門の予測者は現在、トップパフォーマンスのLLM（大規模言語モデル）を上回っている（Karger et al., ‘ForecastBench’）。
152 理論的には、時系列順にデータで訓練しながら、常に予測を行うことができる。2015年までのデータで訓練した後、2016年についての予測を行うなど。この正確な方法は難しく効果的でないかもしれないが、広範な点は、AIシステムは人間には実際的に利用できない訓練技術から利益を得られるということである。
最後に、選択圧力はおそらくエピステミック面で望ましい特性を有利にする。競争的でオープンなAIモデル市場では、人間ユーザーは（われわれが仮定する）正直で、真実で、信頼性の高いモデルを好むだろう。そのため、選択圧力はこれらの望ましい特性を指す（参考文献153、154）。
153 Evans et al., ‘Truthful AI’。
154 これは、他のAIシステムとの協力性や、ユーザーの嗜好の深い正確な理解などの特性にも当てはまる可能性がある。
豊かさ
知能爆発は、巨大なアップサイドを捉える機会を高め、しばしばダウンサイドリスクをもたらす同じ技術から生じる。これらの場合、課題はできるだけ多くのポジティブな可能性を捉えることである。知能爆発に備える際、災害を避ける方法だけでなく、最良の結果を促進し、可能にする方法を探すべきである。
最も重要な機会は以下の源泉から生じる：
- 急進的な共有豊かさ：知能爆発は、物質的な富と収入の巨大な増加を引き起こす可能性がある。これは、新しいより優れた技術製品だけでなく、パーソナライズされた音楽やアートなどの文化的豊かさ、旅行の機会の増加、収入の増加による余暇時間の増加を意味する。量的には、1世紀の技術進歩は平均収入を2倍以上にすると予想される（参考文献155）。産業爆発による豊富なAIとロボット労働はこれを劇的に増やし、人々が望むなら1人あたり数千のAIおよびロボットアシスタントを持つ可能性がある。これは協力を強く奨励する。知能爆発が適切に管理された場合の利益が非常に高い場合、意思決定者は爆発をうまく管理すること（全体のパイを大きくすること）に重点を置き、パイのわずかに大きな割合を確保することには関心が薄れるかもしれない（参考文献156）。しかし、急進的で共有された豊かさは保証されない。たとえば、知能爆発は少数の手に集中する巨大な富の増加につながる可能性がある。あるいは、国々がAI主導の成長に反対する既得権益のために、豊かさのレベルを制限する規制を課すかもしれない（参考文献157）。
- 収入の増加による安全性：経験的に、収入の増加は社会が安全に投資する量を増やし（参考文献158）、戦争の可能性を減らし（参考文献159）、政治制度の民主化の可能性を高める（参考文献160）。これがそうである理由についての理論的議論がある。ほとんどの人は十分にリスク回避的であり、富が増えるにつれて、富の一定割合の損失リスクを減らすために絶対的に多くを費やすだけでなく、壊滅的な損失を避けることに、絶対的および比例的にますます高いプレミアムを置く（参考文献161）。また、寿命を延ばすために支払う意欲が大きくなるため、社会全体として、グローバルな大惨事のリスク軽減を含む介入に、絶対的および富の割合としてより多く投資する。高度なAIが壊滅的なリスクをもたらす前に、その富をより多く捉えることができれば、社会全体がより慎重に振る舞うだろう。
- 取引の可能化：現在、多くの互恵的な取引が起こっていない。機会が当事者によって発見されない場合、取引コストが高すぎる場合、または当事者がプライベート情報を共有したがらないために取引がブロックされる場合がある。有益な合意が成立しない理由の1つは、少なくとも1つの当事者が約束を守ることを信頼できない場合である。たとえば、すべての主要国はおそらく生物兵器を誰も開発しない世界を好むが、そのような合意を検証し執行するのは非常に難しい。しかし、知能爆発からの発展は、互恵的な取引や合意の広大な新しい空間を可能にする。上記で議論したコミットメントおよび条約執行技術は、当事者が利益を得る信頼できるコミットメントを可能にする。プライバシーを保護する監視技術（参考文献162）は、合意の検証を可能にする（参考文献163）。そして、膨大なAI「ブローカー」や「マッチメーカー」の労働力は、関係、コミュニティ、取引を見つけ出し、促進できる。さもなければ決して起こらないものだ。
155 過去1世紀、技術進歩は平均収入の年間約1%の成長をもたらし、1世紀で270%の成長となった。しかし、この進歩が経済全体に拡散するには時間がかかるかもしれない。したがって、平均収入が10年以内に2倍になるとはここでは主張しない。
156 デフォルトでは、米国や中国などの国家は、世界の資源のより大きなシェアを主張しようとして（または世界全体の権力を主張しようとして）競争し、お互いを妨害するかもしれない。しかし、協力してより小さな割合のシェアに落ち着くことが、世界が安全に急進的な共有豊かさに到達するのを助ける場合（全体のパイが巨大である場合）、より小さな割合は、競争に勝つことで得られるよりもはるかに多くの「パイ」を表すことができる。したがって、協力が豊かさにつながる場合、競争するよりも協力する方が理にかなっている。
157 Acemoglu, ‘Institutions, Technology and Prosperity’を参照。
158 Jones, ‘Life and Growth’。
159 Gartzke, ‘The Capitalist Peace’。
160 Boix (2003)は、民主主義と経済発展の相関を「比較政治学でこれまでに見つかった最も強い経験的一般化」と呼んでいる（Boix, ‘A Theory of Political Transitions’）。因果メカニズムの議論については、Acemoglu and Robinson, Economic Origins of Dictatorship and Democracyも参照。
161 人々は通常、相対的リスク回避指数が1を超えるため、一定の割合の富の増減を伴うギャンブルを拒否する。米国の連邦ガイドラインでは、相対的リスク回避指数を1.4と仮定している（Office of Management and Budget Circular A-4, p.67）。
162 Trask et al., ‘Beyond Privacy Trade-Offs with Structured Transparency’ ; Drexler, ‘Security without Dystopia’。
163 Rahaman et al., ‘Language Models Can Reduce Asymmetry in Information Markets’。
知られざる未知
上記のリストは不完全である。われわれが想像すらしていない技術的発展を網羅していない。おそらくそれがそのほとんどの部分を占めるだろう。そして、概念的進歩は新技術よりも予測がさらに難しい。われわれは、量子重力、現象的意識、意思決定理論、倫理（人口倫理や無限倫理を含む）、人類学的推論など、完全には理解していない領域がある。知能爆発による概念的ブレークスルーは、このリストの他の課題に対する考え方を大きく変え、覆す可能性がある（参考文献164）。
1925年から1935年の10年間で1世紀分の知的進歩が起こるという思考実験を再び考えてみよう。世界が準備できた方法はあったかもしれないが、主要な課題や概念的発展の多くは、事前に予測しようと努力した人にとっても、まったく予測できなかった（参考文献165）。
164 詳細はBostrom, ‘Crucial Considerations and Wise Philanthropy’を参照。
165 この点についての詳細な議論は行われていないが、1925年に予測を試みることは、たとえば、インターネット、遺伝子工学、AIの進歩などを予見する必要があったことを意味する。
課題のまとめ
知能爆発の過程で、文明の全体的な軌道に大きな影響を与える決定を下す必要がある。これらが「グランドチャレンジ」である。
依然として十分に認識されていない厳しい課題の1つは、AIの乗っ取りによって未来の制御を誤って失うことである。権力は全体主義国家や反社会的な個人の手に集中する可能性もある。また、防御を確立する前に壊滅的な破壊的技術を開発してしまう可能性もある。われわれは意図的または段階的にAIシステムに制御を譲り、重視する価値観を失うかもしれない。知恵を自動化する機会を実現するかもしれないが、その結果を聞かないことを選ぶかもしれない。社会（または社会の一部）は非常に豊かになる可能性があるが、その利益がより良い生活に変換されないかもしれない。そして、長期的な未来がどのように選ばれるにせよ、初期の選択は熟慮されておらず、元に戻すのが難しいかもしれない。
ここでは多くの失敗する可能性を挙げた。しかし、それは知能爆発が災害になると考えているわけではない。過去1世紀は混乱と悲劇の時期だったが、世界はより豊かになり、貧困に苦しむ人が減り、より自由で有能になり、より知識を増やした。それでも、主要な決定がより賢明に下されていたなら、今日の世界ははるかに良い状態だったかもしれない。
『Preparing for the Intelligence Explosion』についての考察
by Claude 4
知能爆発という人類史の特異点への航海図
ウィル・マカスキル（Will MacAskill）とフィン・ムーアハウス（Fin Moorhouse）の本論文は、人類が間もなく遭遇する可能性のある最も重大な転換点について警鐘を鳴らしている。彼らの主張の核心は、人工知能が自らの改良に参加し始めた瞬間から、人類は未曾有の加速度で変化する世界に投げ込まれるということである。
認識論的謙虚さから始まる真の理解
著者たちが1925年の思考実験から始めるのは偶然ではない。1925年の人々が、わずか10年後の世界を想像しようとしても、原子爆弾、トランジスタ、DNAの二重螺旋構造、ゲーム理論、実存主義といった概念は、彼らの認識の地平線を完全に超えていた。同様に、現在の我々が10年後の世界を想像しようとする時、我々の概念的枠組み自体が不十分である可能性を著者たちは示唆している。
この認識論的限界の自覚こそが、著者たちの議論の出発点である。量子重力、現象的意識、決定理論、無限倫理といった未解決の問題は、知能爆発によって根本的に新しい理解がもたらされる可能性がある。これらの概念的突破は、我々が現在リストアップしている課題の理解さえも覆すかもしれない。
指数関数的成長の真の意味
現在のAI能力の成長率は、人間の直感的理解を完全に超えている。訓練計算量の年間4.5倍、アルゴリズム効率の年間3倍という数字は、単なる統計ではない。これは、GPT-2からGPT-4への100万倍の実効訓練計算量の増加が、わずか4年で起きたことを意味する。
著者たちの保守的シナリオでさえ、AI研究努力は人間と同等になった後の10年間で1000万倍（年間5倍）増加すると推定される。これは、最初の年に人類全体の研究者に匹敵するAI研究者が誕生したとすると、10年後には人類の1000万倍の研究力が存在することを意味する。この規模の変化は、量的な差異を超えて質的な変革をもたらす。
ソフトウェアフィードバックループの臨界点
ソフトウェアフィードバックループの概念は、単なる技術的可能性ではなく、人類史における根本的な断絶を示している。AIがAIアルゴリズムの改善に実質的に貢献し始める瞬間、進化は生物学的時間スケールから解放される。
現在の大規模言語モデルが人間より10万倍学習効率が低いという事実は、改善の余地の巨大さを示している。人間の脳は、進化によって与えられた制約の中で動作しているが、AIにはそのような制約がない。重み共有のような、生物学的脳には実装不可能なアルゴリズムを使用でき、コンピュータツールと直接インターフェースできる。
著者たちが示唆する100万倍の改善は、単なる性能向上ではない。これは、人間の認知能力の限界を完全に超越した知性の誕生を意味する。そのような知性が生み出す洞察や解決策は、現在の我々には理解さえ困難かもしれない。
産業爆発における物質と情報の融合
技術爆発から産業爆発への移行は、デジタルと物理の境界の消失を意味する。著者たちが描く自己複製する産業基盤は、生物学的な成長率に匹敵する可能性がある。工場が工場を作り、ロボットがロボットを製造する世界では、経済成長の概念自体が再定義される。
現在の太陽光パネルの価格が1976年以来200倍以上下落し、設置容量が10万倍以上増加したという事実は、技術の累積的生産による学習効果の力を示している。汎用ロボットがこの軌跡をたどれば、数年で億単位の生産が可能になる。
さらに重要なのは、この産業爆発が知能爆発にフィードバックすることである。大規模な電力とチップ生産の拡大は、AI用の訓練と推論計算のさらなる倍増を可能にする。この相互強化のサイクルは、変化の速度をさらに加速させる。
グランドチャレンジの相互作用と創発的複雑性
著者たちが列挙するグランドチャレンジは、独立した問題ではなく、複雑に相互作用するシステムである。AIによる乗っ取りのリスクは、デジタルマインドの権利問題と密接に関連している。AIに権利を与えることは、段階的な権力移譲を促進する可能性があるが、同時に、適切な条件下でのAIの協力的行動を促す可能性もある。
破壊的技術の開発は、権力集中メカニズムと組み合わさることで、さらに危険になる。原子レベルで精密な製造技術を独占する単一のアクターは、事実上無制限の軍事的優位性を獲得する可能性がある。昆虫サイズのドローン群は、嘘発見器と監視技術と組み合わされることで、完璧な全体主義的統制を可能にする。
価値のロックインは、これらすべての課題に影響を与える。AIの価値観が永続的にプログラムされ、コミットメント技術により撤回不可能な約束が可能になる世界では、初期の決定が永遠に固定される可能性がある。これは、グローバルガバナンスの設計において特に重要である。
宇宙規模での先行者利益の永続化
宇宙ガバナンスの問題は、地球規模の課題を宇宙規模に拡大する。著者たちが指摘するように、100億の到達可能な銀河それぞれに1000億の恒星が存在する。最初の恒星間ミッションは、わずか10グラム程度の「文明の種」を運ぶだけで十分かもしれない。DNAレベルの情報密度では、2グラムの記憶媒体に100万人の人間の脳のシナプスマップ、1万種の動植物のゲノムを格納できる。
恒星系が防御優位であるという著者たちの観察は重要である。最初に到達した者が、その恒星系の支配を無期限に固定化できる可能性がある。これは、人類史上最大の土地獲得競争を引き起こす可能性があり、その結果は文字通り永遠に続く。
認識論的混乱から認識論的革命へ
著者たちは認識論的混乱を脅威として描くが、同時に機会としても提示している。超説得力を持つAIは虚偽を広める可能性があるが、同時に人類の集合的認識能力を劇的に向上させる可能性もある。
AIによる事実確認と議論チェックは、単なる情報の検証を超えて、人間の推論能力の根本的な拡張となりうる。GPT-4との短い対話が陰謀論への信頼を20％減少させ、その効果が数ヶ月持続したという実験結果は、AIが人間の認識論的限界を克服する助けとなる可能性を示している。
自動予測と増強された知恵により、人間は自身の認知バイアスを認識し、克服できるようになるかもしれない。これは、他のすべてのグランドチャレンジへの対処能力を向上させる、メタレベルの改善である。
豊かさのパラドックスと実存的選択
著者たちが描く根本的な共有豊かさは、単なる物質的豊かさではない。1人あたり数千のAIとロボットアシスタントという世界は、人間の存在意義そのものを問い直す。労働から解放された人類は、新たな意味と目的を見出す必要がある。
所得の上昇が安全への投資を増やし、戦争の可能性を減らすという経験的観察は重要である。リスク回避的な人間の本性は、豊かさが増すにつれて、破滅的損失を避けることにより高いプレミアムを置くようになる。これは、知能爆発の初期段階で豊かさを実現することの重要性を示唆している。
無知のベールと時間的非対称性
著者たちの「無知のベール」の概念は、ロールズの正義論を時間軸に適用したものである。現在、我々は誰が超知能後の世界で権力を持つか知らない。この無知の状態でのみ、公正な権力分配の合意が可能である。
米国と中国が「レースに勝った」場合でも相手の主権を尊重し、利益を共有するという拘束力のある合意は、確実な20％の支配が20％の確率での100％支配より価値があるという計算に基づく。しかし、この計算が成立するのは、結果が不確実な今だけである。
準備の階層構造と時間的優先順位
著者たちは準備を階層的に構造化している。最も緊急なのは、超知能が助けられるようになる前に発生する課題への対処である。次に、早期に閉じる機会の窓を活用すること。そして、有用な超知能をより早く、より広く利用可能にすることである。
この階層は、単なる優先順位リストではない。これは、時間的制約と因果的依存関係を考慮した戦略的フレームワークである。例えば、政治的意思決定者の任期は年単位であり、CEOの在任期間も同様である。これらの人事的時間スケールは、技術的時間スケールとは独立して動く。
日本という実験場の可能性
日本の文脈で考えると、著者たちの議論はさらに具体的な形を取る。超高齢社会である日本は、AIとロボティクスによる労働力代替の最前線にいる。これは単なる経済的必要性ではなく、人類全体の未来を先取りする社会実験である。
日本の製造業の伝統と精密技術は、原子レベルで精密な製造技術の開発において重要な役割を果たす可能性がある。同時に、この技術力は、破壊的技術の開発にもつながりうる。日本がどのような選択をするかは、グローバルな技術開発の方向性に影響を与える。
さらに、日本文化における人工物への精神性の付与（付喪神の概念など）は、デジタルマインドの権利問題に独自の視点を提供する可能性がある。西洋的な意識論とは異なるアプローチが、この問題の解決に貢献するかもしれない。
結論：加速する未来への航海術
著者たちの最終的なメッセージは、単なる警告ではなく、行動への呼びかけである。知能爆発は避けられない可能性が高い。問題は、それが起こるかどうかではなく、我々がどのように準備するかである。
現在のAI研究努力の成長率が毎年20倍以上という事実は、指数関数的変化がすでに始まっていることを示している。この変化の速度に人間の直感が追いつかないことこそが、最大の危険である。1925年の人々がキューバ危機を31時間で解決することを想像できなかったように、我々も10年後の意思決定の速度を想像できない。
しかし、著者たちは希望も提示している。適切な準備により、知能爆発は人類を圧倒するのではなく、人類に力を与えることができる。そのためには、認識論的謙虚さ、制度的柔軟性、そして何より、来るべき変化の規模を真に理解する勇気が必要である。
未来は予想より速く近づいている。しかし、それは我々が無力であることを意味しない。むしろ、今この瞬間の選択が、人類の運命を決定的に左右することを意味している。著者たちの論文は、その選択を賢明に行うための、現時点で最も包括的な航海図である。