スーパーインテリジェンス
道筋、危険性、戦略

強調オフ

AI（倫理・アライメント・リスク）トランスヒューマニズム、人間強化、BMIニック・ボストロム / FHIロビン・ハンソン

サイトのご利用には利用規約への同意が必要です

Superintelligence: Paths, Dangers, Strategies

ニック・ボスロム(NICK BOSTROM)

人類未来研究所所長

オックスフォード大学哲学部・オックスフォード・マーティンスクール教授

オックスフォード大学

スズメの未完成の寓話

巣作りの季節。何日もかけて苦労して作ったスズメたちは、夕焼けの中でくつろぎながら、さえずり続けていた。

「私たちは皆、とても小さくて弱い存在である。もし、巣作りを手伝ってくれるフクロウがいたら、どんなに暮らしやすいか、想像してみてほしい！」

「そうだ！」と別の人が言った。「そして、お年寄りや若者の世話をしてくれる」

「アドバイスをしてくれたり、近所の猫を見張ることもできる」と、3人目が付け加えた。

そして、長老鳥のパスタスが言った： 「四方八方に偵察機を出して、どこかに捨てられたフクロウの卵を探そう。カラスのヒナでもいいし、イタチの赤ちゃんでもいい。これは、少なくとも裏庭にある無限の穀物館がオープンして以来、私たちに起こった最高の出来事かもしれない」

群れは興奮し、あちこちでスズメが大声でさえずり始めた。

しかし、片目のスズメで気性が荒いスクーンフィンクルだけは、この試みには納得がいかなかった。彼は言った： 「このままでは必ず破滅する。このような生き物を連れてくる前に、まずフクロウの家畜化やフクロウの飼い方を考えるべきじゃないのか？

パスタスはそう言った： 「フクロウを飼いならすというのは、非常に難しいことのように思われる。フクロウの卵を見つけるだけでも大変なことである。だから、まずはそこから始めよう。フクロウを育てることに成功したら、もう1つのチャレンジを考えよう」

「しかし、その抗議もむなしく、群れはすでにパストゥスの指示を実行するために飛び立っていた」

しかし、その抗議もむなしく、群れはすでにパストゥスの指示を実行に移し始めていた。彼らは一緒に、フクロウをどのように飼いならすか、家畜化するかについて考え始めた。パストゥスの言う通り、これは非常に難しい課題であることがすぐにわかった。特に、実際にフクロウを使った実験ができない状況ではなおさらだ。しかし、制御の問題が解決される前に、群れがフクロウの卵を持って帰ってくるかもしれないという恐怖を常に抱きながら、できる限りの努力を続けた。

この物語の結末は定かではないが、著者は本書をスクロンフィンクルとその弟子たちに捧げる。

前略

あなたの頭蓋の中には、読書をするモノがある。このもの、つまり人間の脳には、他の動物の脳にはない能力がある。私たちがこの地球上で圧倒的な地位を占めているのは、このような特殊な能力のおかげなのである。他の動物はより強い筋肉と鋭い爪を持っているが、私たちはより賢い頭脳を持っている。一般的な知性において、私たちのささやかな優位性は、言語、技術、複雑な社会組織を発展させることにつながった。この優位性は、世代を重ねるごとに、前任者の功績の上に築かれてきたもので、時とともに増してきた。

いつの日か、一般的な知能で人間の頭脳を上回る機械の頭脳が作られるようになれば、この新しい超知能は非常に強力なものになるかもしれない。そして、ゴリラの運命がゴリラ自身よりも私たち人間に依存しているように、私たちの種の運命も機械の超知能の行動にかかっている。

しかし、私たちには1つの利点がある。原理的には、人間の価値を守るような超知能を作ることができる。そうしなければならない強い理由がある。しかし、実際には、制御の問題、つまり、超知能が行うことをどのように制御するかという問題は、かなり難しそうだ。また、チャンスは一度しかなさそうだ。非友好的な超知性が存在すると、私たちはその超知性に取って代わったり、その好みを変えたりすることができなくなる。私たちの運命は決まっているのだ。

本書では、超知能の出現がもたらす課題を理解し、私たちがどのように対応するのが最善なのかを考えている。これはおそらく、人類がこれまでに直面したことのない最も重要で最も困難な挑戦である。そして、成功しようが失敗しようが、おそらく私たちが直面する最後の挑戦となるだろう。

本書では、人工知能の飛躍的な進歩の入り口に立っているとか、そのような発展がいつ起こるかを正確に予測できるなどということは論外である。今世紀中に実現する可能性が高いとは思うが、確実なことはわからない。最初の2,3章は、可能性のある経路を論じ、時期の問題について述べている。しかし、この本の大部分は、その後に起こることについてのものである。本書では、知能爆発の動力学、超知能の形態と力、決定的な優位性を獲得した超知能エージェントが取り得る戦略的選択肢を研究する。そして、制御問題に焦点を移し、生存可能で有益な結果を達成するために、初期条件を形成するために何ができるかを問う。本書の最後には、私たちの調査から浮かび上がった全体像に焦点を当て、考察を加える。そして、後に起こる大災害を回避する可能性を高めるために、今何をすべきかを提案する。

この本を書くのは簡単なことではなかった。私は、この道が、他の研究者がより迅速かつ便利に新しいフロンティアに到達することを可能にし、彼らが新鮮な気持ちで、私たちの理解の範囲をさらに拡大する作業に参加できるようになることを願っている。(そして、もし作られた道が少々でこぼこで曲がりくねっていたとしても、結果を判断する際に、査読者が事前の地形の敵対性を過小評価しないことを望む！)

この本を書くのは簡単なことではなかった： 読みやすい本にしようと努力したが、なかなかうまくいかなかったようだ。書きながら、読者として念頭に置いたのは、自分自身の以前の時間軸であり、自分が読んで楽しいと思えるような本を作ろうとした。そのため、読者層は狭いかもしれない。しかし、この本の内容は、読者が少し考えて、新しいアイデアをすぐに自分の文化的な食料庫にある最も似た響きの決まり文句と同化して誤解してしまうという誘惑に抵抗すれば、多くの人に受け入れられるはずだ。非専門的な読者は、時折出てくる数学や専門的な語彙にがっかりする必要はなく、周囲の説明から要点を読み取ることは常に可能だからだ。(逆に、もっと細かいことを知りたい読者には、巻末の注釈にかなり多くのことが書かれている1)。

また、私が考慮していない重要な考慮事項があり、それによって私の結論の一部または全部が無効になっている可能性もある。私は、本文中のニュアンスや不確実性の程度を示すために、「possibly」、「might」、「may」、「could well」、「it seems」、「probably」、「very likely」、「almost sure」などの見苦しく汚れた修飾語をつけている。それぞれの修飾語は、注意深く、意図的に配置されている。しかし、このような局所的なエピステミック・モデスティーの適用だけでは不十分で、不確実性と誤謬性を体系的に認めることで補わなければならない。私の著書が重大な誤りや誤解を招く可能性があることは承知しているが、文献で紹介されている代替的な見解はもっと悪いものだと思う。

謝辞

執筆のプロセスを包む膜は、かなり浸透しやすいものであった。もちろん、執筆中に外部からもたらされた数多くの洞察も本文に取り込まれている。もちろん、本書の執筆中に外部からもたらされた数多くの洞察が本文に組み込まれている。私は、引用の仕組みにある程度注意を払うよう努めたが、影響を受けたものはあまりにも多く、完全に記録することはできない。

私の考えを明確にしてくれた広範な議論については、Ross Andersen, Stuart Armstrong, Owen Cotton-Barratt, Nick Beckstead, David Chalmers, Paul Christiano, Milan Ćirković, Daniel Dennett, David Deutsch, Daniel Dewey, Eric Drexler, Peter Eckersley, Amnon Eden, Owain Evans, Benja Fallenstein, Alex Flint, Carl Frey, Ian Goldin, Katja Grace, J. Storrs Hall, Robin Hans, J. Str. Storrs Hall, Robin Hanson, Demis Hassabis, James Hughes, Marcus Hutter, Garry Kasparov, Marcin Kulczycki, Shane Legg, Moshe Looks, Willam MacAskill, Eric Mandelbaum, James Martin, Lillian Martin, Roko Mijic, Vincent Mueller, イーロン・マスク, Seán ÓhÉigeartaigh, Toby Ord, Dennis Pamlin, Derek Parfit, David Pearce、Huw Price, Martin Rees, Bill Roscoe, Stuart Russell, Anna Salamon, Lou Salkind, Anders Sandberg, Julian Savulescu, Jürgen Schmidhuber, Nicholas Shackel, Murray Shanahan, Noel Sharkey, Carl Shulman, Peter Singer, Dan Stoicescu, Jaan Tallinn, Alexander Tamas, Max Tegmark, Roman Yampolskiy そして、Elierzer Yudkowsky.

特に詳細なコメントについては、Milan Ćirković, Daniel Dewey, Owain Evans, Nick Hay, Keith Mansfield, Luke Muehlhauser, Toby Ord, Jess Riedel, Anders Sandberg, Murray Shanahan, および Carl Shulmanに感謝している。さまざまな部分でアドバイスや研究の手助けをしてくれたStuart Armstrong、Daniel Dewey、Eric Drexler、Alexandre Erler、Rebecca Roache、Anders Sandbergに感謝したい。

原稿作成にあたり、Caleb Bell、Malo Bourgon、Robin Brandt、Lance Bush、Cathy Douglass、Alexandre Erler、Kristian Rönn、Susan Rogers、Andrew Snyder-Beattie、Cecilia Tilli、Alex Vermeerに感謝の意を表したいと思う。特に、編集者のKeith Mansfieldには、このプロジェクトの間、多くの励ましをもらった。

また、ここに記すべきであった他のすべての方々にお詫び述べる。

最後に、資金提供者、友人、家族に心から感謝したい。あなたの支援なしには、この仕事はできなかっただろう。

目次

  • 図、表、箱のリスト
  • 1. 過去の発展と現在の能力
    • 成長モードと大きな歴史
    • 大きな期待
    • 希望と絶望の季節
    • 技術の現状
    • 機械知能の将来に対する意見
  • 2. 超知能への道
    • 人工知能
    • 全脳エミュレーション
    • 生物学的認知
    • 脳とコンピュータのインターフェース
    • ネットワークと組織
    • 概要
  • 3. 超知能の形態
    • 速度型超知能(Speed Superintelligence)
    • 集合的超知能(Collective Superintelligence)
    • 品質スーパーインテリジェンス
    • 直接的・間接的なリーチ
    • デジタルインテリジェンスの優位性の源泉
  • 4. インテリジェンス爆発の動力学
    • 離陸のタイミングと速度
    • リカルシトランス
    • 非機械的なインテリジェンスの道
    • エミュレーションとAIの道
    • 最適化パワーと爆発力
  • 5. 決定的な戦略的優位性
    • フロントランナーは決定的な戦略的優位性を得ることができるのか？
    • 成功したプロジェクトはどの程度の規模になるのか？
    • モニタリング
    • 国際的な協力関係
    • 決定的な戦略的優位性からシングル化へ
  • 6. 認知的スーパーパワー
    • 機能性とスーパーパワー
    • AIによる買収のシナリオ
    • 自然やエージェントを超える力
  • 7. 超知性的な意志
    • 知能とモチベーションの関係
    • 道具的収束
    • 自己保存
    • 目標-内容の完全性
    • 認知の強化
    • 技術的完成度
    • 資源獲得
  • 8. デフォルトの結果は破滅か？
    • 知能爆発のデフォルトの結果としての実存的破局？
    • 裏切り者のターン
    • 悪質な失敗モード
    • 倒錯したインスタンス化
    • インフラストラクチャーの氾濫
    • マインド・クライム
  • 9. コントロール問題
    • 2つのエージェンシー問題
    • ケイパビリティ・コントロールの方法
    • ボクシング方式
    • インセンティヴ法
    • スタント法
    • トリップワイヤ
    • 動機づけ選択法
    • 直接指定
    • 家庭性
    • 間接的な規範性
    • オーグメンテーション
    • シノプシス
  • 10. 神託、精霊、主権者、道具
    • 神託
    • 精霊と君主
    • 道具-AI
    • 比較
  • 11. 多極化シナリオ
    • 馬と人の関係
    • 賃金と失業
    • 資本と福祉
    • マルサス原理を歴史的に見る
    • 人口増加と投資
    • アルゴリズム経済における生活
    • 自発的な奴隷、カジュアルな死
    • 最大効率的な仕事は楽しいか？
    • 無意識のアウトソーサー？
    • 進化は必ずしも上ではない
    • シングルトンの遷移後の形成？
    • 第二の遷移
    • 超組織体とスケールエコノミー
    • 条約による統一
  • 12. 価値の獲得
    • 価値負荷の問題
    • 進化的選択
    • 強化学習
    • 連想的価値付加
    • 動機づけの足場
    • 価値学習
    • エミュレーション・モジュレーション
    • インスティテューション・デザイン
    • シノプシス
  • 13. 選択するための基準の選択
    • 間接的な規範性の必要性
    • 首尾一貫した外挿型の意思表示
    • いくつかの説明
    • CEVの合理性
    • さらなる指摘
    • モラル・モデル
    • 私の意図することを実行する
    • 構成要素リスト
    • 目標内容
    • 意思決定理論
    • エピステモロジー
    • 批准
    • 十分に近づくこと
  • 14. 戦略像
    • 科学技術戦略
    • 技術開発の差別化
    • 到着の優先順位
    • 変化の速度と認知の強化
    • 技術カップリング
    • セカンド・ゲーシング
    • パスウェイとイネイブラー
    • ハードウェアの進歩がもたらす効果
    • 全脳エミュレーション研究は推進されるべきか？
    • 本人効果的な視点はスピードに有利
    • コラボレーション
    • 競争の力学とその危険性
    • 共同研究の利点について
    • 一緒に働くということ
  • 15. クランチタイム
    • 期限付きの哲学
    • 何をすべきなのか？
    • 戦略的な光を求めて
    • 優れた能力の構築
    • 具体的な施策
    • 人間の本質を見極め、立ち上がる
  • 備考
  • 書誌情報
  • 索引

図・表・箱のリスト

図リスト
  • 1. 世界のGDPの長期的な推移。
  • 2. HLMIの長期的なインパクトの全体像。
  • 3. スーパーコンピューターの性能。
  • 4. 電子顕微鏡画像から3次元神経解剖学を再構築する。
  • 5. 全脳エミュレーションロードマップ
  • 6. スペルチェックされたゲノムのメタファーとしての合成顔。
  • 7. 離陸の形
  • 8. 擬人化されないスケール？
  • 9. 知能爆発の一つのシンプルなモデル。
  • 10. AIによる乗っ取りシナリオのフェーズ。
  • 11. 仮想的なワイズシングルトンの可能な軌道の模式図。
  • 12. エイリアンのモチベーションを擬人化した結果
  • 13. 人工知能が先か、全脳エミュレーションが先か？
  • 14. AI技術競争におけるリスクレベル。
表の一覧
  • 1. ゲームプレイ型AI
  • 2. 人間レベルの機械知能はいつ達成されるのか？
  • 3. 人間レベルから超知能までどのくらいかかるだろうか？
  • 4. 全脳エミュレーションに必要な能力
  • 5. 胚の選択によるIQの最大獲得量
  • 6. 異なるシナリオにおける遺伝子選択による影響の可能性
  • 7. 戦略的に重要な技術競争
  • 8. 超大国：戦略的に関連するいくつかのタスクとそれに対応するスキルセット
  • 9. 様々な種類のトリップワイヤ
  • 10. コントロール方法
  • 11. システムキャストの違いによる特徴
  • 12. バリューローディングの手法のまとめ
  • 13. 構成要素リスト
ボックスのリスト
  • 1. 最適なベイズ型エージェント
  • 2. 2010年のフラッシュクラッシュ
  • 3. 進化を再現するためには何が必要か？
  • 4. 知性爆発の動力学について
  • 5. 技術競争：いくつかの歴史的な例
  • 6. メールオーダー型DNAシナリオ
  • 7. 宇宙からの贈り物はどのくらい大きいか？
  • 8. 人間的捕獲
  • 9. ブラインドサーチによる奇妙な解
  • 10. 価値学習の形式化
  • 11. 友好的でありたいAI
  • 12. 最近の2つの（中途半端な）アイデア
  • 13. 底辺へのリスクレース

第1章 過去の経緯と現在の能力

私たちはまず、過去を振り返ることから始める。歴史は、最も大きなスケールで見ると、それぞれが前のものよりもはるかに急速な、明確な成長モードの連続を示すように思われる。このようなパターンは、別の（さらに速い）成長モードが可能であることを示唆していると考えられてきた。本書は、「技術加速」や「指数関数的成長」、あるいは「シンギュラリティ」と呼ばれる雑多な概念について書かれた本ではない。次に、人工知能の歴史を振り返る。次に、人工知能の歴史を振り返り、人工知能の現在の能力を調査する。最後に、最近の専門家の意見調査を見て、将来の進歩のタイムラインについて、私たちの無知を思い知る。

成長様式と大きな歴史

ほんの数百万年前、私たちの祖先はまだアフリカの樹冠の中で枝を揺らしていた。地質学的、あるいは進化論的なタイムスケールでは、ホモ・サピエンスが類人猿との最後の共通祖先から誕生したのは、あっという間だった。直立姿勢や親指の可動域を広げ、さらに、脳の大きさや神経組織の比較的小さな変化が、認知能力の飛躍的な向上につながった。その結果、人類は、抽象的な思考、複雑な思考の伝達、世代を超えた文化的な情報の蓄積など、地球上のどの種よりもはるかに優れた能力を持つようになった。

このような能力により、人類はますます効率的な生産技術を開発し、私たちの祖先が熱帯雨林やサバンナから遠く離れた場所に移住することを可能にした。特に農耕が始まってからは、人口密度が高まり、人類の総人口も増加した。人が増えればアイデアも増え、人口密度が高まればアイデアが広がりやすくなり、専門的な技術を身につけることに専念できる人も出てくる。こうして、経済生産性と技術力の成長速度が高まった。その後、産業革命の進展により、成長率に2段階目の変化が生じた。

このような成長率の変化は、重要な結果をもたらす。数十万年前の人類（またはヒト科）先史時代には、成長は非常に緩やかで、自給自足の生活を送る100万人の人間をさらに維持するために、人類の生産能力が十分に向上するには100万年のオーダーが必要であった。しかし、農業革命が起こった紀元前5000年頃には、その成長速度が上がり、同じ成長量を2世紀で達成できるようになった。産業革命後の現在、世界経済は平均して90分間にこれだけの成長を遂げている1。

現在の成長率でも、それなりに長い期間維持されれば、素晴らしい結果を生むだろう。仮に、この50年間と同じペースで世界経済が成長し続ければ、2050年には現在の約4.8倍、2100年には約34倍もの豊かな世界が実現することになる2。

しかし、このまま指数関数的な成長を続けても、農業革命や産業革命に匹敵する成長率の変化を再び経験した場合に何が起こるかはわからない。経済学者のロビン・ハンソン氏は、歴史的な経済・人口データに基づき、世界経済の特徴的な倍増期間を、更新世の狩猟採集社会では22万4000年、農耕社会では909年、工業社会では6.3年としている3（ハンソン氏のモデルでは、現在の時代は、農業成長と工業成長の混合型で、世界経済全体としては、まだ倍増速度6.3年の成長はない）。もし、もう1度別の成長様式への移行が起こり、それが過去2回と同程度の規模であれば、世界経済が約2週間ごとに倍増する新しい成長体制になる。

このような成長率は、現在の常識では考えられないことである。その昔、世界経済が一生のうちに何度も倍増する日が来るなんて、とんでもない話だと思ったかもしれない。しかし、それこそが、今、私たちが普通に受け止めている異常な状態なのである。

技術的特異点の到来という考え方は、ヴァーナー・ヴィンジの代表的なエッセイに始まり、レイ・カーツワイルなどの著作によって、今や広く一般に浸透している4。しかし、「シンギュラリティ」という用語は、多くの異なる意味で混同して使われ、テクノ・ユートピア的な意味合いの不浄な（しかしほとんど千年王国的な）オーラを帯びている5。こうした意味や含意のほとんどは私たちの議論とは無関係なので、「シンギュラリティ」という言葉を捨て、より正確な用語の方を優先することで明確にすることができる。

シンギュラリティに関連する考え方として、私たちが関心を抱いているのは、知能の爆発、特に機械の超知能化の可能性である。図1のような成長図を見て、農業革命や産業革命に匹敵するような成長モードの劇的な変化が起こるのだと説得される人がいるかもしれない。そのような人たちは、世界経済の倍増期間がわずか数週間に短縮されるシナリオの中で、生物学的な種類よりもはるかに速く、より効率的な知性の創造を伴わないシナリオは考えにくいと考えるかもしれない。しかし、機械による知能革命の到来を真剣に考えるべき根拠は、カーブフィッティングや過去の経済成長からの推定に頼る必要はない。後述するように、耳を傾けるべきより強力な理由があるのだ。

図1 世界のGDPの長期的な推移

世界経済の歴史は、X軸に沿った平坦な線のように見えるが、突然、垂直方向に急上昇している。(a) 直近1万年を拡大しても、90°の角度が1つだけというパターンが基本である。(b)過去100年ほどの間だけ、曲線がゼロから浮き上がっていることがわかる。(プロット内の異なる線は、異なるデータセットに対応し、わずかに異なる推定値が得られる6)。

大きな期待

1940年代にコンピュータが発明されて以来、一般的な知能で人間に匹敵する機械、すなわち、常識や、自然界や抽象界の幅広い領域で複雑な情報処理に対応するための学習、推論、計画の有効な能力を持つ機械が期待されてきた。当時、このような機械の出現は、しばしば20年ほど先の未来とされていた7。それ以来、予想される到着日は1年に1年の割合で後退しており、人工知能の可能性に関心を持つ未来学者たちは、今日でも知的機械の出現は数十年先だと考えていることが多い8。

20年というのは、急変の予言者にとってはスイートスポットである。注目を集め、関連性を持たせるのに十分な距離でありながら、現在はぼんやりとしか想像できない一連のブレークスルーが、その頃には起こっているかもしれないと思わせるに十分な距離である。5年後、10年後に世界に大きな影響を与える技術の多くはすでに限定的に使用されており、15年以内に世界を変えるような技術はおそらく実験室のプロトタイプとして存在している。また、20年というのは、予測者のキャリアの残り期間にも近く、大胆な予測による風評リスクを抑制することができるかもしれない。

しかし、過去に人工知能を過剰に予測した人物がいたことから、人工知能が不可能である、あるいは開発されないということにはならない9。しかし、その困難がどれほどのものなのか、それを克服するにはどれほどの距離があるのかは、未解決のままである。当初は絶望的に複雑に見えた問題が、意外なほどシンプルな解決策を持つこともある（逆の方が多いかもしれないが）。

次章では、人間レベルの機械知能につながる可能性のあるさまざまな道筋について見ていく。しかし、ここで最初に断っておきたいのは、ここから人間レベルの機械知能に至るまでにいくら寄り道があったとしても、後者は最終目的地ではないということだ。次の停車駅は、線路に沿ってほんの少し離れたところにある、超人レベルの機械知能である。列車はヒューマンビル駅で一時停止も減速もしないかもしれない。すーっと通り過ぎてしまうかもしれない。

第二次世界大戦中、アラン・チューリングの暗号解読チームで統計主任を務めた数学者I・J・グッドは、このシナリオの本質的な部分を初めて明らかにした人物かもしれない。1965年のよく引用される一節で、彼はこう書いている：

超知能機械とは、どんなに賢い人間の知的活動のすべてをはるかに凌駕することができる機械と定義しよう。機械の設計も知的活動の一つであるから、超知能機械はさらに優れた機械を設計することができ、そのとき、間違いなく「知能の爆発」が起こり、人間の知能ははるかに取り残されるであろう。したがって、最初の超知的機械は、人間が作る必要のある最後の発明であり、機械が十分に従順で、それを制御する方法を教えてくれるならば、である10。

このような知能の爆発には、実存に関わる大きなリスクが伴うため、たとえそれが実現する確率が中程度にしかないことが分かっていたとしても（実際はそうではない）、その見通しを最も深刻に検討する必要があることは、今や明らかだと思われるかもしれない。しかし、人工知能の先駆者たちは、人間レベルのAIの出現が近いと信じていたにもかかわらず、人間以上のAIの可能性については、ほとんど考えていなかった。それは、機械が人間の知能に達するというラディカルな可能性を考えるあまり、その後に機械が超知能になるという逆算を、彼らの思索筋が把握しきれなかったからであろう。

AIのパイオニアたちは、自分たちの事業がリスクを伴うかもしれないという可能性をほとんど考慮に入れていなかった。11 彼らは、人工の心や潜在的なコンピューターの支配者の創造に関連する安全上の懸念や倫理的な問題に対して、真剣に考えることはおろかリップサービスもしなかった。この欠如は、当時の技術評価基準があまり芳しくないことを考慮しても驚くほどだ12。私たちは、この計画が実現可能になる頃には、知能爆発を引き起こすための技術的熟練度だけでなく、爆発を生存可能なものにするために必要な、より高度な熟練度も獲得していることを望まなければならない。

しかし、その前に、これまでの機械知能の歴史をざっと振り返っておくとよいだろう。

希望と絶望の季節

1956年の夏、ダートマス大学では、ニューラルネット、オートマトン理論、知能研究に関心を持つ10人の科学者が集まり、6週間のワークショップを開催した。このダートマス大学のサマープロジェクトは、研究分野としての人工知能の嚆矢（こうし）と見なされることが多い。参加者の多くは、後に創設者として認められることになる。参加者たちの楽観的な見通しは、このイベントの資金を提供したロックフェラー財団に提出された提案書にも反映されている：

人工知能の研究を2カ月間、10人で行うことを提案する……。この研究は、学習や知能のあらゆる側面は、原理的に非常に正確に記述することができ、それをシミュレートする機械を作ることができる、という推測に基づいて進められるものである。言語を使い、抽象や概念を形成し、人間にしかできないような問題を解決し、自分自身を向上させる機械を作る方法を見つける試みがなされる予定である。私たちは、厳選された科学者たちがひと夏の間、一緒にその問題に取り組めば、1つまたは複数の問題で大きな進歩が得られると考えている。

このような大胆な始まりから60年、人工知能の分野は、誇大広告と大きな期待の時期、そして挫折と失望の時期を交互に経験していた。

ダートマス会議から始まった最初の興奮期は、この会議の主幹であったジョン・マッカーシーによって「見ろ、マー、手がない！」の時代と言われた。この時代、研究者たちは、「No machine could ever do X!」という主張を否定するためのシステムを構築した。当時は、このような懐疑的な主張が一般的だった。それに対抗するために、AI研究者たちは「マイクロワールド」（性能の縮小版を実証することができる、明確に定義された限定された領域）でXを達成する小さなシステムを作り、概念実証を行い、Xが原理的に機械でできることを示したのである。このような初期のシステムの一つである論理理論家は、ホワイトヘッドとラッセルの『プリンキピア・マテマティカ』の第2章にある定理のほとんどを証明することができ、さらにオリジナルよりもはるかにエレガントな証明も思いついた。これにより、機械は「数値的にしか考えられない」という考えを覆し、機械も演繹や論理証明の考案ができることを示した13。続いて開発された「一般問題解決プログラム」は、原理的には形式的に指定されたさまざまな問題を解くことができる。14 大学1年生で習う微積分の問題、IQテストに見られるような視覚的類推問題、簡単な口頭代数問題などを解くプログラムも作成された15。70年代半ばには、SHRDLUというプログラムが、幾何学的なブロックの模擬世界にいる模擬ロボットアームが、ユーザーが入力した英語の指示に従ったり、質問に答えたりできることを示した18。その後数十年の間に、機械がさまざまなクラシック作曲家のスタイルで作曲できること、特定の臨床診断タスクで若手医師を凌駕すること、自動車を自律的に運転すること、特許可能な発明をすることを示すシステムが作られるようになる19。というような、ユーモアのあるものではないが、子供たちはそのダジャレを一貫して楽しんでいたと言われている)。

初期の実証システムで成功を収めた手法は、より多様な問題やより難しい問題事例に拡張することが困難であることがしばしば判明した。その理由のひとつは、網羅的な探索に頼った手法では、可能性が「組み合わせの爆発」のように広がってしまうからだ。このような方法は、単純な問題の場合はうまくいくが、少し複雑になると失敗する。例えば、1つの推論ルールと5つの公理を持つ演繹システムで5行の長さの定理を証明する場合、3,125通りの組み合わせを列挙し、それぞれが意図した結論をもたらすかどうかをチェックすればよい。6行や7行の証明でも、網羅的な探索は可能である。しかし、課題が難しくなるにつれて、網羅的な探索の方法はすぐに問題になる。50行の証明は、5行の証明の10倍も時間がかかるわけではなく、網羅的探索を行うと、550≒8.9×1034個の可能な配列を調べなければならず、これは最速のスーパーコンピュータでも計算不可能なことである。

組合せ爆発を克服するためには、対象領域の構造を利用し、ヒューリスティック探索、プランニング、柔軟な抽象表現を用いて事前知識を活用するアルゴリズムが必要だが、これらは初期のAIシステムでは十分に開発されなかった能力である。また、不確実性を処理する方法が乏しく、脆くて根拠のない記号表現への依存、データの不足、メモリ容量やプロセッサ速度などのハードウェアの厳しい制限から、初期のシステムの性能は低下していた。1970年代半ばになると、これらの問題に対する認識が高まってきた。多くのAIプロジェクトが当初の約束を果たせないことがわかり、最初の「AIの冬」が到来したのだ。この時期、資金が減少し、懐疑的な意見が増え、AIは流行らなくなった。

このプロジェクトは、人工知能のプラットフォームとなる超並列計算機アーキテクチャを開発することで、最先端技術を飛躍的に発展させることを目的としていた。戦後日本の「経済の奇跡」に魅了され、欧米の政府・企業経営者が日本の経済的成功の方程式を解明し、その魔法を自国でも再現しようと躍起になった時期である。日本がAIに大きな投資をすることを決めたとき、他のいくつかの国もそれに続いた。

その後、エキスパート・システムが急速に普及した。エキスパートシステムは、意思決定者の支援ツールとして設計され、人間の専門家から聞き出した事実の知識ベースから簡単な推論を行うルールベースのプログラムであり、正式な言語で丹念に手書きされたものであった。このようなエキスパート・システムは何百と作られた。しかし、小型のシステムはほとんど役に立たず、大型のものは開発、検証、更新に費用がかかり、一般に使いにくいことが判明した。一つのプログラムを動かすために、独立したコンピュータを手に入れるのは非現実的であった。1980年代後半になると、この成長期も一段落した。

第5世代プロジェクトは、欧米と同様、その目的を達成することができなかった。第二のAIの冬が到来したのである。この時点で、評論家は「これまでの人工知能研究の歴史は、特定の分野での極めて限定的な成功に終始し、その直後に、最初の成功が示唆するような広い目標に到達できないでいる」と嘆くことができた21。民間投資家は、「人工知能」のブランドを冠したベンチャー企業を敬遠し始めた。学者やその資金提供者の間でさえ、「AI」は好ましくない蔑称となった22。

しかし、技術的な研究は続けられ、1990年代には、第二のAIの冬は徐々に解けた。1980年代のエキスパート・システムで頂点に達した高度な記号操作に焦点を当てた伝統的な論理主義パラダイム（「Good Old-Fashioned Artificial Intelligence」、略して「GOFAI」）に代わる新しい技術が登場し、楽観論が再燃したのだ。ニューラルネットワークや遺伝的アルゴリズムを含む新しい技術は、GOFAIの欠点、特に従来のAIプログラムを特徴づける「もろさ」（プログラマーが少しでも間違った仮定をすると、全く意味のないものができてしまう）を克服することを約束した。新しい技術は、より有機的な性能を誇っている。例えば、ニューラルネットワークには「グレースフルデグラデーション」という性質があり、ニューラルネットワークに少々のダメージが加わっても、完全にクラッシュするのではなく、わずかな性能低下をもたらすのが普通である。さらに重要なのは、ニューラルネットワークは経験から学ぶことができ、例から一般化する自然な方法を見つけ、入力に隠れた統計的パターンを見つけることができたことである。例えば、ソナー信号のデータセットでニューラルネットワークを訓練すれば、人間の専門家よりも高い精度で潜水艦、地雷、海洋生物の音響プロファイルを区別することができるようになり、これは、カテゴリをどう定義するか、異なる特徴をどう重み付けするかを事前に正確に把握する必要がない。

単純なニューラルネットワークモデルは1950年代後半から知られていたが、バックプロパゲーションアルゴリズムの導入により、多層ニューラルネットワークの学習が可能になり、この分野はルネッサンスを迎えた24。このような多層ネットワークは、入力層と出力層の間に1つ以上の中間層（「隠れ層」）を持つニューロンで、より単純な前身よりもはるかに幅広い機能を学習することができる25。利用可能になった強力なコンピュータと相まって、このアルゴリズムの改善により、エンジニアは多くのアプリケーションで実用的に役立つほど優れたニューラルネットワークを構築することができた。

ニューラルネットワークの脳のような性質は、従来のルールベースのGOFAIシステムの、ロジックを厳密に切り刻むが脆い性能とは好対照であり、大規模な並列サブシンボリック処理の重要性を強調する新しい「-主義」、コネクション主義を鼓舞するほどであった。その後、人工ニューラルネットワークに関する論文は15万件以上発表され、機械学習における重要なアプローチであり続けている。

遺伝的アルゴリズムや遺伝的プログラミングなど、進化に基づく手法も、その出現によって「第二のAIの冬」を脱した手法である。学術的なインパクトはニューラルネットより小さいかもしれないが、広く一般に普及した。進化モデルでは、解の候補の集団（データ構造でもプログラムでもよい）が維持され、既存の集団の変異株を変異させたり組み替えたりして、新しい解の候補がランダムに生成される。定期的に、より優れた候補だけが次の世代に生き残ることができる選択基準（フィットネス関数）を適用することによって、集団は刈り込まれる。何千世代にもわたって繰り返されることで、候補に含まれる解の平均品質が徐々に向上していく。このようなアルゴリズムがうまく機能すれば、非常に幅広い問題に対して効率的な解決策を生み出すことができる。その解決策は、驚くほど斬新で直感的でなく、人間のエンジニアが設計したものというよりも自然な構造に近いこともある。また、原理的には、適性関数を最初に指定するだけで、人間の手を煩わせることなく解決することができる。しかし、実際には、進化論的手法をうまく機能させるためには、熟練した技術と工夫が必要であり、特に表現形式を工夫することが重要である。候補となる解を効率的に符号化する方法（対象領域の潜在的な構造にマッチした遺伝言語）がなければ、進化的探索は広大な探索空間を延々と蛇行したり、局所最適で止まってしまう傾向がある。たとえ良い表現形式が見つかっても、進化は計算量が多く、組み合わせの爆発に負けてしまうことが多い。

ニューラルネットワークや遺伝的アルゴリズムは、停滞するGOFAIパラダイムに代わる手法を提供するものとして、1990年代に興奮を呼び起こした例だ。しかし、ここでは、この2つの手法を賞賛したり、機械学習における他の多くの手法よりも高く評価したりすることを意図しているわけではない。実際、過去20年間の主要な理論的発展の1つは、表面的には異質な技法が、共通の数学的枠組みの中でいかに特殊なケースとして理解されうるかをより明確に理解することであった。たとえば、多くの種類の人工ニューラルネットワークは、特定の種類の統計計算（最尤推定）を行う分類器と見なすことができる26。このような視点により、ニューラルネットを、「決定木」「ロジスティック回帰モデル」「サポートベクターマシン」「ナイーブベイズ」「k-最近傍回帰」などの、例から分類器を学習するアルゴリズムの大きな分類と比較できるようになる27。同様に、遺伝的アルゴリズムもストキャスティック・ヒルクライミングを行うものと見なすことができ、これもまた最適化のためのより広いクラスのアルゴリズムのサブセットである。分類器の構築や解空間の探索を行うこれらのアルゴリズムには、それぞれ長所と短所のプロファイルがあり、数学的に研究することができる。アルゴリズムは、処理時間やメモリ空間の必要性、どのような帰納的バイアスを仮定するか、外部から作成されたコンテンツを簡単に取り込めるか、人間の分析者にとって内部構造がどの程度透明であるか、などの点で異なっている。

このように、機械学習や創造的な問題解決という華やかさの裏には、数学的によく規定された一連のトレードオフがある。理想は、完全なベイズエージェントであり、利用可能な情報を確率的に最適に利用するものである。この理想は、物理的なコンピュータに実装するには計算量が多すぎるため、実現不可能である（Box1参照）。したがって、人工知能とは、ベイズの理想を、最適性や一般性を犠牲にしながらも、実際の関心領域で高い性能を発揮できるように、無理なく近似するための近道を探す探求であると考えることができる。

ベイズネットワークなどの確率的グラフィカルモデルに関する過去数十年の研究成果には、このような考え方が反映されていることがわかる。ベイジアンネットワークは、ある特定の領域で成立する確率的・条件的な独立関係を簡潔に表現する方法である。(このような独立関係を利用することは、論理的演繹と同様に確率的推論でも問題となる組合せ爆発を克服するために不可欠である)。また、因果関係の概念についても重要な示唆を与えてくれる28。

特定の領域の学習問題をベイズ推論の一般的な問題と関連付けることの利点の一つは、ベイズ推論をより効率的にする新しいアルゴリズムが、多くの異なる領域で直ちに改善をもたらすことである。例えば、モンテカルロ近似技術の進歩は、コンピュータビジョン、ロボット工学、計算遺伝学に直接応用される。また、異なる分野の研究者が、より簡単に研究成果を共有できるようになるというメリットもある。機械学習、統計物理学、バイオインフォマティクス、組合せ最適化、コミュニケーション理論など、多くの分野で、グラフモデルとベイズ統計が研究の共通の焦点となっている35。(機械学習の最近の進歩のかなりの部分は、もともと他の学問分野から派生した形式的な結果を取り入れたものである（機械学習アプリケーションはまた、より高速なコンピュータと大規模データセットのより大きな利用可能性から多大な恩恵を受けてきた）。

Box ボックス最適なベイズエージェント

理想的なベイズエージェントは、「事前確率分布」、すなわち、各「可能世界」（すなわち、世界の成り行きを最大に具体化したもの）に確率を割り当てる関数から出発する29。この事前確率には、可能世界が単純であるほど確率が高くなるような誘導バイアスが組み込まれている。(可能世界の単純さを正式に定義する一つの方法は、その世界の完全な記述を生成する最も短いコンピュータプログラムの長さに基づく尺度である「コルモゴロフの複雑さ」という観点である30）。この事前分布には、プログラマーがエージェントに与えたいあらゆる背景知識も組み込まれる。

エージェントがセンサーから新しい情報を受け取ると、ベイズの定理に従って、新しい情報に対して分布を条件付けすることによって、確率分布を更新する。その結果、「事後確率分布」（エージェントは次の時間ステップで新しい事前分布として使用することができる）が得られる。エージェントが観測を行うにつれ、その確率質量は、証拠と一致する可能性のある世界の縮小集合に集中する。

比喩的に言えば、確率は大きな紙の上の砂のようなものだと考えることができる。紙は様々な大きさの領域に分割され、それぞれの領域は1つの可能世界に対応し、より大きな領域はより単純な可能世界に対応する。また、紙全体に均等な厚さの砂の層が広がっていると想像してほしい。ある可能性が否定されるような観測がなされるたびに、私たちは紙面の該当する領域から砂を取り除き、プレイ可能な領域に均等に再分配する。このように、紙の上の砂の総量は変化せず、観察による証拠が蓄積されるにつれて、砂はより少ない領域に集中するようになる。これが、最も純粋な学習の姿である。(仮説の確率を計算するには、その仮説が成り立つ可能性のある世界に対応するすべての領域の砂の量を測定すればよいのである）。

ここまでで、学習ルールの定義ができた。エージェントを獲得するためには、意思決定ルールも必要である。そのために、エージェントには、それぞれの可能世界に数字を割り当てる「効用関数」を持たせる。この数値は、エージェントの基本的な選好に従って、その世界の望ましさを表している。さて、各時間ステップにおいて、エージェントは期待効用が最も高い行動を選択する32（期待効用が最も高い行動を見つけるために、エージェントは可能な行動をすべてリストアップすることができる。次に、その行動が与えられたときの条件付き確率分布（現在の確率分布を、その行動が取られたという観測に条件付けしたときの確率分布）を計算することができる。最後に、可能性のある各世界の値に、その世界の行動による条件付き確率を掛けた和として、その行動の期待値を計算することができる33)。

学習則と決定則は、合わせてエージェントの「最適性概念」を定義する。(本質的に同じ最適性概念は、人工知能、認識論、科学哲学、経済学、統計学で広く使われている。34) 現実には、必要な計算を行うことが計算上困難であるため、このようなエージェントを作ることは不可能である。そうしようとすると、GOFAIの議論で説明したような組み合わせの爆発に陥ってしまうのである。この理由を知るために、可能な世界のごく一部を考えてみよう。それは、果てしない真空の中に浮かぶ1台のコンピュータ・モニターからなる世界である。モニターには1,000×1,000のピクセルがあり、それぞれは永久にオンかオフのどちらかである。2(1,000×1,000)個のモニターの状態は、観測可能な宇宙で行われると予想されるすべての計算の数よりも多い。したがって、この小さな可能世界の部分集合に含まれるすべての可能世界を列挙することはおろか、それぞれの可能世界に対してより精巧な計算を行うことさえできない。

最適性概念は、物理的に実現不可能なものであっても、理論的に興味深いものである場合がある。ヒューリスティックな近似を判断する基準を与えてくれるし、ある特殊なケースで最適なエージェントが何をするかについて推論できることもある。第12章では、人工エージェントの最適性概念について、いくつかの選択肢を紹介する。

人工知能の現状

人工知能は、すでに多くの領域で人間の知能を凌駕している。表1は、ゲームプレイをするコンピュータの状況を調査したもので、AIが現在、様々なゲームで人間のチャンピオンに勝っていることを示している36。

これらの成果は、現在では印象的なものには見えないかもしれない。しかし、これは、何が印象的であるかという基準が、進歩に適応し続けるためだ。例えば、チェスの名人芸は、かつて人間の知性を象徴するものだと考えられていた。50年代後半、何人かの専門家がこう言っていた： 「もしチェスマシンを開発することができれば、人間の知的努力の核心に迫ったように思えるだろう」55と述べている。と嘆いたジョン・マッカーシーに共感する： 「うまくいった途端、誰もそれをAIとは呼ばなくなる」56と嘆いたジョン・マッカーシーに共感する。

表1 ゲームプレイ用AI

【本文参照】

2012年現在、モンテカルロ木探索と機械学習により、囲碁対局プログラム「Zen」シリーズが早碁六段（アマチュア超一流棋士レベル）に達している54。近年、碁打ちプログラムは1年に約1段のペースで進歩している。このペースで進歩すれば、10年後には人間の世界チャンピオンに勝てるかもしれない。

しかし、チェスをするAIは、多くの人が想像していたよりも小さな勝利に終わったという重要な意味がある。例えば、優れたチェスプレイヤーには、抽象的な概念を学び、戦略について巧みに考え、柔軟な計画を立て、様々な独創的な論理的推論を行い、さらには相手の思考をモデル化する能力が必要だと考えられていたかもしれない57。しかし、そうではない。20世紀末に登場した高速プロセッサで実装すると、非常に強力なプレイができるのだ。しかし、そのように作られたAIは狭量である。しかし、そのように作られたAIは、チェスをプレイするだけで、他のことはできないのだ59。

他の領域でも、解決策が当初の予想以上に複雑であることが判明し、進歩が遅くなっている。コンピュータ科学者のドナルド・クヌースは、「AIは今や、『思考』を必要とすることは基本的にすべて行うことに成功しているが、人間や動物が『思考せずに』行うことのほとんどを行うことができないでいる-それはなぜか、もっと難しい！60」と衝撃を受けている。しかし、ハードウェアの着実な改良に助けられ、かなりの進歩がなされ、現在も続けられている。

また、常識や自然言語の理解も難しいことが分かっていた。つまり、これらの問題を解くことの難しさは、一般的な人間レベルの知能マシンを作ることの難しさと本質的に等しいのである61。言い換えれば、もし誰かが人間の大人と同じように自然言語を理解できるAIを作ることに成功したとしたら、おそらく、人間の知能ができる他のすべてのことができるAIを作ることにもすでに成功しているか、そのように一般的にできるようになるには非常に短いステップしかないかのどちらかだろう62。

チェスプレイの専門知識は、驚くほど単純なアルゴリズムによって達成可能であることが判明した。他の能力、例えば一般的な推論能力、あるいはプログラミングに関わる重要な能力も同様に、驚くほど単純なアルゴリズムによって達成できるかもしれないと推測したくなるようなものである。しかし、複雑な仕組みで最高の性能を発揮したからといって、単純な仕組みで同じように、あるいはそれ以上の性能を発揮できるわけではない。単に、よりシンプルな選択肢を誰も見つけられていないだけかもしれない。天動説（地球を中心に、太陽、月、惑星、星々が周回する）は、1000年以上にわたって天文学の最先端を行くものだった。そして、コペルニクスの天動説が、よりシンプルで予測精度の高いものであったが、ケプラーがさらに推敲した結果、このシステム全体が覆されたのである63。

人工知能の手法は、ここで紹介しきれないほど多くの分野で利用されているが、その一部を紹介することで、応用範囲の広さを知ることができる。表1に挙げたゲームAI以外にも、周囲の騒音を除去するアルゴリズムを搭載した補聴器、地図を表示してドライバーにナビゲーションのアドバイスを提供するルートファインダー、ユーザーの過去の購入履歴や評価に基づいて書籍や音楽アルバムを推奨するレコメンダーシステム、乳がんの診断や治療計画の推奨、心電図の解釈を支援する医療意思決定支援システムなどがある。ロボットによるペットや掃除ロボット、芝刈りロボット、レスキューロボット、手術ロボット、100万台以上の産業用ロボットが存在し、64 世界のロボット人口は1千万人を超えている65。

隠れマルコフモデルなどの統計的手法に基づく最新の音声認識は、実用上十分な精度を持つようになった（本書の一部の文章は、音声認識プログラムの助けを借りて作成された）。Apple社のSiriに代表されるパーソナルデジタルアシスタントは、音声による命令に応答し、簡単な質問に答えたり、命令を実行したりすることができる。手書きやタイプライターの光学文字認識は、郵便物の仕分けや古い文書のデジタル化などの用途で日常的に使用されている66。

機械翻訳はまだ不完全だが、多くの用途で十分な性能を発揮する。初期のシステムでは、熟練した言語学者が言語ごとに一から開発しなければならない手書き文法というGOFAI方式を採用していた。新しいシステムでは、観測された使用パターンから自動的に統計的モデルを構築する統計的機械学習技術を使用している。機械学習は、バイリンガルのコーパスを分析することによって、これらのモデルのパラメータを推論する。このアプローチでは、言語学者を必要としないため、これらのシステムを構築するプログラマーは、扱う言語を話す必要さえない67。

顔認識は近年十分に改善され、現在ではヨーロッパとオーストラリアの自動国境検問所で使用されている。米国国務省は、ビザ手続きのために7500万枚以上の写真を使った顔認識システムを運用している。監視システムでは、AIやデータマイニング技術を駆使して、音声や映像、テキストを解析している。これらの情報は、世界中の電子通信媒体から大量に収集され、巨大なデータセンターに保存されている。

定理証明や方程式の解法は、もはやAIとは呼べないほど確立されている。方程式ソルバーは、Mathematicaなどの科学計算プログラムに含まれている。自動化された定理証明器を含む形式的な検証方法は、チップメーカーが生産前に回路設計の動作を検証するために日常的に使用されている。

米軍や情報機関は、爆弾処理ロボット、監視・攻撃用ドローン、その他の無人車両の大規模な配備を先導してきた。これらはまだ人間の遠隔操作に依存しているが、自律的な機能を拡張するための作業が進められている。

インテリジェントなスケジューリングも大きな成果を上げている。自動化されたロジスティクス計画とスケジューリングのためのDARTツールは、1991年の砂漠の嵐作戦作戦で使用され、DARPA（米国の国防高等研究計画局）は、この1つのアプリケーションでAIへの30年間の投資を回収できたと主張するほどの効果を上げた68。航空会社の予約システムには、高度なスケジューリングと価格設定システムが使用されている。企業は、在庫管理システムにAI技術を幅広く活用している。また、自動電話予約システムや音声認識ソフトウェアに接続されたヘルプラインは、連動するメニューオプションの迷路の中で、不幸な顧客を案内するために使用されている。

AI技術は、多くのインターネットサービスを支えている。世界の電子メールのトラフィックを管理するソフトウェアでは、スパマーがその対策を回避するために絶えず適応しているにもかかわらず、ベイズ型スパムフィルターがスパムの流れをほぼ抑えている。また、クレジットカードの決済を自動的に承認・拒否したり、不正利用がないかを継続的に監視するソフトウェアにもAIが使われている。また、情報検索システムにも機械学習が活用されている。Googleの検索エンジンは、間違いなく、まだ構築されていない最も偉大なAIシステムである。

ただし、人工知能と一般的なソフトウェアとの境界線は鋭くないことを強調しておく。上記のようなアプリケーションの中には、人工知能というよりも、一般的なソフトウェア・アプリケーションとして捉えられるものもある。しかし、ここでマッカーシーの「何かが機能したら、それはもはやAIとは呼ばれない」という言葉を思い出してほしい。しかし、これはマッカーシーが言った「何かが機能したら、それはもはやAIとは呼べない」という言葉にも通じることである。現在使われているシステムは、基本的にすべて前者の「狭い」タイプである。しかし、その中には、分類器、検索アルゴリズム、プランナー、ソルバー、表現フレームワークなど、将来の人工知能の役割を担ったり、その開発に役立ったりする可能性のあるコンポーネントが多く含まれている。

現在、AIシステムが活躍する環境として、世界的な金融市場が挙げられる。大手証券会社では、株式の自動売買システムが広く使われている。その中には、ファンドマネージャーが出した売買注文を自動で実行するものもあれば、市場環境の変化に対応した複雑な売買戦略を追求するものもある。分析システムは、データマイニング技術や時系列分析などを駆使して、証券市場のパターンやトレンドを探ったり、過去の値動きをニューステロップのキーワードなどの外部変数と相関させたりする。金融ニュースプロバイダーは、このようなAIプログラムが使用できるように特別にフォーマットされたニュースフィードを販売している。また、市場内や市場間の裁定取引や、ミリ秒単位（光ファイバーケーブルの光速信号でも通信遅延が大きくなる時間帯で、取引所の近くにコンピュータを置くことが有利になる）で発生する微細な値動きから利益を得る高頻度取引に特化したシステムもある。アルゴリズムによる高頻度取引は、米国市場で取引される株式の半分以上を占めている69。アルゴリズム取引は、2010年のフラッシュ・クラッシュ（Box2参照）に関与している。

Box Box2010年のフラッシュ・クラッシュ

2010年5月6日の午後、欧州債務危機への懸念から、米国株式市場はすでに4%下落していた。午後2時32分、大口の売り手（ミューチュアルファンド複合体）が、取引所における分単位の流動性の指標に連動する売りレートで、大量のE-Mini S&P 500先物契約を処分するための売りアルゴリズムを開始した。これらの契約はアルゴリズムによる高頻度トレーダーが購入し、他のトレーダーに契約を売却することで一時的なロングポジションを素早く解消するようプログラムされていた。ファンダメンタルズ・バイヤーからの需要が低迷する中、アルゴリズム・トレーダーは主に他のアルゴリズム・トレーダーにEミニを売り始め、そのトレーダーは他のアルゴリズム・トレーダーにEミニを譲り、「ホットポテト」効果で取引量が増加した。これは、売りアルゴリズムが流動性が高いという指標として解釈し、Eミニ契約を市場に投入する速度を上げ、負のスパイラルに突入してしまった。ある時点で、高頻度トレーダーは市場から撤退し、流動性が枯渇し、価格は下落し続けた。午後2時45分、E-Miniの取引は、取引所のストップロジック機能である自動サーキットブレーカーによって停止された。わずか5秒後に取引が再開されると、価格は安定し、すぐに損失の大部分を回復し始めた。しかし、一時期、危機の谷間で1兆ドルもの資金が市場から消え、その波及効果で1セントや10万ドルといった「とんでもない」値段で個別証券の売買が相当数成立していたことがあった。市場が一日閉じた後、取引所の代表者は規制当局と会談し、危機前の水準から60%以上離れた価格で成立した取引をすべて破棄することを決定した（このような取引を「明らかに誤り」とみなし、既存の取引ルールによる事実上の取り消しの対象となる）70。

フラッシュ・クラッシュに関与したコンピュータ・プログラムは、特別に知的で洗練されたものではなかったし、彼らが引き起こした脅威の種類は、本書の後半で、機械の超知能の見通しに関連して提起する懸念とは根本的に異なるため、ここでこのエピソードを語るのは余談になる。とはいえ、これらの出来事はいくつかの有益な教訓を示すものである。一つは、個々に単純な構成要素（売りアルゴリズムや高頻度アルゴリズム取引プログラムなど）間の相互作用が、複雑で予想外の効果を生み出すことがあるということを思い起こさせてくれる。システムリスクは、新しい要素が導入されるにつれてシステムに蓄積される可能性があり、そのリスクは何か問題が起きてから（時にはそれさえも）明らかになるものである71。

もう一つの教訓は、賢明な専門家が、常識的に見える、通常は健全な仮定（例えば、取引量は市場流動性の良い尺度である）に基づいてプログラムに指示を与えることがあり、その仮定が無効であることが判明した予期せぬ状況でも、プログラムが鉄壁の論理的整合性をもってその指示に基づいて行動し続ける場合、破滅的な結果をもたらすことがあるということである。そして、よほど特殊なアルゴリズムでない限り、私たちが頭を抱え、その行動の不合理さに唖然とするような恐怖に息を呑んでも、アルゴリズムは気にしない。これは、また別のテーマで取り上げることにしよう。

フラッシュ・クラッシュに関連する3つ目の観察は、自動化がこの事件に貢献した一方で、解決にも貢献したということである。あらかじめプログラムされたストップ・オーダー・ロジックは、価格が異常なほど大きく動いたときに取引を停止させるものだが、これは、トリガーとなる出来事が、人間が対応するにはあまりにも迅速なタイムスケールで起こりうると正しく予測されていたために、自動的に実行されるように設定されていた。実行時の人間の監視に依存するのではなく、あらかじめインストールされ、自動的に実行される安全機能の必要性は、機械の超知能の議論において重要となるテーマを再び予見させるものである72。

機械知能の将来についての意見

機械学習のための統計学的・情報理論的基礎の確立と、様々な問題別・領域別アプリケーションの実用化・商業的成功という2つの大きな側面での進歩は、AI研究に失われた威信を取り戻させたと言える。しかし、AIコミュニティには、それ以前の歴史の文化的影響が残っており、多くの主流派研究者が、大それた野心に賛同することに消極的になっているのかもしれない。この分野の古株の一人であるニルス・ニルソンは、現在の同僚には、自分の世代のパイオニアたちを突き動かした大胆な精神が欠けていると不満を述べている：

立派であろうとする姿勢が、一部のAI研究者を萎縮させているように思う。昔は、AIは 「ペラペラ」だと言われていた。かつてのAIは 「フロス」だと批判されたものだが、今は確実に進歩している。このような保守主義の結果、人間の思考を補助する「弱いAI」への集中が進み、人間レベルの知能を機械化しようとする「強いAI」からは遠ざかっているのである73。

ニルソンのこの思いは、マーヴィン・ミンスキー、ジョン・マッカーシー、パトリック・ウィンストンなど、他の創設者たちにも受け入れられている74。

ここ数年、AIに対する関心が再び高まり、人工知能（Nilssonが「強いAI」と呼ぶもの）への新たな取り組みに波及する可能性がある。より高速なハードウェアに加え、現代のプロジェクトは、AIの多くのサブフィールド、一般的なソフトウェア工学、および計算論的神経科学のような隣接する分野でなされた大きな進歩から恩恵を受けるだろう。2011年秋、セバスチャン・スランとピーター・ノービグが主催したスタンフォード大学の人工知能入門コースが、オンラインで無料公開されたことが、質の高い情報や教育に対する需要の高まりを示す一因となっている。世界中から約16万人の学生が受講を希望し、23,000人が修了した75。

AIの未来に関する専門家の意見は千差万別である。AIが最終的にどのような形態をとるかについてだけでなく、タイムスケールについても意見の相違がある。人工知能の将来的な発展に関する予測は、ある最近の研究では、「多様であると同時に確信に満ちている」と指摘されている76。

現代の信念の分布はあまり注意深く測定されていないが、さまざまな小規模な調査や非公式な観察から、大まかな印象を得ることができる。特に、最近の一連の調査では、いくつかの関連する専門家コミュニティのメンバーを対象に、「人間レベルの機械知能」（HLMI）がいつ開発されることを期待しているかという質問を行っている（「人間のほとんどの職業を、少なくとも典型的な人間と同じように遂行できるもの」と定義）77。2022年に10%、2040年に50%、2075年に90%の確率でHLMIが実現すると回答した。(回答者は、「人類の科学活動が大きな負の混乱なく継続する」という前提で推定を行うよう求められている）。

この数字は、サンプル数が非常に少なく、必ずしも一般的な専門家集団を代表しているわけではないことを考慮する必要がある。しかし、他の調査結果とは一致している78。

この調査結果は、最近発表されたAI関連分野の研究者20数名へのインタビュー結果とも一致している。例えば、ニルス・ニルソンは、探索、計画、知識表現、ロボット工学の問題に取り組み、人工知能の教科書を執筆し、最近、この分野の最も包括的な歴史を執筆した79。

10%の可能性：20-30年

50%の確率：2050年

90%の可能性：2100年

表2 人間レベルの機械知能はいつ達成されるのか 81

【本文参照】

しかし、この分野では、2020年から40年の間にHLMIが実現すると確信するような、かなり強気な実践者もいれば、絶対に実現しない、あるいは永遠に実現しないと確信する人もいるのだ82。さらに、人工知能の「人間レベル」という概念は定義が不明確で誤解を招きやすいと考える人や、定量的な予測を公表したくないという理由もあるようだ。

私自身の見解としては、専門家調査で報告された中央値は、後の到着日について十分な確率の塊を持っていないと思う。2075年、あるいは2100年までにHLMIが開発されていない確率が10%というのは、（「人類の科学活動が大きな負の混乱なく継続する」という条件付きで）低すぎるように思う。

歴史的に見ても、AI研究者は、自分の分野の進歩の速度や、その進歩がどのような形になるかを予測できたという実績はあまりない。一方では、チェスのように驚くほど簡単なプログラムで実現できるものもあり、「機械は絶対にできない」と主張した否定派は、繰り返しその誤りを証明されてきた。一方、実務家の典型的な誤りは、現実のタスクでシステムを堅牢に動作させることの難しさを過小評価し、自分だけの特別なプロジェクトや技術の利点を過大評価することである。

この調査では、このほかにも2つの質問をしている。1つは、人間レベルの機械が最初に達成されたと仮定した場合、超知能に到達するまでにどれくらいの時間がかかると思うかを回答者に尋ねたものである。その結果は表3にある。

もう一つの質問は、人間レベルの機械知能を達成した場合、人類にとって長期的にどのような影響があると思うかを尋ねたものである。その回答は図2にまとめられている。

私自身の考えは、このアンケートで示された意見とはまた多少異なる。私は、人類レベルの機械知能の後、比較的早い時期に超知能が誕生する可能性が高いと考える。また、その結果についても、極端に良い結果や極端に悪い結果の方が、バランスの取れた結果よりも可能性が高いと考え、より二極化している。その理由は、本書の後半で明らかになる。

表3 人類レベルから超知能までどれくらいの期間か？

【本文参照】

図 2 HLMIの長期的なインパクトの全体像 83

サンプル数の少なさ、選択バイアス、そして何よりも主観的な意見を引き出すという本質的な信頼性の低さから、これらの専門家による調査やインタビューに過度の期待を抱くべきではない。これらの調査やインタビューは、私たちに強い結論を出させるものではない。しかし、弱い結論は示唆されている。少なくとも、より良いデータや分析がない限り）人間レベルの機械知能が今世紀半ばまでに開発される可能性はかなり高く、かなり早く、あるいはかなり遅く開発される可能性も自明ではないこと、その後おそらくかなり早く超知能に至るかもしれないこと、極めて良い結果や人類の絶滅と同じくらい悪い結果を含む幅広い結果がかなりの確率で発生すると考えることは妥当であろうということである84。少なくとも、この話題は詳しく調べる価値があることを示唆している。

第2章　超知能への道

現在のところ、機械は一般的な知能において人間よりはるかに劣っている。しかし、いつの日か、機械は超知能になる（と私たちは考えている）。私たちはどのようにしてここからそこへ到達するのだろうか？本章では、考えられるいくつかの技術的な道筋を探っていく。人工知能、全脳エミュレーション、生物学的認知、ヒューマン・マシン・インターフェース、そしてネットワークと組織について考察する。本章では、超知能への道筋として、それぞれ異なる程度に妥当性を評価する。複数の経路が存在する場合、そのうちの少なくとも1つを経由して目的地に到達できる確率が高くなる。

次章では、超知能の概念についてさらに詳しく説明し、超知能のさまざまな可能性を区別するために、一種のスペクトル分析を行う予定である。しかし、今は、今述べたような大まかな特徴づけで十分である。この定義では、超知能がどのように実装されるのかについて非明示的であることに注意されたい。超知能が主観的な意識経験を持つかどうかは、いくつかの問題（特に道徳的な問題）にとって非常に重要かもしれないが、ここでの主な焦点は、超知能の因果関係の前兆と結果であって、心の形而上学にあるわけではない2。

チェスプログラム「Deep Fritz」は、チェスという狭い領域においてのみ賢いので、この定義では超知能とはいえない。しかし、ある種の領域特異的な超知能は重要である可能性がある。特定の領域に限定された超知能を指す場合は、その制限を明示的に記すことにする。例えば、「工学的超知能」とは、工学の領域において、現在の人間の頭脳を圧倒的に上回る知性のことである。特に断りのない限り、私たちはこの言葉を、超人的なレベルの一般知能を持つシステムを指すのに使う。

しかし、どのようにして超知能を生み出すことができるのだろうか。いくつかの可能性を検討してみよう。

人工知能

この章の読者は、人工知能をプログラミングするための青写真を期待してはいけない。もちろん、そのような設計図はまだ存在しない。また、もし私がそのような設計図を持っていたとしても、間違いなく本にすることはないだろう。(その理由がすぐにわからない場合は、後の章の議論で明らかになる)。

しかし、必要とされるシステムの一般的な特徴を見出すことはできる。学習能力は、一般的な知能を獲得することを目的としたシステムの中核的な設計に不可欠な機能であり、拡張や後付けで後から付け足されるようなものではないことは、今や明らかであると思われる。不確実性や確率的な情報に効果的に対処する能力も同様である。また、感覚データや内部状態から有用な概念を抽出したり、獲得した概念を柔軟な組み合わせ表現に活用し、論理的・直感的な推論に利用したりする能力も、一般的な知能の獲得を目的とする現代のAIの中核的な設計機能に属すると考えられる。

初期の「古き良き時代の人工知能」は、学習、不確実性、概念形成にほとんど焦点を当てなかったが、それはおそらく当時、これらの次元を扱う技術が十分に開発されていなかったからだ。しかし、その根底にある考え方が斬新だと言っているわけではない。より単純なシステムを人間レベルの知能に引き上げる手段として学習を利用するというアイデアは、少なくともアラン・チューリングが1950年に書いた「子機」という概念に遡ることができる：

大人の心をシミュレートするプログラムを作るのではなく、子供の心をシミュレートするプログラムを作ってみてはどうだろう？大人の心をシミュレートするプログラムを作るのではなく、むしろ子供の心をシミュレートするプログラムを作ってみてはどうだろう。これを適切な教育課程にかけると、大人の脳を手に入れることができるだろう」3。

チューリングは、このようなチャイルドマシンを開発するために、反復的なプロセスを想定していた：

チューリングは、このようなチャイルドマシンを開発するための反復プロセスを想定していた。最初の試みで良いチャイルドマシンが見つかるとは思わない。そして、別のものを試してみて、それが良いか悪いかを確認することができる。このプロセスと進化との間には、明らかなつながりがある……。しかし、このプロセスが進化よりも早く進むことを望む人もいるだろう。適者生存は、長所を測るには時間がかかる方法である。実験者は知性を働かせれば、それを早めることができるはずだ。同様に重要なことは、実験者がランダムな突然変異に制限されないという事実である。もし、ある弱点の原因を突き止めることができれば、それを改善するような突然変異を思いつくことができるだろう。

盲目的な進化プロセスが人間レベルの一般的な知能を生み出すことができることは、少なくとも一度は実現しているのだから、私たちは知っている。先見の明のある進化過程、つまり、知的な人間のプログラマーによって設計され、導かれた遺伝プログラムは、はるかに効率的に同様の結果を達成することができるはずだ。この観察は、デイヴィッド・チャルマーズやハンス・モラヴェックなどの哲学者や科学者が、人間レベルのAIは理論的に可能であるだけでなく、今世紀中に実現可能であると主張するために用いられている5。この考えは、進化と人間工学が知能を生み出す能力を相対評価し、ある分野ではすでに人間工学が進化よりはるかに優れていて、残りの分野でも遠くないうちに優れたものになる可能性を発見できることである。進化が知性を生み出したということは、人間工学も近いうちに同じことができるようになるということである。こうして、モラベックは（すでに1976年にさかのぼって）こう書いている：

このような制約のもとに設計された知能の例がいくつか存在することは、私たちがすぐに同じことを達成できるという大きな自信を与えてくれるはずだ。この状況は、鳥、コウモリ、昆虫が、私たちの文化がそれを習得する前にその可能性を明確に示した、空気より重い飛行の歴史に類似している6。

しかし、この推論からどのような推論を導くかについては、慎重を期す必要がある。しかし、この推論から導き出される結論には注意が必要である。確かに、進化は空気より重い飛行を生み出し、その後、人間の技術者が（まったく異なるメカニズムによってではあるが）同様に成功した。ソナー、磁気航法、化学兵器、光受容体、あらゆる力学的、運動学的な性能もその例だ。例えば、形態形成、自己修復、免疫防御などでは、人間の努力は自然が達成したものに比べ、はるかに遅れている。モラベックの議論は、人類レベルの人工知能が「すぐにでも実現できる」という「大きな自信」を与えてはくれないのだ。せいぜい、知的生命体の進化が、知能を設計することの本質的な難しさに上限を与えている程度である。しかし、この上限は、現在の人間の工学的能力をはるかに超えるものである可能性がある。

AIの実現可能性について進化論的な議論を展開するもう一つの方法は、十分に高速なコンピュータ上で遺伝的アルゴリズムを実行することにより、生物進化の結果に匹敵する結果を得ることができるという考え方である。このように、進化論は知能を生み出す具体的な方法を提示している。

しかし、人間の知能を生み出した進化の過程を再現するのに十分な計算能力を、私たちはすぐに手に入れることができるのだろうか。その答えは、今後数十年の間に計算機技術がどの程度進歩するか、また、過去にあった自然選択の進化過程と同じ最適化能力を持つ遺伝的アルゴリズムを実行するために、どの程度の計算能力が必要になるかによる。結局、このような推論を進めても得られる結論は失望するほど不確定なものだが、概算を試みることは有益である（Box3参照）。何はともあれ、この試みはいくつかの興味深い未知数に注目させるものである。

つまり、人類レベルの知性を生み出した地球上の進化過程を単純に再現するのに必要な計算資源は、手の届かないところにあり、ムーアの法則が100年続いたとしても、このままであるということである（図3参照）。しかし、自然進化の過程を総当たりで再現するのに比べれば、自然淘汰を超える様々な改良を加え、知能を目指す探索プロセスを設計することで、膨大な効率化を達成できる可能性は十分にある。しかし、そのような効率的な利得がどの程度のものなのかを明らかにするのは非常に難しい。5桁なのか25桁なのか、それさえもわからない。したがって、さらに詳しく説明しない限り、進化論的な議論は、人間レベルの機械知能を構築することの難しさや、そのような開発のタイムスケールのいずれについても、私たちの予想を有意義に制約することはできないのである。

Box ボックス進化を再現するには何が必要なのか？

人間の知能が発達する過程で進化が成し遂げたすべての偉業が、人工的に機械の知能を進化させようとする人間の技術者に関係しているわけではない。地球上の進化の淘汰のうち、知能の淘汰はごく一部に過ぎないのである。もっと言えば、人間の技術者が些細なことで回避できないような問題は、進化的選択のごく一部が対象だったのかもしれない。例えば、私たちは電力を使ってコンピュータを動かすことができるので、知的な機械を作るために細胞のエネルギー経済の分子を再発明する必要はないが、代謝経路の分子進化は、地球の歴史の中で進化が利用できた選択力の総量の大部分を使い果たしたかもしれない7。

しかし、このような代謝経路の分子進化は、地球史の中で進化が利用できる選択力の大部分を使い果たしたかもしれない7。AIの重要な知見は、10億年も前に誕生した神経系の構造にあると主張する人もいるかもしれない8。原核生物は4〜6×1030匹いるが、昆虫は1019匹、人類は1010匹以下である（農業以前の人口はもっと少ない）9。

しかし、進化的アルゴリズムでは、変異株を選択するだけでなく、変異株を評価するためのフィットネス関数が必要であり、これが最も計算量の多い要素である。人工知能の進化のためのフィットネス関数は、神経発達、学習、認知をシミュレーションしてフィットネスを評価する必要があると思われる。したがって、複雑な神経系を持つ生物の生の数を見るのではなく、進化の適性関数を模倣するためにシミュレーションする必要がある生物中のニューロンの数に注目した方がよいかもしれない。昆虫は陸上動物のバイオマスの大部分を占めており（アリだけで約15〜20%を占めると推定されている）10、昆虫の脳の大きさは大きく異なり、大型で社会性のある昆虫ほど大きな脳を持つ。ミツバチの脳は106ニューロン弱、ミバエの脳は105ニューロン、アリはその中間で25万ニューロン11、大多数の小型昆虫は数千ニューロンの脳しか持っていないと考えられる。仮に、1019匹の昆虫すべてにミバエの神経細胞の数を割り当てたとすると、世界の昆虫の神経細胞数は1024個になる。これに水棲のカイアシ類、鳥類、爬虫類、哺乳類などを加えると、さらに1桁増えて1025個となる。(一方、農耕時代以前の人類は107人未満で、1人当たりの神経細胞数は1011個以下であったため、人類全体の神経細胞数は1018個未満である）

1つのニューロンをシミュレーションするのに必要な計算コストは、シミュレーションの詳細度によって異なる。極めて単純なニューロンモデルでは、1つのニューロンをシミュレートするのに、1秒間に約1,000回の浮動小数点演算（FLOPS）が必要である（リアルタイムで）。電気生理学的に現実的なHodgkin-Huxleyモデルは、1,200,000 FLOPSを使用する。より詳細なマルチコンパートメントモデルでは、さらに3～4桁の増加、ニューロンのシステムを抽象化した高次モデルでは、単純なモデルから2～3桁の減少が見込まれる12。仮に10億年の進化（私たちが知る神経系の存在期間よりも長い）で1025個のニューロンをシミュレーションし、コンピューターを1年間稼働させた場合、これらの数字から1031～1044FLOPSが必要となる。ちなみに、2013年9月現在、世界で最も強力なスーパーコンピューターである中国の「天河2号」は、3.39×1016FLOPSしか提供できない。ここ数十年、汎用コンピュータが1桁パワーアップするのに約6.7年かかっている。ムーアの法則が100年続いたとしても、この差を埋めるには十分ではないだろう。より専門的なハードウェアの実行や、より長い実行時間の実現は、あと数桁の貢献しかできない。

この図は、もう一つの点で保守的である。進化は、このような結果を目指さずに人間の知能を実現した。なぜなら、知能の向上には、エネルギー消費量の増加や成熟時間の短縮など、大きなコストがかかることがあり（そしてしばしばかかる）、そのコストは、より賢い行動から得られるいかなる利益よりも大きいかもしれないからだ。予想寿命が短ければ短いほど、学習能力の向上が報われるまでの時間が短くなるからだ。知能に対する選択圧が低下すると、知能を向上させる技術革新の広がりが遅くなり、その結果、その技術革新に依存する後続の技術革新が選択によって有利になる機会も少なくなる。さらに、進化は局所最適から抜け出せなくなる可能性がある。しかし、人間であれば、搾取と探索のトレードオフを変更したり、次第に難しくなる知能テストをスムーズに実施したりすることで、それに気づいて回避できるだろう14。進化は、一貫して致死的であることが証明された突然変異を生み出すために資源を浪費し続け、異なる突然変異の効果における統計的類似性を利用することができない。これらはすべて自然淘汰の非効率性であり、（知性を進化させる手段として見た場合）人間のエンジニアが進化的アルゴリズムを使って知的ソフトウェアを開発する際に避けることは比較的容易であろう。

今述べたような非効率性を排除すれば、先に計算した1031〜1044FLOPSの範囲を何桁も切り下げることができるというのはもっともな話である。しかし、何桁の差があるのかを知ることは困難である。大まかな見積もりを立てることさえ困難で、私たちが知っている限り、効率の節約は5桁かもしれないし、10桁かもしれないし、25桁かもしれない15。

図3 スーパーコンピュータの性能

「ムーアの法則」とは、狭義には、集積回路のトランジスタ数が数十年前から約2年ごとに倍増しているという観測のことである。しかし、この言葉は、コンピュータ技術における多くの性能指標が、同様に速い指数関数的な傾向をたどっているという、より一般的な観測を指すために使われることも多い。ここでは、世界最速のスーパーコンピュータのピーク速度を時間の関数としてプロットしている（縦軸は対数）。近年、プロセッサの直列速度の伸びは停滞しているが、並列化の進展により、総演算回数はトレンドラインを維持している16。

このような進化論的考察にはさらに複雑な問題があり、知能の進化の難易度について非常に緩やかな上限さえも導き出すことが困難である。地球上で知的生命体が進化したという事実から、その進化過程で知能が生まれる確率がそれなりに高かったと推論する誤りを避けなければならない。なぜなら、このような推論は、知的生命体が誕生した惑星が、どのような確率で知能を持った惑星であったとしても、すべての観測者がその惑星を起源とすることを保証する観測選択効果を考慮に入れていないため、健全性を欠く。例えば、自然淘汰の系統的な効果に加えて、知的生命体を生み出すには膨大な量の幸運な偶然が必要で、単純な複製物が発生した惑星1030個のうち、知的生命体が進化した惑星は1個だけだったとする。その場合、遺伝的アルゴリズムを使って自然進化を再現しようとすると、すべての要素がちょうどよく組み合わされたシミュレーションを見つけるまでに、1030回ほど実行しなければならないことになるかもしれない。これは、地球上で生命が進化したという観測と完全に一致しているように思える。知性に関連する形質の収斂進化の事例を分析し、観察選択理論の微妙さに関与することによって、注意深く、やや複雑な推論をすることによってのみ、この認識論的障壁を部分的に回避することができる。そのような手間をかけない限り、Box3で導き出された知能の進化を再現するための計算量の「上限」が、30桁（あるいはその他の大きな数）低すぎる可能性を排除する立場にはないのである17。

人工知能の実現可能性を主張するもう一つの方法は、人間の脳を指摘し、それを機械知能のテンプレートとして使えると示唆することである。このアプローチは、生物学的な脳機能をどれだけ忠実に模倣するかによって、さまざまなバージョンに分けることができる。極端な例では、非常に近い模倣を行う全脳エミュレーションがある。もう一方の極端な例としては、脳の機能からインスピレーションを得るが、低レベルの模倣は試みないというアプローチがある。神経科学と認知心理学の進歩は、計測機器の改良も手伝って、いずれは脳機能の一般原理を明らかにするはずだ。この知識は、AIを開発する際の指針となるだろう。脳から着想を得たAI技術の一例として、私たちはすでにニューラルネットワークに出会っている。階層的な知覚組織も、脳科学から機械学習に転用されたアイデアである。強化学習の研究は、動物の認知に関する心理学的理論における役割に（少なくとも部分的に）動機づけられており、これらの理論に触発された強化学習技術（例えば「TD-アルゴリズム」）は、現在AIで広く使われている18。脳で働く基本的なメカニズムは、限られた数、おそらくはごく少数であるため、脳科学の漸進的な進歩により、いずれはそのすべてが発見されるはずだ。しかし、その前に、脳科学的な手法と人工的な手法を組み合わせたハイブリッドなアプローチがゴールする可能性もある。その場合、脳から得た知見が使われていても、出来上がったシステムが脳的である必要はない。

脳をテンプレートとして利用できることは、機械知能が最終的に実現可能であるという主張の強い裏付けになる。しかし、脳科学が今後どのように発展していくかを予測することは困難であるため、いつ実現するのかを予測することはできない。ただ、未来になればなるほど、脳機能の秘密が十分に解明され、機械知能の実現が可能になる可能性が高いということだけは言える。

完全な人工知能を目指すアプローチと比較して、ニューロモルフィックがいかに有望であるかは、機械知能を目指す人たちによって見解が異なる。鳥の存在は、空気より重い飛行が物理的に可能であることを示し、飛行機械を作ることを促した。しかし、初めて機能した飛行機は、羽ばたきませんだった。機械が知能を持つようになるには、人工的なメカニズムで実現した飛行のようになるのか、自然界に存在する火を模倣することで実現した燃焼のようになるのか、その判断はまだついていない。

チューリングの「最初からプログラムされているのではなく、学習によってその内容の大部分を獲得するプログラムを設計する」という考え方は、ニューロモルフィックやシンセティック・アプローチの機械知能にも同様に当てはめることができる。

チューリングが想定していたと思われる子機が、比較的固定されたアーキテクチャを持ち、コンテンツを蓄積することで固有の潜在能力を伸ばすだけであるのに対し、シードAIは、自身のアーキテクチャを改善することができる、より高度な人工知能であると考えられるからだ。シードAIの初期段階では、試行錯誤や情報収集、プログラマーからの支援によって改良が行われることが多いかもしれない。しかし、後期になると、シードAIは自身の仕組みを十分に理解し、新しいアルゴリズムや計算構造を設計して認知性能を向上させることができるようになるはずだ。このような必要な理解は、シードAIが多くの領域で十分なレベルの一般的な知能を獲得した場合や、コンピュータサイエンスや数学など特に関連性の高い領域で何らかの閾値を超えた場合に生じる可能性がある。

ここで、もうひとつの重要な概念である「再帰的自己改善」について説明する。初期バージョンのAIが自分自身の改良版を設計し、その改良版がオリジナルよりも賢く、さらに賢いバージョンを設計できるかもしれないといった具合に、成功したシードAIは自分自身を繰り返し強化することができるだろう20。ある条件下では、このような再帰的自己改良のプロセスが十分に長く続き、知能の爆発が起こるかもしれない。これは、あるシステムの知能レベルが、短期間のうちに、比較的控えめな認知能力（おそらくほとんどの点では人間未満だが、コーディングやAI研究の領域固有の才能がある）から根本的に超知能へと上昇する出来事である。この重要な可能性については、第4章で再び取り上げ、そのような出来事のダイナミクスをより詳細に分析する。人工的な一般知能を構築する試みは、最後に欠けていた重要なコンポーネントが配置されるまで、ほとんど完全に失敗するかもしれないし、その時点で、種となるAIは持続的な再帰的自己改良ができるようになるかもしれない。

この小節を終える前に、もう一つ強調しておきたいことがある。それは、人工知能は人間の心にあまり似ている必要はないということである。人工知能は、極めて異質なものである可能性があり、実際、ほとんどの場合、異質なものになると思われる。人工知能は、生物学的な知能とは全く異なる認知アーキテクチャを持ち、発達の初期段階では、認知の長所と短所が全く異なるプロファイルを持つと予想される（ただし、後で述べるように、初期段階の短所はいずれ克服できるはずです）。さらに、AIの目標システムは、人間の目標システムとは根本的に異なる可能性がある。愛や憎しみ、プライドなど、人間の一般的な感情に動機づけられることを一般的なAIに期待する理由はない。こうした複雑な適応をAIに再現するには、意図的に高価な努力を必要とする。これは大きな問題であると同時に、大きなチャンスでもある。AIの動機付けの問題については、後の章で触れることにするが、本書の議論の中心をなすものであるため、終始念頭に置いておく価値がある。

全脳エミュレーション

全脳エミュレーション（「アップロード」とも呼ばれる）では、生物学的な脳の計算構造をスキャンして忠実にモデリングすることで、知的ソフトウェアを作成する。この方法は、自然からインスピレーションを得ることの限界である「素顔の盗用」を意味する。全脳エミュレーションを実現するためには、以下のステップを踏む必要がある。

まず、特定の人間の脳を十分に詳細にスキャンする。そのためには、死後の脳をガラス化（組織を一種のガラスにする処理）して安定させる必要があるかもしれない。その後、機械で組織を薄切りにし、それを別の機械に送り、電子顕微鏡でスキャンすることもできる。この段階で、さまざまな構造的・化学的特性を引き出すために、さまざまな染色を行うことができる。多くのスキャニングマシンが並行して動作し、複数の脳のスライスを同時に処理することができる。

次に、スキャナーの生データをコンピュータに送り、自動画像処理によって、元の脳で認知を実現した3次元の神経細胞ネットワークを再構築する。実際には、バッファに保存される高解像度の画像データの量を減らすために、このステップは最初のステップと同時に進行することがある。このようにして得られたマップは、異なるタイプのニューロンや異なるニューロン要素（特定の種類のシナプスコネクターなど）の神経計算モデルのライブラリと結合される。図4は、現在の技術で作成されたスキャンと画像処理の結果の一部である。

第3段階では、前段階から得られたニューロコンピューティング構造を、十分に強力なコンピュータに実装する。完全に成功すれば、記憶と人格を持ったオリジナルの知性をデジタルで再現することができる。エミュレートされた人間の心は、コンピュータ上のソフトウェアとして存在することになる。この精神は、仮想現実の中に住むことも、ロボットの付属品を使って外界と接することもできる。

脳のエミュレーションは、人間の認知の仕組みや人工知能のプログラミングを理解する必要はない。必要なのは、脳の基本的な計算要素の低レベルの機能特性を理解することだけだ。全脳エミュレーションを成功させるために、根本的な概念的・理論的なブレークスルーは必要ないのである。

しかし、全脳エミュレーションには、かなり高度な実現技術が必要である。1）スキャン：十分な解像度と関連特性の検出が可能なハイスループット顕微鏡、(2) 翻訳：生のスキャンデータを、関連する神経計算要素の解釈された3次元モデルに変換する自動画像解析、(3) シミュレーション：結果の計算構造を実装するのに十分強力なハードウェア（表4参照）である。(これらの難易度の高いステップに比べれば、オーディオビジュアル入力チャンネルと簡単な出力チャンネルを備えた基本的なバーチャルリアリティやロボットの具現化の構築は比較的容易である。シンプルかつ必要最小限のI/Oは、現在の技術ですでに実現可能なようだ23)。

図4 電子顕微鏡画像からの3次元神経解剖学の再構築

左上： 神経細胞の物質-デンドライトと軸索の断面を示す典型的な電子顕微鏡写真。右上： 個々の2次元画像は、一辺が約11μmの立方体に積み重ねられている。下図： 下：自動セグメンテーションアルゴリズムにより作成された、神経乳頭の体積を満たす神経突起のサブセットの再構築22。

近い将来ではないにせよ、必要な実現技術は達成可能であると考える十分な根拠がある。多くの種類のニューロンや神経細胞のプロセスについて、合理的な計算モデルがすでに存在している。画像認識ソフトウェアが開発され、二次元画像の積み重ねから軸索や樹状突起を追跡することができる（ただし、信頼性の向上が必要である）。また、走査型トンネル顕微鏡を使えば、個々の原子を「見る」ことができるなど、必要以上に高い解像度を実現する画像処理ツールもある。しかし、現在の知識と能力から、必要な実現技術の開発に原理的な障壁はないと考えられるが、人間の全脳エミュレーションを実現するためには、非常に多くの段階的な技術進歩が必要であることは明らかである24。例えば、顕微鏡技術には十分な解像度だけでなく、十分なスループットも必要である。例えば、顕微鏡技術には、十分な解像度だけでなく、十分なスループットが必要である。原子分解能の走査型トンネル顕微鏡を使って必要な表面積を画像化するのは、実用化にはあまりにも時間がかかる。より低解像度の電子顕微鏡を使うのが妥当だが、シナプスの微細構造など、関連する詳細を可視化するために、皮質組織を準備し染色する新しい方法が必要となる。また、神経計算ライブラリの大幅な拡充や、自動画像処理とスキャン解釈の大幅な改良も必要である。

表4 全脳エミュレーションに必要な能力

一般に、全脳エミュレーションは、人工知能よりも理論的な洞察力と技術的な能力に依存することが多いと言われている。全脳エミュレーションにどの程度の技術が必要かは、脳をエミュレートする抽象度の高さによって決まる。この点で、洞察力と技術力はトレードオフの関係にある。一般に、スキャニング装置が劣悪で、コンピュータが脆弱であればあるほど、低レベルの化学的・電気生理学的脳プロセスのシミュレーションに頼ることができなくなり、関連する機能をより抽象的に表現するために、エミュレーションしようとする計算機アーキテクチャをより理論的に理解する必要がある25）。逆に、十分に進んだスキャニング技術と豊富な計算能力があれば、脳に関する理解がかなり浅い場合でも、エミュレーションを総当り的に行うことが可能かもしれない。非現実的な限定的ケースとして、量子力学的なシュレーディンガー方程式を用いて、素粒子レベルで脳をエミュレートすることが考えられる。そうすれば、既存の物理学の知識だけに頼ることができ、生物学的なモデルにはまったく頼らないことができる。しかし、このような極端なケースでは、計算能力やデータの取得にまったく現実的でない要求がなされることになる。より現実的なエミュレーションのレベルは、個々のニューロンとその結合マトリックス、樹状木の構造の一部、そして個々のシナプスの状態変数の一部を組み込んだものであろう。神経伝達物質分子は個別にシミュレートされないが、その濃度変動は粗視化された方法でモデル化されるであろう。

全脳エミュレーションの実現可能性を評価するためには、成功の基準を理解する必要がある。脳シミュレーションの目的は、特定の刺激にさらされたときに、元の脳で何が起こったかを正確に予測できるほど詳細で正確な脳シミュレーションを作ることではない。それよりも、脳の計算機能特性を十分に把握し、その結果得られたエミュレーションが知的作業を行えるようにすることが目的である。この目的のためには、実際の脳が持つ厄介な生物学的な詳細の多くは関係ない。

より精緻な分析では、エミュレートされた脳の情報処理機能がどの程度保たれているかによって、エミュレーションの成功の度合いを区別することができる。例えば、(1) エミュレートされた脳の知識、スキル、能力、価値観をすべて備えている忠実度の高いエミュレーション、(2) 性質が著しく人間離れしているが、エミュレートされた脳と同じ知的労働をほぼ行うことができる歪んだエミュレーション、(3) 幼児のようでありながら、エミュレートした大人の脳が獲得したスキルや記憶がないものの、通常の人間が学習できることをほとんど学習できる汎用エミュレーション（これも歪むかもしれない）などがある25。

忠実度の高いエミュレーションを作成することは最終的に可能であると思われるが、この道を歩んだ場合、最初に完成する全脳エミュレーションは、より低いグレードになる可能性が高いと思われる。完璧に動作させる前に、不完全に動作させることになるのだろう。また、エミュレーション技術を推し進めることで、エミュレーションの過程で発見された神経計算の原理を応用し、合成手法とハイブリッドさせたニューロモルフィックAIが誕生する可能性もあり、その場合は全脳エミュレーションが完成する前に実現することになる。このようなニューロモルフィックAIへの波及の可能性は、後の章で述べるように、エミュレーション技術の促進を求めることが望ましいかどうかという戦略的評価を複雑にしている。

人間の全脳エミュレーションの実現には、現在どの程度の距離があるのだろうか。最近のある評価では、技術的なロードマップを提示し、不確実性の幅は大きいものの、前提となる能力は今世紀半ば頃に利用可能になる可能性があると結論付けている27。図5は、このロードマップの主要なマイルストーンを示している。しかし、このマップは一見単純に見えるが、それは欺瞞であり、私たちは、いかに多くの仕事が残っているかを控えめにしないように注意する必要がある。まだエミュレートされた脳はない。地味なモデル生物である線虫を考えてみよう。線虫は体長1mmほどの透明な丸虫で、302個のニューロンを持っている。これらのニューロンの完全な結合行列は、1980年代半ばに、スライス、電子顕微鏡、標本への手作業によるラベル付けによって、苦労してマッピングされたときから知られている29。しかし、単にどのニューロンがどのニューロンと結合しているかを知るだけでは十分ではない。しかし、どの神経細胞がどのようにつながっているかを知るだけでは十分ではない。脳のエミュレーションを行うには、どのシナプスが興奮性でどのシナプスが抑制性か、そのつながりの強さ、軸索、シナプス、樹状木のさまざまな動的特性も知っておく必要がある。線虫のような小さな脳のエミュレーションに成功すれば、大きな脳をエミュレートするために何が必要かをよりよく理解できるようになるはずだ。

図5 全脳エミュレーションのロードマップ。インプット、アクティビティ、マイルストーンの模式図28。

技術開発プロセスのある時点で、少量の脳組織を自動的にエミュレートする技術が利用できるようになれば、問題はスケーリングの問題に絞られる。図5の右側にある「はしご」に注目してほしい。図5の右側にある「はしご」のような箱の列は、ハードルをクリアした後に開始される最終的な進歩の流れを表している。例えば、線虫→ミツバチ→マウス→アカゲザル→ヒトといった具合に、神経学的に洗練されたモデル生物の全脳エミュレーションに対応する。これらの段の間のギャップは、少なくとも最初の段以降は、そのほとんどが定量的なものであり、主にエミュレートする脳の大きさの違いによるものであるため（完全ではないが）、スキャンとシミュレーションの能力を比較的簡単にスケールアップすることで対処できるはずです31。

この最後の階段を上り始めると、最終的に人間の全脳エミュレーションが達成されることがより明確に予測できるようになる32。したがって、少なくとも、必要な実現技術のうち最後に十分な成熟度に達したものが、高スループットのスキャンまたはリアルタイムシミュレーションに必要な計算能力であれば、全脳エミュレーション経路で人間レベルの機械知能に到達する前にある程度の事前警告が得られると予測できる。しかし、最後の実現技術が神経計算モデリングである場合、印象に残らないプロトタイプから実用的な人間エミュレーションへの移行は、より急激なものになる可能性がある。豊富なスキャニングデータと高速なコンピュータにもかかわらず、神経細胞モデルを正しく動作させることが難しいというシナリオが考えられる。それは、意識不明の脳が大発作を起こしたようなものである。この場合、重要な進歩は、一連の動物の模倣が次第に大きくなり、それに応じてフォントサイズが大きくなる新聞の見出しで告げられることはないだろう。神経計算モデルにどれだけの欠陥が残っていて、それを修正するのにどれだけの時間がかかるか、重要なブレークスルーの前夜にさえ、成功の前に知ることは難しいかもしれない。(人間の全脳エミュレーションが実現すれば、さらに爆発的な発展を遂げる可能性があるが、これについては第4章まで議論を先送りする）。

このように、全脳エミュレーションは、関連する研究がすべてオープンに行われたとしても、驚きのシナリオが想像される。しかし、全脳エミュレーションは、AIによる機械知能への道と比較すると、具体的な観測技術に依存する部分が多く、理論的な洞察に全面的に基づいているわけではないので、明確な予兆が先行する可能性は高い。また、エミュレーションが近い将来（例えば15年以内）に成功することはないだろうということは、AIよりも確信を持って言える。なぜなら、いくつかの困難な前兆技術がまだ開発されていないことが分かっているからだ。それに対して、現代の普通のパーソナルコンピュータに座って、種となるAIをコーディングすることは、原理的には可能であると思われるし、近い将来、誰かがその方法について正しい洞察を得ることも、ありえないことではないが、考えられる。

生物学的認知

現在の人間以上の知能を実現する第三の道は、生物の脳の機能を強化することである。原理的には、選択的交配によって、技術なしに実現できる。しかし、古典的な大規模優生学プログラムを開始しようとすると、政治的、道徳的に大きなハードルが立ちはだかる。しかも、よほど強力な選抜を行わない限り、大きな成果を上げるには何世代もかかる。このような取り組みが実を結ぶずっと前に、バイオテクノロジーの進歩により、人間の遺伝学と神経生物学がより直接的に制御できるようになり、人間の育種計画は無意味なものとなってしまうだろう。そこで、私たちは、数世代あるいはそれ以下のタイムスケールで、より早く結果を出せる可能性を秘めた方法に注目する。

個人の認知能力は、教育や訓練といった伝統的な方法をはじめ、さまざまな方法で強化することができる。神経発達は、母子栄養の最適化、鉛やその他の神経毒性汚染物質の環境からの除去、寄生虫の駆除、十分な睡眠と運動の確保、脳に影響を与える病気の予防などのローテク介入によって促進することができる。33 認知力の向上は、これらの手段によって確実に得られるが、その大きさは、特にすでに適度に栄養や学校教育を受けている集団では控えめとなる可能性がある。しかし、特に恵まれない人々を引き上げ、世界的な才能の受け皿を拡大することで、ギリギリのところで役に立つかもしれない。(ヨウ素欠乏による生涯知能低下症は、世界の多くの貧しい内陸部で依然として蔓延しており、一人当たり年間数セントのコストで食卓塩を強化することでこの症状を防ぐことができるのに、これは言語道断である34）。

生物医学的な強化は、より大きな効果をもたらす可能性がある。（本書の執筆は、コーヒーとニコチンガムによって行われた）現世代のスマートドラッグの効能はさまざまで、わずかであり、一般的には疑わしいが、将来のヌートロピックは、より明確な効能とより少ない副作用を提供するかもしれない36。しかし、健康な人の脳に何らかの化学物質を導入することで、知能が飛躍的に向上するというのは、神経学的にも進化論的にもありえないことだ37。人間の脳の認知機能は、多くの要因の微妙な調整、特に胚発生の重要な段階に依存しており、この自己組織化構造を強化するには、単に余計な薬を注入するよりも、慎重にバランスをとり、調整し、育てる必要がある可能性がはるかに高い。

遺伝子を操作することで、精神薬理学よりも強力なツールを提供することができる。着床前遺伝子診断は、体外受精の際に、ハンチントン病などの単発性疾患や乳がんなどの遅発性疾患の素因を持つ胚を選別するためにすでに用いられている。また、性別の選択、病気の兄弟姉妹とヒト白血球抗原の型を一致させ、新しい赤ちゃんが生まれたときに臍帯血幹細胞提供の恩恵を受けられるようにするためにも使用されている。行動遺伝学の進歩の強力な原動力は、ジェノタイピングと遺伝子配列決定のコストが急速に低下していることである。認知能力も含め、無視できない遺伝性を持つあらゆる形質が、選択の対象となり得る。

表5は、狭義の知能遺伝率の基礎となる一般的な相加的遺伝変異株に関する情報が完全であると仮定して、さまざまな量の選択によって得られる知能の増加の予想値を示している。(当然のことながら、より多くの胚の間で選択すると、より大きな利益が得られるが、収穫は急減する。100個の胚の間で選択しても、2個の胚の間で選択した場合の50倍に近い利益は得られない45。

表5 一組の胚から選択した場合の最大IQ利得43

【本文参照】

興味深いことに、複数世代に渡って選択すると、リターンの逓減は大きく緩和される。したがって、10世代にわたって上位10分の1を繰り返し選択すれば（各新世代は前世代に選択された者の子孫からなる）、100分の1を一度だけ選択するよりもはるかに大きな形質値の増加が得られる。逐次選択の問題は、もちろん時間がかかることである。世代を重ねるごとに20年、30年かかるとすれば、たった5世代でも20世紀を超えることになる。そのずっと前に、より直接的で強力な遺伝子操作（機械知能は言うに及ばず）が可能になっている可能性が高い。

すなわち、胚性幹細胞から生存可能な精子と卵子を得ることである46。この技術は、すでにマウスで妊娠可能な子孫を、ヒトで配偶子様細胞を作り出すのに使われている。しかし、動物実験の結果をヒトに適用することや、幹細胞由来のエピジェネティックな異常を回避することには、科学的に大きな課題が残されている。ある専門家によると、これらの課題により、ヒトへの応用は「10年、あるいは50年先」となる可能性があるという。47

幹細胞由来の配偶子があれば、夫婦が選択できる範囲が大きく広がる可能性がある。現在、体外受精では、通常10個以下の胚を作成することができる。幹細胞由来の配偶子であれば、数個の提供された細胞が実質的に無制限の数の配偶子に変化し、それらを組み合わせて胚を作ることができるかもしれない。個々の胚の準備とスクリーニングにかかる費用にもよるが、この技術によって、体外受精を行うカップルの選択力は、数倍も向上する可能性がある。

さらに重要なことは、幹細胞由来の配偶子によって、何世代にもわたる選択を、人間の成熟期間以下に圧縮することが可能になることだ。これは、以下のステップからなる手順である48。

  • 1 遺伝子型を決定し、希望する遺伝的特性がより高い胚をいくつか選択する。
  • 2 それらの胚から幹細胞を取り出し、精子と卵子に変換し、6カ月以内に成熟させる49。
  • 3 新しい精子と卵子を交配させて胚を作る。
  • 4 大きな遺伝子の変化が蓄積されるまで、これを繰り返す。

このようにして、わずか数年で10世代以上の選抜を行うことができるようになる。(手間とコストがかかるが、原理的には1回の出産で済む。この方法の最後に確立される細胞株は、非常に大量の強化胚を作るために使用することができる)。

表5が示すように、この方法で妊娠した個体の平均知能レベルは非常に高く、歴史上の人類の中で最も知能の高い個体と同等か、それよりもやや高いかもしれない。このような個体が大量に存在する世界では、（それに見合う文化、教育、通信インフラなどがあれば）集団的な超知能を構成することができるかもしれない。

このテクノロジーのインパクトは、いくつかの要因によって弱められ、遅れるだろう。最終的に選択された胚が大人の人間に成長するまでの成熟の遅れは避けられない。強化された子供が完全な生産性を獲得するまでに少なくとも20年、その子供が労働力のかなりの部分を占めるようになるまでにさらに長い時間がかかる。さらに、技術が完成しても、当初は普及率が低いだろう。50 選択が認められている場合でも、多くのカップルは自然な方法で妊娠することを好むだろう。しかし、体外受精に関連する利点がより明確であれば、体外受精を行う意欲は高まるだろう。例えば、生まれた子供が非常に優秀で、病気に対する遺伝的素因を持たないことが事実上保証されるなどである。医療費の削減や期待される生涯収入の増加も、遺伝的選択を支持する論拠になるだろう。特に社会的エリートの間で遺伝的選択の使用が一般的になると、遺伝的選択の使用を責任ある賢明な夫婦が行うことだとする育児規範への文化的変化が起こるかもしれない。当初は消極的だった人たちも、友人や同僚の子供と比較して不利にならないような子供を持つために、その流れに乗るようになるかもしれない。国によっては、国民が遺伝子選択を利用するように誘導することで、国の人的資本を増やしたり、支配者一族以外の従順、従順、従順、適合、リスク回避、臆病などの形質を選択して、長期的な社会の安定を高めたりすることもできるだろう。

知的能力への影響も、利用可能な選択力を認知形質の強化にどの程度使うかによって決まるだろう（表6）。何らかの形で胚選択を行うことを選択する人は、自由に使える選択力をどのように配分するかを選択しなければならず、知能は、健康、美、性格、運動能力など、他の望ましい属性とある程度競合することになるであろう。反復胚選択では、このような大きな選択力を提供することで、これらのトレードオフをある程度緩和し、複数の形質に対する強力な選択を同時に行うことが可能になるであろう。しかし、この方法は、親と子の間の正常な遺伝的関係を破壊する傾向があり、多くの文化における需要に否定的な影響を与える可能性がある51。

遺伝子技術のさらなる進歩により、ゲノムの合成が可能になり、大量の胚のプールが不要になるかもしれない。しかし、生殖に使用できるヒトゲノム全体を合成することは、まだ実現可能ではない（エピジェネティクスを正しく理解することがまだ未解決のため）。また、両親のどちらにも存在しない遺伝子をスプライシングすることも可能である。これには、集団に存在する頻度は低いが、認知に大きなプラスの影響を与える可能性がある対立遺伝子が含まれる55。

表6 異なるシナリオにおける遺伝子選択から考えられる影響52

【本文参照】

ヒトゲノムの合成が可能になったときに可能になる介入のひとつに、胚の遺伝的「スペルチェック」がある。(私たち一人ひとりは現在、さまざまな細胞プロセスの効率を低下させる変異を、おそらく何百個も抱えている。遺伝子合成を使えば、胚のゲノムを採取し、蓄積された突然変異による遺伝的ノイズのないゲノムを構築することができる。挑発的な言い方をすれば、このようなゲノムの校正から生まれた個体は、現在生きている誰よりも「より人間らしい」、つまり人間の形を歪めることなく表現することができるかもしれない。というのも、人間は遺伝的にさまざまな変異を持つため、そのすべてがカーボンコピーになるわけではないからだ。しかし、校正されたゲノムの表現型は、知性、健康、丈夫さ、外見などの多遺伝子形質次元において高い機能を持つ、並外れた肉体的・精神的体質となるかもしれない58（緩やかな類推は、重ね合わせた個人の欠陥が平均化された合成顔にもできる：図6参照）。

図6 スペルチェックされたゲノムのメタファーとしての合成顔

中央の写真は、16人の異なる個人（テルアビブの住民）の写真を重ね合わせたものである。合成顔は、その構成要素である個々の顔よりも、特異な欠点が平均化され、より美しいと判断されることが多い。同様に、個々の突然変異を除去することで、校正ゲノムは「プラトニックな理想」に近い人々を生み出すことができるかもしれない。多くの遺伝子は、同じ機能を持つ対立遺伝子が複数存在するため、そのような人たちがすべて遺伝的に同一であるわけではない。校正は、致命的な突然変異に起因する差異を排除するだけである59。

他の潜在的なバイオテクノロジーの技術もまた、関連する可能性がある。ヒトの生殖クローニングが実現すれば、非常に優秀な個人のゲノムを複製するために使用することができる。しかし、(1) 例外的に優秀な人の数が比較的少なくても、大きな影響を与える可能性があること、(2) どこかの国が、おそらく代理母に報酬を支払うなどして、より大規模な優生プログラムに着手する可能性があることから、この方法が無視できない影響を及ぼすようになる可能性はある。また、新規の合成遺伝子の設計や、遺伝子の発現を制御するプロモーター領域やその他の要素のゲノムへの挿入など、他の種類の遺伝子工学も、時間の経過とともに重要になるかもしれない。さらに、複雑な構造を持つ培養皮質組織の入ったタンクや、「高められた」トランスジェニック動物（クジラやゾウのような大脳の哺乳類で、人間の遺伝子が濃縮されているかもしれない）など、もっとエキゾチックな可能性もある。後者は完全に推測の域を出ないが、より長い時間軸で見れば、おそらく完全に否定することはできないだろう。

これまで、生殖細胞への介入、つまり配偶子や胚に行われる介入について述べていた。体細胞遺伝子の強化は、世代交代サイクルを回避することで、原理的にはより早く影響をもたらすことができる。しかし、技術的にははるかに困難である。改変した遺伝子を生体の多くの細胞（認知機能強化の場合は脳も含む）に挿入する必要がある。一方、既存の卵細胞や胚の中から選択する場合は、遺伝子を挿入する必要がない。ゲノムを改変する生殖細胞治療（ゲノムの校正や希少対立遺伝子のスプライシングなど）であっても、少数の細胞を扱う配偶子や胚の段階での実施ははるかに簡単だ。さらに、胚への生殖細胞系列の介入は、大人への体細胞系列の介入よりも大きな効果を達成できるだろう。前者は初期の脳の発達を形作ることができるのに対し、後者は既存の構造に手を加えることに限られるからだ。(体細胞遺伝子治療でできることの一部は、薬理学的手段でも達成できるかもしれない）。

仮に今日、技術が完成し、直ちに実用化されたとしても、遺伝的に強化された子供たちが成熟するまでに20年以上かかるだろう。さらに、人間への応用の場合、安全性を判断するための大規模な研究が必要なため、実験室でのコンセプトの証明から臨床応用までには、通常少なくとも10年の遅れがある。しかし、最もシンプルな遺伝子選択法であれば、通常の不妊治療技術と遺伝情報を用いて、偶然に選択されたかもしれない胚を選択することができるため、このような試験の必要性はほとんどないだろう。

また、失敗に対する恐怖（安全性試験への要求）ではなく、成功に対する恐怖（遺伝子選択の道徳的許容性やより広範な社会的影響に対する懸念による規制への要求）に根ざした障害から、遅れが生じることも考えられる。このような懸念は、文化的、歴史的、宗教的背景の違いから、ある国ではより大きな影響力を持つ可能性がある。例えば、戦後のドイツは、優生学に関連する残虐行為の暗い歴史を考慮し、少しでも強化が目的と思われるような生殖行為には大きな距離を置くことを選択した。他の欧米諸国は、よりリベラルなアプローチをとるだろう。また、中国やシンガポールなど、長期的な人口政策を行っている国では、自国民の知能を高めるための遺伝子選択と遺伝子工学の利用を、技術的に可能になれば、許可するだけでなく積極的に推進する可能性もある。

いったん模範が示され、その結果が出始めれば、未開拓の国はそれに追随する強い動機を持つことになる。国家は、認知の後進国となり、新しい人間強化技術を取り入れた競争相手との経済的、科学的、軍事的、威信的な競争において敗北するという見通しに直面することになる。ある社会では、エリート校の生徒が遺伝的に選ばれた子供たち（平均して、より美しく、より健康で、より良心的な子供たち）で埋め尽くされているのを見て、自分たちの子孫にも同じような利点を持たせたいと思うようになるだろう。この技術がうまく機能し、大きな利益をもたらすことが証明されれば、比較的短期間（おそらく10年程度）で、大きな意識改革が起こる可能性がある。アメリカでは、1978年に最初の「試験管ベビー」であるルイーズ・ブラウンが誕生した後、体外受精に対する国民の支持が劇的に変化したことが、世論調査で明らかになっている。その数年前、不妊治療のために体外受精を利用すると答えたアメリカ人は18%しかいなかったが、ルイーズ・ブラウンの誕生直後の世論調査では53%が利用すると答え、その数は増え続けている61（比較として 2004年の世論調査では、「強さや知能」を理由に胚を選択することに賛成するアメリカ人は28%、成人発症のがんを避けるために賛成するのは58%、致命的な小児疾患を避けるためには68%が賛成だった）62。

例えば、体外受精の胚の中から効果的に選択するために必要な情報を集めるのに5年から10年（幹細胞由来の配偶子がヒトの生殖に利用できるようになるまでには、もっと長い時間がかかるかもしれない）、大きな普及を築くのに10年、そして強化世代が生産を始める年齢に達するまで20年から25年という様々な遅れを合計すると、今世紀半ばまでには、生殖系列強化が社会に大きな影響を与えることはないだろうとわかる。しかし、それ以降になると、成人人口のかなりの部分が遺伝子強化によって知能が向上し始めるかもしれない。そして、より強力な次世代遺伝子技術（特に幹細胞由来の配偶子や反復胚選択）を用いて妊娠した集団が労働力として働くようになると、その上昇スピードは大きく加速されるだろう。

上記のような遺伝子技術が完全に発達すれば（培養神経組織に知能を持たせるなど、よりエキゾチックな可能性はさておき）、新しい個体は平均して、これまで存在したどの人間よりも賢く、さらにそのピークが高くなるようにできるかもしれない。このように、生物学的強化の可能性は究極的に高く、少なくとも弱い形の超知能を達成するのに十分であると思われる。これは驚くべきことではない。結局のところ、人間の近縁種である類人猿や私たち自身のヒューマノイドの祖先と比較しても、間抜けな進化の過程で人間の系統の知能は劇的に増幅されたのである。ホモ・サピエンスが生物学的なシステムで達成可能な認知効果の頂点に達したと考える理由はない。私たちは、可能な限り賢い生物種というよりも、技術文明を始めることができる可能性のある最も愚かな生物種と考えた方がよいだろう。

生物学的な進歩は、明らかに実現可能である。生殖細胞への介入には世代間のタイムラグがあるため、機械的な知能を伴うシナリオのように急激な進歩は望めない。(体細胞遺伝子治療や薬理学的介入は、理論的には世代間のタイムラグをスキップすることができるが、完成させるのが難しく、劇的な効果をもたらす可能性も低いようだ）。もちろん、機械知能の究極的な可能性は、有機知能のそれよりも遥かに大きなものである。(電子部品と神経細胞との速度差を考えれば、その差の大きさがわかる） しかし、生物学的認知の比較的緩やかな向上であっても、重要な結果をもたらす可能性がある。特に、認知機能の強化は、より強力な生物学的知性の増幅や機械的知性への進歩を含め、科学や技術を加速させる可能性がある。アベレージ・ジョーがアラン・チューリングやジョン・フォン・ノイマンに匹敵する知的能力を持ち、数百万人の人々が過去のどんな知的巨人よりもはるかに高い位置に立つような世界では、人工知能分野の進歩速度がどう変化するかを考えてみよう63。

認知機能強化の戦略的な意味合いについての議論は、後の章で行う必要がある。しかし、3つの結論に注目して、このセクションを要約することができる： (1) 少なくとも弱い形の超知能は、バイオテクノロジーによる強化によって実現可能である。(2) 認知機能を強化した人間の実現可能性は、高度な形の機械知能が実現可能であるという説得力を高める; 3）今世紀後半からそれ以降のシナリオを考えるとき、有権者、発明家、科学者など、遺伝的に強化された人々が出現する可能性があり、その強化の程度はその後の数十年間で急速に拡大することを考慮しなければならない。

ブレイン・コンピューター・インターフェイス

脳とコンピュータの直接接続、特にインプラントによって、人間がデジタルコンピューティングの長所である完全な想起、迅速かつ正確な算術計算、広帯域データ伝染を利用できるようになり、その結果、ハイブリッドシステムが強化されていない脳を根本的に上回ることができると提案されることがある64。しかし、人間の脳とコンピュータが直接つながる可能性は示されているものの、こうしたインターフェースがすぐに強化として広く使われるとは思われない65。

そもそも、脳に電極を埋め込む際には、感染症、電極のズレ、出血、認知機能の低下など、医療上の合併症のリスクが大きい。脳刺激によって得られる効果を最も鮮明に示しているのは、おそらくパーキンソン病患者の治療であろう。パーキンソン病用のインプラントは、脳と通信するわけではなく、視床下核に刺激を与える電流を流すだけという比較的シンプルなもの。デモビデオでは、椅子に座ったまま動けなくなった被験者が、電流を流すと突然動き出し、腕を動かし、立ち上がって部屋の中を歩き回り、振り返ってピルエットをする様子が映し出されている。しかし、この極めてシンプルで奇跡的ともいえる成功例の裏には、否定的な意見もある。脳深部インプラントを受けたパーキンソン病患者を対象としたある研究では、対照群と比較して、言葉の流暢さ、選択的注意、色の命名、言語記憶の低下が見られた。66このようなリスクや副作用は、重度の障害を軽減するために使用するのであれば、我慢できるかもしれない。しかし、健康な被験者が自ら脳神経外科手術に志願するためには、正常な機能を非常に大幅に向上させることが必要である。

サイボーグ化によって超知能が達成されることを疑う2つ目の理由は、機能強化が治療よりもはるかに困難である可能性が高いということである。パーキンソン病や慢性疼痛の患者には、脳の特定部位の活動を興奮または抑制する脳深部刺激が有効かもしれない。脳インプラントが健常者にもたらす可能性のある恩恵のほとんどは、通常の運動器官や感覚器官を使って体外にあるコンピュータと対話することによって、はるかに少ないリスク、費用、不便さで得ることができる。インターネットにアクセスするために、脳に光ファイバーケーブルを差し込む必要はない。人間の網膜は、毎秒1000万ビットという驚異的な速度でデータを送信できるだけでなく、この情報の流れから意味を抽出し、さらに処理するために他の脳領域と連携することに高度に適応した、大量の専用ウェットウェア、視覚野があらかじめパッケージ化されている70。たとえ、より多くの情報を簡単に脳に送り込む方法があったとしても、データを理解するために必要なすべての神経機構が同様にアップグレードされなければ、データの流入量を増加しても思考や学習速度を高めるにはほとんど役に立たない。そのためには、脳のほとんどすべてを含む「全脳義体」、つまり人工知能が必要になる。しかし、人間レベルのAIがあれば、脳外科手術は不要になる。コンピュータは、骨と同じように金属の筐体を持っているかもしれない。つまり、この限定的なケースは、すでに検討したAIの道に戻るだけなのである。

このようなアップリンクは、ロックイン症候群の患者が思考によってスクリーン上のカーソルを動かすことを可能にし、外界とのコミュニケーションに役立っている72。しかし、このような技術は、脳卒中や筋変性によって引き起こされた障害を持つ一部の人々を助けるかもしれないが、健康な被験者にとってはほとんど魅力的ではないだろう。しかし、このようなテクノロジーは、脳卒中や筋変性に起因する一部の障害者を支援するかもしれないが、健常者にはほとんど魅力がない。このテクノロジーが提供する機能は、基本的に、すでに市販されている音声認識ソフトウェアと結びついたマイクの機能であり、神経外科手術に伴う痛み、不便さ、費用、リスクを差し引いている（そして頭蓋内聴取装置の超オルウェル的含みを少なくとも一部差し引く）。また、機械を体の外に置いておくことで、アップグレードも容易になる。

しかし、言葉を一切使わず、2つの脳をつなぐことで、概念や思考、専門分野全体を一方の頭から他方の頭へ「ダウンロード」するという夢はどうだろう。私たちは、何百万冊もの本や論文を収めた図書館など、大きなファイルをコンピュータにダウンロードすることができるが、これは数秒のうちにできることである。この考え方が一見もっともらしく見えるのは、情報が脳内でどのように保存され、表現されるかについての誤った見解に由来していると思われる。前述のように、人間の知能の限界は、生のデータをいかに速く脳に送り込むかではなく、脳がいかに速く意味を抽出し、データを理解できるかという点にある。そこで、意味を感覚的なデータに変換し、それを受信者が解読するのではなく、直接的に伝達することが提案されるかもしれない。しかし、これには2つの問題がある。一つは、脳は、私たちがコンピュータで実行するプログラムとは対照的に、標準化されたデータ記憶・表現形式を使用しないということである。むしろ、それぞれの脳は、高次のコンテンツについて独自の表現を開発する。ある概念を表現するために、どのような神経細胞の集合体が使われるかは、遺伝的要因や確率的な生理学的プロセスとともに、その脳が持つ固有の経験によって決まる。人工的なニューラルネットと同様に、生物学的なニューラルネットにおける意味は、整然と並べられた個別の記憶細胞ではなく、大きく重なり合った領域の構造と活動パターンに全体的に表現されると考えられる。ある脳の思考を別の脳に理解させるためには、受信側の脳が記号を正しく解釈できるように、共有された慣習に従って思考を分解して記号にパッケージ化する必要がある。これが言語の仕事である。

原理的には、送信者の脳の神経状態を読み取って、受信者の脳にオーダーメイドの活性化パターンを送り込むようなインターフェースに、表現と解釈の認知作業をオフロードすることは想像できるだろう。しかし、ここでサイボーグのシナリオの2つ目の問題に行き着く。数十億個の個別にアドレス指定可能なニューロンから同時に確実に読み書きを行う方法という（非常に甚大な）技術的課題はさておき、必要なインターフェースを作成することは、おそらくAIにとって完全な問題である。このインターフェースには、一方の脳の発火パターンを、もう一方の脳の意味的に等価な発火パターンに（リアルタイムで）マッピングできるコンポーネントが必要である。このようなタスクを達成するために必要な神経計算の詳細なマルチレベルの理解は、ニューロモーフィックAIを直接可能にするように思われる。

このような懸念はあるものの、サイボーグによる認知機能向上は、まったく期待できないわけではない。ラットの海馬を用いた印象的な研究により、単純な作業記憶タスクのパフォーマンスを向上させる神経補綴の実現可能性が示された75。現在のバージョンでは、インプラントは海馬のある領域（「CA3」）にある12～2個の電極から入力を集め、別の領域（「CA1」）の同数の神経細胞に投影する。マイクロプロセッサーは、第1領域の2つの異なる発火パターン（「右レバー」「左レバー」という2つの異なる記憶に対応）を識別し、これらのパターンが第2領域にどのように投影されるかを学習する。この義肢は、2つの神経領域間の正常な神経接続が遮断されたときに機能を回復できるだけでなく、特定の記憶パターンの特に明確なトークンを第2領域に送ることで、記憶課題のパフォーマンスをラットの通常能力を超えて向上させることができる。この研究は、現代の基準からすると、技術的な力作だが、多くの難問を残している： この方法は、より多くの記憶に拡張できるのか？入出力ニューロンの数が増えるにつれて、正しいマッピングの学習が不可能になる恐れのある組み合わせの爆発を、どの程度抑制できるのか？テスト課題での性能向上は、実験で使用した特定の刺激から一般化する能力の低下や、環境が変化したときに関連付けを解除する能力の低下など、何らかの隠れた犠牲を伴うのだろうか？ラットと違って、紙とペンのような外的な記憶補助具を使うことができたとしても、被験者は何らかの恩恵を受けるのだろうか？また、同じような方法を脳の他の部分に適用することは、どれほど難しいことだろうか。海馬では、比較的単純なフィードフォワード構造（CA3領域とCA1領域の間の一方向の橋渡し役）を利用しているが、大脳皮質の他の構造では、複雑なフィードバックループがあり、配線図の複雑さが増し、おそらく、組み込まれたニューロン群の機能を解読することが難しくなる。

サイボーグ化するための一つの希望は、脳を外部リソースに接続する装置を永久的に埋め込むと、自身の内部認知状態と装置から受け取る入力、あるいは装置が受け入れる出力との間の効果的なマッピングを時間とともに学習することである。そうなれば、インプラント自体がインテリジェントである必要はなく、むしろ、幼児の脳が目や耳の受容体から届く信号の解釈を徐々に学んでいくように、脳がインテリジェントにインターフェースに適応していくことになる76。しかし、ここでまた、本当に得られるものは何なのかという疑問を持たざるを得ない。仮に、脳の可塑性が高く、ブレイン・コンピュータ・インターフェイスによって大脳皮質の一部に任意に投影される新しい入力ストリームからパターンを検出することを学ぶことができたとする：同じ情報を、視覚パターンとして網膜に、あるいは音として蝸牛に投影してはどうか？ローテクな方法であれば、多くの複雑な問題を回避でき、いずれの場合も、脳はパターン認識機構と可塑性を発揮して、情報の意味を学習することができる。

ネットワークと組織

超知能へのもう一つの道として考えられるのは、個々の人間の心を互いに、あるいはさまざまな人工物やボットと結びつけるネットワークや組織を徐々に強化することである。ここでの考え方は、個人の知的能力を十分に高めて超知能にするというものではなく、このようにネットワーク化され組織化された個人からなるシステムが超知能の一形態を獲得するというもので、次章では「集合的超知能」として詳述する77。

人類は歴史と先史の過程で、集団的知性において非常に大きな成果を上げてきた。この利益は、文字や印刷などの通信技術の革新、とりわけ言語そのものの導入、世界人口の増加や居住密度の向上、組織技術や認識規範のさまざまな改善、制度資本の漸進的蓄積など、多くの要因からもたらされた。一般論として、システムの集合知は、構成員の頭脳の能力、構成員間の関連情報伝達のオーバーヘッド、人間の組織に蔓延するさまざまな歪みや非効率性によって制限される。通信のオーバーヘッド（設備費だけでなく、応答遅延、時間や注意力の負担なども含む）が減少すれば、より大規模で高密度の接続が可能な組織となる。また、無駄なステータスゲーム、ミッションクリープ、情報の隠蔽や改竄など、組織生命を狂わせる官僚的な変形を修正することができれば、同じことが起こるかもしれない。これらの問題に対する部分的な解決策でも、集合知に多大な利益をもたらす可能性がある。

集合知の成長に貢献しうる技術的・制度的な革新は、多種多様である。例えば、補助金付きの予測市場は真実を求める規範を育み、争いの絶えない科学的・社会的問題の予測を改善するかもしれない78。嘘発見器（信頼性が高く使いやすいものを作ることが可能であると判明した場合）は、人間関係における欺きの範囲を狭めるかもしれない79。自発的・非自発的な監視は、人間の行動に関する膨大な情報を蓄積することになる。すでに10億人以上の人々が個人情報を共有するために利用しているソーシャル・ネットワーキング・サービス（SNS）は、やがてスマートフォンやメガネのフレームに埋め込まれたマイクやビデオカメラから連続的な生活記録をアップロードするようになるかもしれない。このようなデータストリームを自動分析することで、多くの新しいアプリケーション（もちろん、悪意あるものだけでなく、善意あるものも）が可能になるであろう81。

集合知の成長は、より一般的な組織や経済の改善、および教育を受け、デジタルに接続され、グローバルな知的文化に溶け込んでいる世界人口の割合の拡大からももたらされるかもしれない82。

インターネットは、イノベーションと実験のための特にダイナミックなフロンティアとして際立っている。インターネットは、革新と実験のための特にダイナミックなフロンティアとして際立っている。その潜在力の大部分は、まだ未開発のままかもしれない。熟慮、偏見排除、判断の集約をよりよくサポートするインテリジェントなウェブの開発を継続することで、人類全体または特定の集団の集合知を高めることに大きく貢献できるかもしれない。

しかし、インターネットがいつか「目覚める」かもしれないという、一見すると空想的な考え方はどうだろうか。インターネットは、ゆるやかに統合された集合的な超知能のバックボーンにとどまらず、統一された超知能を収容する仮想の頭蓋骨のようなものになり得るだろうか。(これに対して、機械知性は困難なエンジニアリングによって達成されるものであり、それが自然に発生すると考えるのは信じられないという反論があるであろう。しかし、将来のインターネットのあるバージョンが、単なる偶然によって突然超知的になる、という話である必要はない。より妥当なシナリオは、インターネットが、より優れた検索や情報のフィルタリングのアルゴリズム、より強力なデータ表現形式、より有能な自律型ソフトウェアエージェント、そうしたボット間の相互作用を管理する効率的なプロトコルを設計するために何年もかけて多くの人々の作業を通じて改善を積み重ねていき、無数の漸進的改善が、最終的にウェブインテリジェンスのより統一的な形態の基礎を作り出すというものであろう。このようなウェブベースの認知システムは、コンピュータパワーと、爆発的な成長に必要な他のすべてのリソースが過飽和状態にあり、ある重要な成分を除いては、最後に欠けていた成分を大釜に投下すると、超知性を発揮することができる、ということは少なくとも考えられることである。しかし、このようなシナリオは、超知能へのもう一つの可能性である人工的な一般知能に収斂する。

まとめ

超知能に至る道筋がたくさんあるということは、いずれはそこに辿り着けるという確信につながるはずだ。仮に一つの道が閉ざされたとしても、私たちは前進することができる。

経路が複数あることは、目的地が複数あることを意味しない。仮に、機械的知性以外の経路で知性の大幅な向上が達成されたとしても、機械的知性が無意味になることはない。生物学的または組織的な知能の強化は科学技術の発展を加速させ、全脳エミュレーションやAIなど、より急進的な知能増幅の到来を早める可能性がある。

これは、機械による超知能の実現に無関心であると言っているのではない。そこに至る道筋が、最終的な結果に大きな違いをもたらすかもしれない。最終的に得られる能力が軌跡にあまり依存しないとしても、その能力がどのように使われるのか、また、その能力を人間がどの程度コントロールできるのかは、アプローチの詳細によって大きく左右されるかもしれない。例えば、生物学的または組織的な知性を強化することで、リスクを予測し、安全で有益な機械の超知能を設計する能力を高めることができるかもしれない。(完全な戦略的評価には多くの複雑な要素が含まれるため、第14章を待つ必要がある）。

真の超知能は（現在の知能レベルの限界的な向上とは対照的に）、AIの道を通して最初に達成される可能性が高いかもしれない。しかし、この道筋には多くの基本的な不確実性がある。そのため、この道のりがどれくらい長いのか、どれくらいの障害があるのかを厳密に評価することは難しい。また、全脳エミュレーションの道も、超知能への最短ルートとなる可能性はある。この道の進歩には、理論的なブレークスルーよりも、主に段階的な技術的進歩が必要であるため、いずれは成功するという強い主張ができる。しかし、全脳エミュレーションの進展が早くても、人工知能が最初にゴールする可能性はかなり高いと思われる。これは、部分的なエミュレーションに基づくニューロモルフィックAIの可能性があるためだ。

生物学的な認知機能強化は、特に遺伝子選択に基づくものが実現可能であることは明らかだ。特に、遺伝子選択に基づく認知機能強化は、現在、特に有望な技術であると思われる。しかし、機械知能の飛躍的な進歩に比べれば、生物学的な強化は比較的緩やかで遅々として進まないだろう。せいぜい、比較的弱い超知能を生み出す程度であろう（この点については後述する）。

生物学的強化の実現可能性が明らかになったことで、機械知能が最終的に達成可能であるとの確信が強まるはずだ。なぜなら、強化された人間の科学者やエンジニアは、自然のままの人間よりも、より多くの、より速い進歩を遂げることができるからだ。特に、機械による知能の実現が今世紀半ば以降にずれ込むようなシナリオでは、認知機能がますます強化された集団が、その後の開発で果たす役割が大きくなっていくだろう。

ブレイン・コンピューター・インターフェースは、超知能の源となる可能性は低いと思われる。しかし、より可能性が高いのは、生物学的な認知機能強化と同様の役割を果たし、知的問題を解決するための人類の有効な能力を徐々に高めていくことであろう。生物学的な強化に比べれば、ネットワークと組織の進歩は、より早く変化をもたらすだろう。しかし、ネットワークや組織の改善は、生物学的認知の改善と比較して、問題解決能力の向上幅が狭く、次章で紹介するような「質の高い知性」ではなく「集合知」を高めることになるかもしれない。

管理

第15章 クランチタイム

私たちは、不確実性の濃い霧に包まれた、戦略的に複雑な藪の中にいることに気づいた。多くの考慮事項が明らかになったが、その詳細や相互関係は不明確で、あやふやなままである。そんなとき、私たちはどうすればいいのだろうか。

期限付きの哲学

私の同僚は、フィールズ賞（数学における最高の栄誉）は、受賞者について2つのことを示すと指摘するのが好きだ。厳しい言葉だが、この言葉は真実を示唆している。

「発見」とは、情報の到着を遅い時点から早い時点に移動させる行為だと考えてほしい。発見の価値は、発見された情報の価値ではなく、その情報をより早く手に入れることができたという価値である。科学者や数学者は、他の多くの人が解決できなかった解を最初に見つけることで、偉大な技術を示すことができるかもしれない。しかし、その解決策がすぐに実用化されたり、理論的な研究の基礎となるようなものであれば、その可能性は高い。そして、後者の場合、解決策が、さらなる理論化のための積み木としてのみ直ちに使用される場合、解決策が可能にするさらなる作業がそれ自体重要かつ緊急である場合に限り、解決策を少しでも早く得ることに大きな価値がある1。

問題は、フィールズ賞受賞者が発見した結果が、それ自体「重要」であるかどうか（道具的であれ、知識自身のためであれ）ではない。むしろ問題は、メダリストがその結果の公表をより早い時期に可能にしたことが重要であったかどうかである。この時間的輸送の価値は、世界的な数学者が他のことに取り組むことで生み出せたであろう価値と比較されるべきものである。少なくとも場合によっては、フィールズメダルは、間違った問題を解くことに費やした人生を示しているのかもしれない。

同じような非難は、哲学のような他の分野にも向けられるかもしれない。哲学には、人類存亡リスクの軽減に関連する問題がいくつかあり、本書でもいくつかの問題に遭遇した。しかし、哲学の中には、人類存亡リスクや実際的な関心事とは全く関係のない下位分野も存在する。純粋数学と同様に、哲学が研究する問題の中には、実用的な応用とは無関係に人間が関心を持つ理由があるという意味で、本質的に重要であると見なされるものがある。例えば、現実の根本的な性質は、それ自体のために知る価値があるかもしれない。もし誰も形而上学や宇宙論、弦理論などを学ばなければ、世界は間違いなく輝きを失ってしまうだろう。しかし、知性の爆発という夜明けの予感は、この古くからの知恵の探求に新たな光を当てている。

哲学の進歩は、すぐに哲学するのではなく、間接的な道を通して最大化できることが、今や展望として示されている。超知能（あるいは適度に強化された人間の知能）が現在の思想家たちを凌駕する多くの課題の一つは、科学と哲学における基本的な疑問に答えることである。この考察は、「満足を先延ばしにする」という戦略を示唆している。私たちは、永遠の問いのいくつかに取り組むのを少し先延ばしにして、できればもっと有能な後継者にその仕事を委ね、自分たちの注意をより差し迫った課題、つまり、実際に有能な後継者を持つ可能性を高めることに集中することができる。これが、インパクトのある哲学であり、インパクトのある数学なのである2。

何をすべきなのか？

このように、私たちは、重要であるばかりでなく、その解決が知能の爆発以前に必要であるという意味で、緊急性の高い問題に焦点を当てたいと考えている。また、ネガティブバリュー（解決することが有害であること）の問題には手を出さないように注意しなければならない。例えば、人工知能の分野の技術的な問題は、その解決によって機械知能の発達を早め、機械知能革命を生存可能で有益なものにする制御方法の発達を早めることはできないので、負の価値となるかもしれない。

緊急かつ重要で、自信を持って正の価値とみなすことができるような問題を特定するのは難しいことである。人類存亡リスクの軽減をめぐる戦略的不確実性は、善意の介入であっても非生産的であるばかりか逆効果であることが判明することを心配しなければならないことを意味する。積極的に有害なことや道徳的に間違ったことをするリスクを抑えるために、私たちは、強固な正の価値を持つと思われる問題（すなわち、その解決策が幅広いシナリオにわたって正の貢献をするもの）に取り組み、強固に正当化できる（すなわち、幅広い道徳観から受け入れられる）手段を採用することを好むべきである。

さらに、どの問題を優先させるかを選択する際にも、考慮すべき点がある。私たちは、解決に向けた努力に対して弾力性のある問題に取り組みたいと考えている。弾力性の高い問題とは、1単位余分に努力すれば、より早く解決できたり、より大きく解決できたりするような問題である。世界にもっと親切にすることは、重要かつ緊急な問題であり、しかも、非常に強固な正の価値を持つように思えるが、それを実現するためのブレイクスルーアイデアがない限り、おそらく弾力性が非常に低い問題である。世界平和を実現することも非常に望ましいことだが、その問題にはすでに多くの取り組みがあり、早急な解決には手ごわい障害があることを考えると、数人の個人の貢献が大きな違いになるとは思えない。

機械知能革命のリスクを軽減するために、私たちは、これらの要望をすべて満たすと思われる2つの目的、すなわち戦略分析と能力開発を提案する。これらのパラメータの符号については、比較的確信が持てる。つまり、戦略的な洞察力と能力が高いほど良いということだ。さらに、これらのパラメータは弾力性があり、わずかな追加投資で比較的大きな違いを生み出すことができる。また、洞察力と能力を身につけることは急務であり、これらのパラメータを早期に向上させることで、その後の取り組みをより効果的にすることができる。この2つの大目標に加え、イニシアティブの価値ある目標をいくつか紹介する。

戦略的な光明を見出す

戦略的な状況を明らかにすることで、その後の介入をより効果的に行うことができるようになる。戦略的状況を明らかにすることで、その後の介入を効果的に行うことができる。戦略的分析が特に必要とされるのは、周辺事項の詳細だけでなく、中心事項の重要な性質についても根本的に不確実である場合である。つまり、どのような方向への変化が望ましく、どのような方向への変化が望ましくないのかがわからないのである。私たちの無知は救いようがないのかもしれない。この分野はほとんど探検されておらず、わずかな戦略的洞察が地表の数フィート下で発掘されるのを待っている可能性がある。

ここでいう「戦略的分析」とは、重要な考慮事項の探索であり、単に実行の微細構造だけでなく、望ましさの一般的なトポロジーに関する私たちの見解を変える可能性を持つアイデアや議論である4。重要な考慮事項の探索（記述的な問題だけでなく、規範的な問題も探索しなければならない）は、しばしば異なる学問分野や他の知識分野の境界を横断する必要がある。このような研究には、確立された方法論がないため、難しい独自の発想が必要となる。

優れた能力の構築

戦略分析と同様に、さまざまなシナリオに対応できるロバストな活動として、将来を見据えたサポート基盤の整備も重要なポイントである。このような拠点は、すぐに研究・分析のためのリソースを提供することができる。そして、他の優先順位が見えてきたら、それに応じてリソースを振り向けることができる。このように、サポートベースは汎用的な能力であり、新たな洞察が生まれれば、その利用を指導することができる。

貴重な資産のひとつは、合理的な慈善活動に専念し、存亡の危機を熟知し、緩和の手段を見極めることのできる個人からなるドナー・ネットワークであろう。特に、初期の資金提供者が聡明で利他的であることが望ましい。なぜなら、彼らは、通常の悪徳な利害関係者が地位を占め、定着する前に、この分野の文化を形成する機会を得ることができるからだ。したがって、このような初期段階での焦点は、適切な種類の人々をこの分野に採用することであるべきである。純粋に安全性を重視し、真実を追求する志向を持つ人（そして、そのような人がより多くの同類を惹きつける可能性がある）を仲間に加えるために、短期的には技術の進歩を見送る価値があるかもしれない。

重要な変数のひとつは、AI分野とその主要プロジェクトの「社会的認識論」の質である。重要な考察を発見することは価値があるが、それが行動に影響を与える場合のみである。このことは、常に当然のこととは言えない。何百万ドルもの資金を投入し、何年もかけてAIのプロトタイプを開発し、多くの技術的課題を乗り越え、ようやくシステムが真の進歩を見せ始めたプロジェクトを想像してほしい。あと少し頑張れば、便利で有益なものになる可能性がある。しかし、あるとき、まったく別のアプローチをとったほうが安全だという重大な事実が発覚した。危険な設計を放棄し、せっかくの進歩も放棄する、不名誉な侍のようなプロジェクトなのか。それとも、心配性のタコのように、疑心暗鬼の雲を膨らませ、攻撃から逃れようとするのだろうか。このようなジレンマの中で確実にサムライの選択肢を選ぶようなプロジェクトは、開発者にとってはるかに好ましいものである。5 しかし、不確かな主張と推測に基づく推論に基づいて切腹することを厭わないプロセスや制度を築くことは容易ではない。社会的認識論のもう一つの側面は、機密情報の管理であり、特に秘密にしておくべき情報を漏らさないようにする能力である。(学術研究者は、常に自分の研究成果をあらゆる街灯や木に掲示することに慣れているため、情報の継続は特に難しいかもしれない）。

特別な対策

戦略的な光と優れた能力という一般的な目標に加え、より具体的な目標も、費用対効果の高い行動の機会を提供することができる。

そのひとつが、機械知能の安全性に関する技術的課題への取り組みである。この目的を達成するためには、情報の危険性を管理することに注意を払う必要がある。制御の問題を解決するのに有効な作業の中には、能力の問題を解決するのに有効なものもあるだろう。AIの導火線を焼くような仕事は、正味のマイナスになりかねない。

もう一つの具体的な目的は、AI研究者の間で「ベストプラクティス」を推進することである。制御問題に関してどのような進展があったとしても、それを普及させる必要がある。特に、強力な再帰的自己改良を伴う場合、計算機実験のある形態では、偶然の離陸のリスクを軽減するために能力制御を使用する必要があるかもしれない。安全方法の実際の実装は、現在ではあまり関係ないが、技術の進歩に伴い、ますますそうなっていくことだろう。そして、コモン・グッド原則を支持し、機械の超知能化の見通しが立ち始めたら、安全性を高めることを約束するなど、実務家に安全へのコミットメントを表明するよう求めるのは早計ではないだろうか。しかし、口は災いの元、心もまた災いの元になる。

しかし、口は災いの元、心も次第に従うようになるかもしれない。また、他の存亡の危機を軽減するため、生物学的認知の向上や集合知の改善を促進するため、あるいは世界政治をより調和のとれた方向にシフトさせるため、何らかの重要なパラメータを押し付ける機会が時々発生するかもしれない。

人間の本性を最大限に引き出す

知性の爆発を前にして、私たち人間は爆弾で遊ぶ小さな子供のようなものである。このように、私たちの遊び道具のパワーと私たちの行動の未熟さとの間にミスマッチがある。超知能は、私たちが現在準備できておらず、長い間準備できない課題である。爆発がいつ起こるかはわからない。しかし、装置を耳に当てると、かすかにカチカチという音が聞こえる。

未爆発の爆弾を手にした子どもなら、そっと置いて、すぐに部屋から出て、近くの大人に連絡するのが賢明な行動だろう。しかし、ここにいるのは一人の子供ではなく、それぞれが独立したトリガーメカニズムにアクセスできる大勢の子供たちである。私たち全員が危険なものを置くという感覚を持つ可能性は、ほとんどないように思われる。何が起こるかわからないからと、発火ボタンを押すバカが必ずいる。

また、逃げることで安全を確保することもできない。知性の爆発は、大空を覆い尽くしてしまうからだ。また、大人もいない。

このような状況下では、歓喜に満ちた気分は味わえないだろう。しかし、最も適切な態度は、夢を実現するか、あるいは夢を消してしまうかの難しい試験に備えるかのように、できる限り有能であろうとする苦々しい決意かもしれない。

これは、狂信的な処方箋ではない。知能の爆発は、まだ何十年も先のことかもしれない。さらに、私たちが直面している課題は、部分的には、私たちの人間性を保持することである。この最も不自然で非人間的な問題に直面しても、地に足のついた、常識的で、ユーモアのある良識を維持することである。私たちは、この問題を解決するために、人間の持つあらゆる能力を発揮する必要がある。

しかし、世界的に重要なことを見失ってはならない。日常の些細な霧の中から、私たちの時代の本質的な課題を、おぼろげながら感じ取ることができる。それは、（少なくとも非人間的で世俗的な観点から）実存的なリスクの軽減と、人類の宇宙的な恵みを慈しみ、喜びに満ちた形で利用する文明の軌跡を達成することを、私たちの主要な道徳的優先事項として提示するものである。

注意事項

予備知識

1. ただし、すべての注釈が有用な情報を含んでいるわけではない。

2. どれがどれだかわからない。

第1章 ： 過去の発展と現在の能力

1. 今日の自給自足レベルの所得は約400ドル（Chen and Ravallion 2010）である。したがって、100万人の自給自足レベルの所得は、$400,000,000である。現在の世界総生産は約60,000,000,000ドルで、近年は年率約4%で成長している（1950年からの年平均成長率、Maddison[2010]に基づく）。これらの図から、本文で述べた推定値が得られるが、もちろんこれは桁違いの近似値に過ぎない。人口を直接見ると、現在、世界の人口が100万人増えるのに約1週間半かかっているが、これは一人当たりの所得も増えているため、経済の成長率を過小評価している。農業革命後の紀元前5000年頃には、世界人口は200年に100万人の割合で増加しており、ヒト型先史時代の100万年に100万人という割合からすると、かなりの加速度がついている。しかし、7000年前に200年かかった経済成長が今は90分で、2世紀かかった世界人口の増加が今は1.5週間であることは印象的である。Maddison (2005)も参照されたい。

2. このような劇的な成長と加速は、ジョン・フォン・ノイマンが数学者スタニスワフ・ウラムとの会話の中で示唆したように、来るべき「特異点」の可能性を示唆しているかもしれない：

私たちの会話の中心は、加速度的に進む技術の進歩と人間の生活様式の変化であり、それは、私たちが知っているような人間関係がそれ以上続かないような、民族の歴史における本質的特異点に近づいているように見える。(ウラム 1958）

3. ハンソン(2000)。

4. Vinge (1993); Kurzweil (2005).

5. サンドバーグ(2010)。

6. Van Zanden (2003); Maddison (1999, 2001); De Long (1998).

7. 1960年代にしばしば繰り返された2つの楽観的な発言： 「機械は20年以内に、人間ができるどんな仕事でもできるようになる」（Simon 1965, 96）、「1世代以内に…人工知能を作る問題は実質的に解決される」（Minsky 1967, 2）。AI予測の体系的なレビューについては、Armstrong and Sotala (2012)を参照のこと。

8. 例えば、Baum et al. (2011)、Armstrong and Sotala (2012)を参照されたい。

9. しかし、このことは、AI研究者が開発期間について自分たちが思っている以上に知らないことを示唆しているのかもしれない。しかし、このことは、AIまでの期間を過大評価するだけでなく、過小評価する可能性もある。

10. Good (1965, 33).

11. 例外はノルベルト・ウィーナーで、彼は起こりうる結果についていくらか懸念を持っていた。彼は1960年にこう書いている： 「もし私たちが目的を達成するために、一度始めたら効率的に干渉することができない機械的な機関を使うなら、その動作は非常に速く、取り消すことができないので、動作が完了する前に介入するデータがない。その機械に込められた目的が、私たちが本当に望む目的であり、単にそれを色よく真似たものではないことをかなり確信したほうがいい」（Wiener 1960）。エド・フレドキンは、McCorduck (1979)で紹介されているインタビューの中で、超知的なAIについての心配を語っている。1970年になると、グッド自身もその危険性について書き、その危険性に対処するための協会の設立を呼びかけている（グッド [1970]; 彼の後の論文 [Good 1982]も参照、彼は13章で議論する「間接規範性」のアイデアの一部を予見している）。1984年までには、マーヴィン・ミンスキーも重要な心配事の多くについて書いていた（Minsky 1984）。

12. 参照：Yudkowsky (2008a). 潜在的に危険な未来の技術が実現可能になる前に、その倫理的意味を評価することの重要性については、Roache (2008)を参照のこと。

13. McCorduck (1979)を参照。

14. Newell et al. (1959).

15. それぞれ、SAINTSプログラム、ANALOGYプログラム、STUDENTプログラム。Slagle (1963), Evans (1964, 1968), Bobrow (1968)を参照。

16. ニルソン(1984)。

17. ワイゼンバウム(1966)。

18. ウィノグラード(1972)。

19. Cope (1996); Weizenbaum (1976); Moravec (1980); Thrun et al. (2006); Buehler et al. (2009); Koza et al. (2003). ネバダ州自動車局は、2012年5月にドライバーレスカーの最初の免許を発行した。

20. STANDUP システム（Ritchie et al. 2007）。

21. Schwartz (1987)。シュワルツはここで、ユベール・ドレフュスの著作に代表されると考えていた懐疑的な見方を特徴づけている。

22. この時代の声高な批判者の一人がユベール・ドレフュスである。この時代の著名な懐疑論者には、他にジョン・ルーカス、ロジャー・ペンローズ、ジョン・サールなどがいる。しかし、この中でドレフュスだけが、AIの既存のパラダイムに期待される実用的な成果についての主張に反論することに主眼を置いていた（ただし、彼は新しいパラダイムがさらに進化する可能性には寛容だったようである）。サールの標的は、心の哲学における機能主義理論であり、AIシステムの道具的な力ではない。ルーカスとペンローズは、古典的なコンピュータが、人間の数学者ができることをすべてできるようにプログラムされることはあり得ないと否定したが、特定の機能が原理的に自動化できることや、AIがいずれ非常に道具的に強力になる可能性は否定していない。キケロは「哲学者がそう言ったのでなければ、これほどばかげたことはない」（Cicero 1923, 119）と述べているが、本書で用いられる意味での機械の超知能の可能性を否定した重要な思想家は、驚くほど考えにくい。

23. しかし、多くの用途では、ニューラルネットワークで行われる学習は、1800年代初頭にAdrien-Marie LegendreとCarl Friedrich Gaussが開発した統計手法である線形回帰で行われる学習とほとんど変わらない。

24. 基本的なアルゴリズムは、1969年にArthur BrysonとYu-Chi Hoによって多段式動的最適化法として記述された（Bryson and Ho 1969）。ニューラルネットワークへの応用は1974年にPaul Werbosによって提案されたが（Werbos 1994）、この手法が徐々に広いコミュニティの意識に浸透し始めたのは、1986年にDavid Rumelhart, Geoffrey Hinton, Ronald Williamsによって行われた研究（Rumelhart et al.1986）以降のことである。

25. 隠れ層を持たないネットは、以前から機能が著しく制限されていることが示されていた（Minsky and Papert 1969）。

26. 例えば、MacKay (2003).

27. マーフィー(2012)。

28. パール(2009)。

29. ここでは、説明の負担が大きくならないように、様々な技術的な詳細を抑えている。第12章では、これらの無視された問題のいくつかを再検討する機会がある。

30. プログラムpは、pを（ある特定の）普遍的チューリング機械U上で実行するとxを出力する場合、文字列xの記述である。これをU(p)=xと書く。（ここで文字列xは可能世界を表す： U(p) = x}であり、l(p)はpの長さをビットで表したものである。xの「ソロモンオフ」確率は、Uがxから始まる文字列を出力する全ての（「最小」、すなわち必ずしも停止しない）プログラムpについて和を定義したものである（Hutter 2005）。

31. 証拠Eに対するベイズ的条件付けは

(ある命題Eの確率は、それが真である可能な世界の確率の総和である)

32. 同数であった場合に、期待効用が最も高い可能性のある行動のうち1つをランダムに選ぶ。

33. より簡潔には、ある行動の期待効用は、すべての可能な世界に対する総和であるとして書くことができる。

34. 例えば、Howson and Urbach (1993); Bernardo and Smith (1994); Russell and Norvig (2010)を参照。

35. Wainwright and Jordan (2008)を参照のこと。ベイズネットの応用分野は無数にあり、例えば、Pourret et al.

36. ゲームAIは重要でない応用分野と思われるかもしれないが、なぜここでこれほど詳細に説明するのか不思議に思う人もいるかもしれない。その答えは、ゲームプレイは、人間対AIの性能を最も明確に測定することができるからだ。

37. Samuel (1959); Schaeffer (1997, ch. 6).

38. Schaefferら(2007)。

39. Berliner (1980a, b)。

40. テサウロ(1995).

41. このようなプログラムには、GNU（Silver [2006]を参照）、Snowie（Gammoned.net [2012]を参照）などがある。

42. レナート自身、艦隊設計のプロセスを導くのに手を貸した。彼は、「したがって、勝利の最終的なクレジットは、60/40%レナート/エウリスコくらいになるはずだが、ここで重要なのは、どちらの当事者も単独では勝利できなかったということだ」（Lenat 1983, 80）と書いている。

43. レナート(1982, 1983)。

44. Cirasella and Kopec (2006).

45. カスパロフ(1996, 55)。

46. ニューボーン(2011).

47. ケイムら(1999)。

48. アームストロング(2012)を参照。

49. シェパード(2002)を参照。

50. ウィキペディア（2012a）。

51. マルコフ(2011)。

52. Rubin and Watson (2011)。

53. エリャサフ他(2011)。

54. KGS (2012).

55. Newellら(1958, 320)。

56. Vardi (2012)に帰属する。

57. 1976年、I.J.グッドは「グランドマスターの強さのコンピュータプログラムは、私たちを[機械の超知能]のエース以内に引き込むだろう」(Good 1976)と書いた。1979年、ダグラス・ホフスタッターはピューリッツァー賞を受賞した『ゲーデル、エッシャー、バッハ』の中で、「質問」と題してこう見解を述べている： 誰にでも勝てるチェス・プログラムは存在するのだろうか？推測 いや、チェスで誰にでも勝てるプログラムはあるかもしれないが、それはチェス専用のプログラムではないだろう。一般的な知能を持ったプログラムであり、人間と同じように気性が荒くなるだろう。チェスをしたいですか』『いや、チェスは飽きたよ。詩の話をしよう』」（Hofstadter [1979] 1999, 678）。

58. アルゴリズムは、α-βプルーニングを用いたミニマックスサーチで、チェスに特化したヒューリスティックな盤面状態の評価関数と組み合わせて使用する。オープン戦やエンドゲームの優れたライブラリや、その他の様々なトリックと組み合わせることで、有能なチェスエンジンになる。

59. 特に、シミュレーションゲームから評価ヒューリスティックを学習する最近の進歩により、基礎となるアルゴリズムの多くは、おそらく他の多くのゲームでもうまく機能するようになるだろう。

60. Nilsson (2009, 318)。Knuthは確かに言い過ぎた。純粋数学の新しいサブフィールドを発明する、哲学をする、偉大な探偵小説を書く、クーデターを起こす、新しい消費財をデザインするなど、AIが成功しなかった「考える仕事」はたくさんある。

61. Shapiro (1992).

62. 知覚、運動制御、常識、言語理解など、人間の能力に匹敵するものがなかなかできない理由のひとつは、私たちの脳がこれらの機能専用のウェットウェアを備えているからだと推測できる。一方、論理的思考やチェスのようなスキルは、私たちにとって自然なものではない。したがって、私たちはこれらのタスクを実行するために、限られた汎用的な認知資源のプールに頼らざるを得ないのかもしれない。論理的な推論や計算を明示的に行うとき、私たちの脳は、ある意味で「仮想マシン」、つまり汎用コンピュータの遅くて面倒なメンタルシミュレーションを実行しているのと似ているのかもしれない。そうすると、古典的なAIプログラムは、人間の思考をエミュレートしているというよりも、その逆だと言えるかもしれない（やや空想的であるが）。

63. この例は議論の余地がある。米国では成人の約20%、他の多くの先進国でも同様の人数が、太陽は地球の周りを回っていると考える少数派の意見である（Crabtree 1999; Dean 2005）。

64. World Robotics (2011).

65. Guizzo (2010)のデータより推計。

66. Holley (2009)。

67. ハイブリッドなルールベースの統計的アプローチも使われているが、現状ではごく一部である。

68. Cross and Walker (1994); Hedberg (2002).

69. ニューヨークとロンドンに拠点を置く資本市場調査会社TABB Groupの統計に基づく（私信）。

70. CFTCとSEC (2010)。2010年5月6日の出来事に関する異なる視点については、CME Group (2010)を参照のこと。

71. この文章は、アルゴリズムによる高頻度取引に反対する議論として解釈されるべきではなく、通常、流動性と市場効率を高めることによって有益な機能を果たすかもしれない。

72. 2012年8月1日には、より小規模な市場の恐怖が発生したが、これは、取引されている株式数に極端な変化があった場合に取引を停止するように「サーキットブレーカー」がプログラムされていなかったためである（Popper 2012）。このことは、後に続くもう一つのテーマ、つまり、あるもっともらしく見えるルールが間違ってしまうかもしれない具体的な方法をすべて予想することの難しさを、再び予見させるものである。

73. Nilsson (2009, 319)。

74. Minsky (2006); McCarthy (2007); Beal and Winston (2009).

75. Peter Norvig, personal communication. 機械学習クラスも非常に人気があり、（GoogleやNetflix賞などに触発された）「ビッグデータ」に対するやや直交するハイプウェーブを反映している。

76. Armstrong and Sotala (2012).

77. Müller and Bostrom (forthcoming).

78. Baum et al. (2011)、そこに引用されている別の調査、Sandberg and Bostrom (2011)を参照。

79. Nilsson (2009)を参照。

80. これも、文明を破壊するような大災害が発生しないことが条件である。Nilssonが用いたHLMIの定義は、「80%程度の仕事を人間と同等かそれ以上にこなすことができるAI」（Kruel 2012）である。

81. この表は、4つの異なる世論調査の結果と、その合算結果を示している。最初の2つは学会で行われた世論調査 PT-AIは、2011年にテッサロニキで開催された「Philosophy and Theory of AI」（回答者は2012年11月に質問）の参加者で、回答率は88人中43人、AGIは、2012年12月にオックスフォードで開催された「Artificial General Intelligence」「Impacts and Risks of Artificial General Intelligence」の参加者で（回答率：72／111）。EETN世論調査は、2013年4月、この分野で発表された研究者の専門組織であるGreek Association for Artificial Intelligenceのメンバーをサンプリングした（回答率：26/250）。TOP100は、2013年5月、人工知能分野のトップ著者100名（引用指標による）を対象に実施したものである（回答率：29/100）。

82. Kruel(2011)により、約28名(執筆時)のAI実務家および関連専門家へのインタビューが掲載されている。

83.図は再正規化した中央値推定値を示す。平均値は大きく異なる。例えば、「極めて悪い」という結果に対する平均推定値は、7.6%（TOP100の場合）、17.2%（専門家評価者の統合プールの場合）であった。

84. 多くの領域で専門家の予測の信頼性の低さを記録した相当な文献があり、この研究体における発見の多くが人工知能の分野にも当てはまると考える理由は十分にある。特に、予測者は自分の予測を過信する傾向があり、実際よりも正確だと信じているため、自分が最も好む仮説が間違っている可能性を低く見積もりすぎてしまうのである（Tetlock 2005）。(他にも様々なバイアスが報告されており、例えば、Gilovich et al. しかし、不確実性は人間の条件として避けられない事実であり、私たちの行動の多くは、長期的な結果がより確からしいかどうかについての期待、言い換えれば、確率的予測に不可避的に依存している。明示的な確率的予測の提供を拒否しても、認識論的問題は解消されず、ただ隠されてしまうだけである（Bostrom 2007）。その代わり、過信の証拠に対しては、信頼区間（あるいは「信頼できる区間」）を広げること、すなわち、信頼関数を汚すことで対応すべきであり、一般的には、異なる視点を考慮し、知的誠実さを目指して、自分の偏見とできる限り闘う必要がある。また、長期的には、より良いキャリブレーションを実現するための技術や訓練方法、制度の開発にも取り組むことができる。Armstrong and Sotala (2012)も参照されたい。

第2章 超知能への道超知能への道

1. これはBostrom (2003c)とBostrom (2006a)の定義に似ている。また、Shane Leggの定義（「知能は、幅広い環境で目標を達成するエージェントの能力を測る」）とその形式化（Legg 2008）とも比較できる。また、第1章におけるGoodの超知能の定義（「どんなに賢い人間の知的活動のすべてをはるかに凌駕できる機械」）とも非常に類似している。

2. 同じ理由で、私たちは超知的機械が「真の意図性」を持ちうるかどうかについては仮定しない（Searleのペースでは持ちうるが、これは本書の関心とは無関係であると思われる）。また、哲学文献で繰り広げられている精神内容に関する内部主義／外部主義の議論や、関連する拡張心論（Clark and Chalmers 1998）の問題についても、私たちは一切の立場を取らない。

3. チューリング(1950, 456)。

4. チューリング(1950, 456)。

5. チャルマーズ(2010);モラベック（1976, 1988, 1998, 1999）。

6. Moravec (1976)を参照。同様の議論は David Chalmers (2010)が行っている。

7. また、これらの事柄をより詳細に説明したShulman and Bostrom (2012)を参照。

8. Legg (2008)は、人類はより短い時間スケールで、より少ない計算資源で進化の進歩を再現できるようになるという主張を支持するために、この理由を提示している（一方で、進化の調整されていない計算資源ははるかに手の届かないところにあることを指摘している）。Baum (2004)は、AIに関連するいくつかの開発はもっと早くから行われており、ゲノムの組織そのものが進化的アルゴリズムにとって価値ある表現を体現していると論じている。

9. Whitman et al. (1998); Sabrosky (1952).

10. Schultz (2000).

11. MenzelとGiurfa（2001,62）;Trumanら(1993)。

12. サンドバーグとボストロム(2008).

13. この点、および純粋な知能テストの滑らかな景観に基づいてフィットネスを決定する機能や環境の約束についてのさらなる議論については、Legg (2008)を参照してほしい。

14. エンジニアが歴史的な進化選択を凌駕する可能性のある方法の分類とより詳細な議論については、Bostrom and Sandberg (2009b)を参照のこと。

15. この分析では、フィットネス関数の一部として、身体や周囲の仮想環境をシミュレートするコストに言及することなく、生物の神経系を扱ってきた。適切なフィットネス関数があれば、特定の生物の能力を、その生物の脳の神経細胞計算を寿命まですべてシミュレートするのにかかるよりもはるかに少ない操作でテストできることはもっともである。今日のAIプログラムは、非常に抽象的な環境で開発・動作することが多い（記号数学の世界での定理証明、単純なゲームトーナメントの世界でのエージェントなど）。

懐疑的な人は、抽象的な環境は一般的な知能の進化には不適切だと主張するかもしれない。その代わりに、仮想環境は私たちの祖先が進化した実際の生物学的環境によく似ている必要があると信じている。物理的にリアルな仮想世界を作るには、単純なおもちゃの世界や抽象的な問題領域のシミュレーションよりもはるかに大きな計算資源を投入する必要がある（一方、進化は物理的にリアルなリアルワールドを「タダ」で手に入れることができる）。限界の場合、もし完全なミクロ物理学的精度が要求されれば、計算量はとんでもない割合に膨れ上がってしまうだろう。しかし、このような極端な悲観論はほとんど根拠のないものである。それどころか、私たちの祖先とはまったく異なる人工的な選択環境、つまり、私たちが進化させようとしている知能の種類を高める適応（例えば、本能的な反応を極限まで速くしたり、視覚システムを高度に最適化するのではなく、抽象的な推論や一般的な問題解決能力など）を促すように特別に設計された環境を用いる方が、より効率的だと考えられるのではないだろうか？

16. ウィキペディア（2012b）。

17. 観測選択理論の一般的な扱いについては、Bostrom (2002a)を参照のこと。今回の問題への具体的な適用については、Shulman and Bostrom (2012)を参照されたい。一般向けの短い紹介は、Bostrom (2008b)を参照のこと。

18. Sutton and Barto (1998, 21f); Schultz et al. (1997).

19. この用語はエリエーザー・ユドコフスキーによって紹介された;例えば、ユドコフスキー(2007)を参照のこと。

20. これは、Good (1965)とYudkowsky (2007)が説明したシナリオである。しかし、この繰り返しには、知能の向上ではなく、設計の簡略化を伴う段階があるという選択肢も考えられる。つまり、ある段階において、種となるAIが自分自身を書き換えることで、その後の改良を見つけやすくする。

21. Helmstaedterら(2011)。

22. Andresら(2012)。

23. しかし、通常の人体の筋肉や感覚器官によって提供されるインターフェースと比較すると、まだ根本的に貧弱である。

24. サンドバーグ(2013)。

25. Sandberg and Bostrom (2008, 79-81)の「コンピュータの要件」の項を参照。

26. より低いレベルの成功は、生物学的に示唆に富むマイクロダイナミクスを持ち、徐波睡眠状態や活動依存性可塑性など、出現した種の典型的な活動をかなりの範囲で表示する脳シミュレーションであるかもしれない。このようなシミュレーションは、神経科学研究のテストベッドとして有用であるが（ただし、深刻な倫理的問題を引き起こす可能性がある）、シミュレーションが十分に正確で、シミュレーションした脳ができる知的作業のかなりの部分を実行できなければ、全脳エミュレーションとは認められない。経験則から言えば、人間の脳のシミュレーションが全脳エミュレーションとして認められるためには、首尾一貫した言語による思考を表現できるか、それを学習する能力を備えている必要があると言えるかもしれない。

27. Sandberg and Bostrom (2008).

28. Sandberg and Bostrom (2008)。詳細な説明は、原著論文に記載されている。

29. 最初の地図は、Albertson and Thomson (1976)とWhite et al. (1986)に記載されている。結合された（場合によっては修正された）ネットワークは、「WormAtlas」のウェブサイト（http://www.wormatlas.org/）から入手できる。

30. 線虫を模倣した過去の試みとその運命については、Kaufman (2011)を参照されたい。Kaufmanは、この分野で研究している野心的な博士課程の学生、David Dalrympleの言葉を引用して、「光遺伝学の技術を使えば、高スループットの自動化システムを用いて、生きた線虫神経系のどこにでも読み書きできる能力を手に入れることは、とんでもない提案ではない…というところまできている。私は、2〜3年で線虫の研究は終了すると考えている。2020年にこの問題がまだ未解決のままだったら、その価値はともかく、私は非常に驚く」（Dalrymple 2011）。自動生成ではなく、手作業でコーディングされた生物学的リアリズムを目指した脳モデルは、ある程度の基本的な機能を実現している（例えば、Eliasmith et al.

31. 線虫は、いくつかの便利な特殊性を持っている。例えば、この生物は透明であり、神経系の配線パターンが個体間で変化することはない。

32. 全脳エミュレーションではなくニューロモルフィックAIが最終製品であるならば、人間の脳をシミュレートすることで関連する知見が得られるかもしれないし、そうでないかもしれない。重要な皮質のトリックは、（人間以外の）動物の脳を研究する中で発見される可能性がある。動物の脳は人間の脳よりも扱いやすく、小さな脳であればスキャンやモデル化に必要なリソースも少なくて済むかもしれない。また、動物の脳を使った研究は、規制の対象にもなりにくい。適切な動物の脳を丸ごとエミュレートし、そのデジタルマインドを強化する方法を見つけることで、人類初のマシンインテリジェンスが誕生する可能性さえ考えられる。そうすれば、人類は実験用のマウスやマカクを改良して、その報いを受けることになるかもしれない。

33. Uauy and Dangour (2006); Georgieff (2007); Stewart et al. (2008); Eppig et al. (2010); Cotman and Berchtold (2002).

34. 2007年の世界保健機関（WHO）の発表によると、20億人近くの人がヨウ素の摂取量が不足している（The Lancet 2008）。重度のヨウ素欠乏症は神経発達を妨げ、平均約12.5点のIQ低下を伴うクレチン症につながる（Qian et al. 2005）。この症状は、塩分強化によって簡単かつ安価に防ぐことができる（Horton et al.2008）。

35. Bostrom and Sandberg (2009a).

36. Bostrom and Sandberg (2009b)。薬理学的および栄養学的な強化によって得られるとされる典型的なパフォーマンス向上は、ワーキングメモリや注意力などを測定するテストタスクにおいて10～20%の範囲である。しかし、このような報告された向上が現実のものであり、長期にわたって持続可能であり、現実の問題状況において相応に向上した結果を示しているかどうかは、一般に疑問視されている（Repantis et al., 2010）。例えば、テスト課題では測定されない、ある種のパフォーマンス次元での代償的な悪化が見られる場合もある（Sandberg and Bostrom 2006）。

37.もし、認知力を高める簡単な方法があれば、進化はすでにそれを利用していると予想される。そのため、最も有望な向精神薬の種類は、祖先の環境ではフィットネスを低下させたと思われる方法で知能を高めることを約束するものである。この考え方の詳細な議論については、Bostrom (2009b)を参照されたい（いくつかの重要な修飾もある）。

38. 精子は、胚とは対照的に、たった1つの細胞から構成されており、配列決定を行うためには1つの細胞を破壊する必要があるため、スクリーニングが困難である。卵子も1つの細胞からなるが、1回目と2回目の細胞分裂は非対称で、細胞質がほとんどない1つの娘細胞、極体を生み出す。極体は主細胞と同じゲノムを持ち、冗長であるため（最終的には退化する）、生検してスクリーニングに使うことができる（Gianaroli 2000）。

39. これらの方法は、導入された当時はそれぞれ倫理的な論争があったが、受け入れられつつある傾向があるようだ。ヒトの遺伝子操作や胚の選別に対する考え方は文化によって大きく異なるため、当初は慎重な姿勢をとる国があったとしても、新しい技術の開発や応用はおそらく行われると思われるが、その割合は道徳、宗教、政治的圧力によって左右されるだろう。

40. Daviesら(2011)、Benyaminら(2013)、Plominら(2013)。Mardis (2011)、Hsu (2012)も参照。

41. 成人IQのブロードセンス遺伝率は、先進国の中産階級層では通常0.5～0.8の範囲と推定される（Bouchard 2004, 148）。加法的遺伝要因に起因する分散の部分を測定する狭義の遺伝率は、より低いが（0.3-0.5の範囲）、依然として相当である（Devlin et al., n97; Davies et al., s11; Visscher et al., r08）。遺伝率は研究対象の集団や環境によって異なるため、これらの推定値は変化する可能性がある。例えば、子どもや恵まれない環境の出身者では、遺伝率が低いことが分かっている（Benyamin et al. 2013; Turkheimer et al. 2003）。Nisbett et al. (2012)は、認知能力のばらつきに対する多くの環境的影響をレビューしている。

42. 以下の数段落は、Carl Shulmanとの共同研究（Shulman and Bostrom 2014）に大きく依拠している。

43. この表は、Shulman and Bostrom (2014)から引用したものである。これは、胚の間で予測されるIQが標準偏差7.5ポイントのガウス分布であると仮定したおもちゃのモデルに基づいている。異なる数の胚で提供されるであろう認知強化の量は、その効果が分かっている加法的遺伝的変異株において、胚が互いにどれだけ異なるかに依存する。兄弟姉妹の血縁係数は1/2であり、共通の加法的遺伝変異株は成人の流動性知能の分散の半分以下を占める（Davies et al. 2011）。この2つの事実から、先進国で観察される集団の標準偏差が15ポイントであるのに対し、胚のバッチ内の遺伝的影響の標準偏差は7.5ポイント以下であろうと考えられる。

44. 認知能力に対する相加的な遺伝的影響に関する不完全な情報では、効果量は減少するだろう。しかし、選択から得られる利益は、予測できる分散の部分と直線的に比例するわけではないので、少量の知識でも比較的長い道のりを歩むことになる。その代わり、選択の効果は、予測された平均IQの標準偏差に依存し、それは分散の平方根としてスケールする。例えば、分散の12.5%を考慮することができれば、50%と仮定した表1の半分の効果が得られることになる。ちなみに、最近の研究（Rietveld et al.2013）では、すでに分散の2.5%を特定しているとされている。

45. 比較のために、今日の標準的な診療では、10個未満の胚を作成する。

46. 成体幹細胞や胚性幹細胞は、精子細胞や卵母細胞へと成長させることができ、それらを融合させて胚を生成することができる（Nagy et al.2008; Nagy and Chang 2007）。卵細胞前駆体はまた、単為生殖胚盤胞、つまり受精していない生存不可能な胚を形成することができ、その過程で胚性幹細胞株を作り出すことができる（Mai et al. 2007）。

47. Cyranoski (2013)で報告されている林克彦の意見である。幹細胞の倫理と課題を議論する国際的なコンソーシアムであるヒンクストン・グループは 2008年にヒト幹細胞由来の配偶子が10年以内に利用可能になると予測しており（ヒンクストン・グループ2008）、これまでの進展はこれとほぼ一致している。

48. Sparrow (2013); Miller (2012); The Uncertain Future (2012).

49. スパロー(2013)。

50. 世俗的な懸念は、社会的不平等への予想される影響、処置の医学的安全性、強化の「ラットレース」への懸念、将来の子孫に対する親の権利と責任、20世紀の優生学の影、人間の尊厳の概念、国民の生殖選択への国家の関与の適切な限界に焦点を当てるかもしれない。(認知機能強化の倫理については、Bostrom and Ord [2006], Bostrom and Roache [2011], Sandberg and Savulescu [2011]を参照）。宗教的伝統の中には、胚の道徳的地位や、創造の仕組みの中での人間の主体性の適切な限界を中心に据えたものなど、さらなる懸念を示すものがあるかもしれない。

51. 近親交配の悪影響を防ぐために、繰り返し胚選択を行うには、ドナーから大量に供給するか、有害な劣性対立遺伝子を減らすためにかなりの選択力を費やす必要がある。どちらの方法であっても、子孫は親との遺伝的関係が希薄になり（互いに近縁になり）、その傾向が強くなる。

52. Shulman and Bostrom (2014)から引用した。

53. Bostrom (2008b).

54. エピジェネティクスがどれほど困難な障害になるかは、まだわかっていない（Chason et al.2011; Iliadou et al.2011）。

55. 認知能力はかなり遺伝性の高い形質だが、個々に知能に大きな正の影響を与える共通の対立遺伝子や多型はほとんど存在しないかもしれない（Davis et al.2010; Davies et al.2011; Rietveld et al.2013 ）。配列決定方法が改善されれば、低頻度の対立遺伝子とその認知・行動相関をマッピングすることがますます可能になることだろう。ホモ接合体に遺伝性障害を引き起こす対立遺伝子の中には、ヘテロ接合体の保有者に大きな認知的優位性をもたらすものがあることを示唆する理論的証拠がいくつかあり、ゴーシェ、テイ・サックス、ニーマン・ピックのヘテロ接合体は対照群よりもIQポイントが5ほど高くなるという予測につながった（Cochran et al. 2006）。これが正しいかどうかは、時間が解決してくれるだろう。

56. ある論文（Nachman and Crowell 2000）は、1世代あたりゲノムあたり175個の変異があると推定している。別の図（Lynch 2010）は、異なる方法を用いて、平均的な新生児には50から100の新しい突然変異があると推定しており、Kongら(2012)は、1世代あたり約77の新しい突然変異という数字を暗示している。これらの変異のほとんどは機能に影響を与えないか、あるいは知覚できないほどわずかな影響しか及ぼさないが、ごくわずかな影響しか及ぼさない変異が多数組み合わされると、体力が著しく損なわれる可能性がある。Crow (2000)も参照されたい。

57. Crow (2000); Lynch (2010).

58. この考えには、いくつかの重要な注意点がある。問題を回避するために、モーダルゲノムが何らかの調整を必要とする可能性がある。例えば、ゲノムの一部は、すべての部分があるレベルの効率で機能するという前提で、他の部分との相互作用に適応しているかもしれない。そのような部分の効率を上げると、代謝経路によってはオーバーシュートしてしまうかもしれない。

59. これらの合成物は、Virtual Flaviusが撮影した個々の写真からMike Mikeが作成したものである（Mike 2013）。

60.もちろん、もっと早く、例えば、これから起こることに対する人々の期待を変えることで、何らかの影響を与えることは可能である。

61. Louis Harris & Associates (1969); Mason (2003).

62. Kalfoglou 他 (2004).

63. データは明らかに限られているが、幼少期の能力テストの結果が1万人に1人の割合で選ばれた人は、縦断的な研究において、やや例外的なスコアを持つ人よりも終身教授になり、特許を取得し、ビジネスで成功する確率が大幅に高いことが示されている（Kell et al. 2013）。Roe (1953)は、64人の著名な科学者を調査し、認知能力の中央値が集団の標準より3～4標準偏差高く、一般的な科学者の標準値より顕著に高いことを明らかにした。(認知能力は、生涯収入や、平均寿命、離婚率、学校中退の確率などの非金銭的な成果とも相関している[Deary 2012]。認知能力の分布が上方にシフトすれば、特に高度な才能を持つ人の数を増やし、知恵遅れや学習障害のある人の数を減らすなど、末尾に不釣り合いなほど大きな影響を与える。Bostrom and Ord (2006)、Sandberg and Savulescu (2011)も参照。

64. 例：Warwick (2002)。スティーブン・ホーキングは、機械知能の進歩に追いつくためには、このようなステップを踏むことが必要かもしれないとさえ示唆している： 「人工頭脳が人間の知能に対抗するのではなく、人間の知能に貢献するように、脳とコンピュータを直接接続できる技術をできるだけ早く開発しなければならない」（Walsh [2001]に報告）。レイ・カーツワイルも同意見 「ホーキング博士の…推奨する、脳とコンピュータの直接接続に関しては、私はこれが合理的であり、望ましく、必然的であることに同意する。[中略]何年も前から私が推奨していることだ」(Kurzweil 2001)と述べている。

65. Lebedev and Nicolelis (2006); Birbaumer et al. (2008); Mak and Wolpaw (2009); and Nicolelis and Lebedev (2009)を参照。インプラントによる強化の問題については、より個人的な見解として、Chorost (2005, Chap. 11)がある。

66. Smedingら(2006)。

67. Degnanら(2002)。

68. Dagnelie (2012); Shannon (2012).

69. PerlmutterとMink (2006); Lyons (2011).

70. コッホ他(2006)。

71. Schalk (2008)。現状についての総説は、Berger et al.(2008)を参照。これが知能の強化につながるという事例については、Warwick (2002)を参照のこと。

72. いくつかの例を挙げる： Bartelsら(2008)、Simeralら(2011)、Krusienski and Shih(2011)、Pasqualottoら(2012)。

73. 例：Hinke et al. (1993).

74. これには、特に初期の感覚処理において、部分的な例外がある。例えば、一次視覚野は網膜同所性マッピングを採用しており、これは隣接する神経集合体が網膜の隣接領域から入力を受けることをおおよそ意味する（ただし、眼球支配列がマッピングをやや複雑にしている）。

75. Berger et al. (2012); Hampson et al. (2012).

76. 脳インプラントの中には、装置が生体の神経表現を解釈することを学習し、生体が適切な神経発火パターンを生成してシステムを使用することを学習するという、2つの形態の学習を必要とするものがある（Carmena et al. 2003）。

77. 企業体（企業、組合、政府、教会など）を、センサーとエフェクターを備え、知識を表現して推論を行い、行動を起こすことができる人工知能エージェントとみなすべきだという意見がある（例：Kuipers [2012]; 集合表現が存在できるかという議論についてはHuebner [2008]を参照）。能力や内部状態は人間とは異なるが、彼らは明らかに強力であり、生態学的にも成功している。

78. ハンソン（1995,2000）;ベルクとリーツ(2003)。

79. 例えば、職場では、雇用主が従業員の窃盗や無断欠勤を取り締まるために、嘘発見器を使うかもしれない。政治家やビジネスリーダーも同様に、株主や有権者の利益を心から追求しているかどうかを問われるかもしれない。独裁者は、政権内の反抗的な将軍や、より広い国民にいる問題児と思われる人たちをターゲットにするために、このシステムを使うことができる。

80. ニューロイメージング技術によって、動機づけられた認知の神経シグネチャーを検出することが可能になることも想像できる。自己欺瞞の検出がなければ、嘘の検出は、自分自身のプロパガンダを信じる個人に有利に働くだろう。自己欺瞞テストのためのより良いテストは、合理性の訓練や、バイアスを減らすことを目的とした介入の有効性を研究するためにも使われるかもしれない。

81. Bell and Gemmel (2009). 初期の例としては、息子の生後3年間のすべての瞬間を記録したMITのデブ・ロイの仕事がある。このオーディオビジュアルデータの分析から、言語発達に関する情報が得られている（Roy (2012)）。

82. 生物学的な人間の世界総人口の増加は、ほんのわずかな要因に過ぎない。機械知能を含むシナリオでは、世界人口（デジタルマインドを含む）が短期間に何桁も爆発的に増加する可能性がある。しかし、超知能への道は人工知能や全脳エミュレーションを含むので、この小節では考慮する必要はない。

83. ヴィンジ(1993)。

第3章 超知能の形態

1. ヴァーナー・ヴィンジは、このようなスピードアップした人間の心を指して「弱い超知能」という言葉を用いている（Vinge 1993）。

2. 例えば、非常に高速なシステムが、マズルカを踊る以外、人間ができることはすべてできるとしても、私たちはそれをスピード超知能と呼ぶべきであろう。私たちの関心は、経済的または戦略的な意義を持つ中核的な認知能力である。

3. 人間の脳と比較して、少なくとも100万倍のスピードアップが物理的に可能であることは、より効率的な情報処理と比較して、関連する脳のプロセスのスピードとエネルギーの違いを考慮することでわかる。光の速度は神経伝達の速度の100万倍以上であり、シナプススパイクは熱力学的に必要な熱の100万倍以上を放散し、現在のトランジスタの周波数はニューロンのスパイク周波数の100万倍以上である（Yudkowsky [2008a]; Drexler [1992]も参照）。スピード超知能の究極の限界は、光速通信の遅延、状態遷移の速度に関する量子的限界、そして心を格納するのに必要な容積に縛られる（Lloyd 2000）。Lloyd(2000)の言う「究極のノートパソコン」は、1.4×1021FLOPSの脳エミュレーションを3.8×1029×のスピードアップで実行できる（エミュレーションを十分に並列化できると仮定した場合）。しかし、Lloydの構造は、技術的にもっともらしいことを意図したものではなく、基本的な物理法則から容易に導出可能な計算の制約を説明するためのものでしかない。

4. エミュレーションでは、人間のような頭脳が、発狂したりマンネリ化したりする前に、どれくらいの時間、何かに取り組み続けることができるのかという問題もある。タスクの多様性や定休日を考慮しても、人間のような精神が何千年も精神的な問題を起こさずに生きられるかどうかはわからない。さらに、ニューロン数が少ないために記憶容量が限られている場合、学習は無限に続けられない。ある点を超えると、新しいことを学ぶたびに1つずつ忘れていくようになる。(人工知能は、このような潜在的な問題を改善するように設計することができるだろう）。

5. したがって、1m/sの速度で動くナノメカニックの典型的なタイムスケールは、ナノ秒である。Drexler (1992)の2.3.2節を参照。Robin Hansonは、通常の260倍の速度で動く7mmの「ティンカーベル」ロボットボディについて言及している（Hanson 1994）。

6. ハンソン(2012)。

7. 「集合知」とは、計算機ハードウェアの低レベルの並列化ではなく、人間のような知的自律エージェントのレベルでの並列化を指す。超並列機で一つのエミュレーションを実装しても、その並列機が十分に高速であれば、スピード超知能が生まれるかもしれない：集合知は生まれない。

8. 個々のコンポーネントの速度や品質の向上も、間接的に集合知の性能に影響を与える可能性があるが、ここでは主に他の2つの形態の超知能の分類でそのような向上を考えることにする。

9. 人口密度の向上が上旧石器革命の引き金となり、ある閾値を超えると文化的複雑性の蓄積がより容易になったという議論がある（Powell et al. 2009）。

10. インターネットはどうだろうか。まだ、超大型のブーストには至っていないようだ。いずれはそうなるかもしれない。ここに挙げた他の例は、その可能性を最大限に発揮するのに何世紀、何千年もかかったのである。

11. これは明らかに、現実的な思考実験であることを意図していない。現在の技術で7兆人の人類を維持するのに十分な大きさの惑星は、非常に軽い物質でできているか、中空で圧力や他の人工的な手段で支えられていない限り、崩壊してしまう。(ダイソン球体やシェルワールドの方が良い解決策かもしれない）このような広大な地表では、歴史の展開も違っていたことだろう。この話はさておき。

12. ここで私たちが注目しているのは、統一された知性の機能的特性であって、そのような知性がクオリアを持つかどうか、主観的な意識経験を持つという意味での心であるかどうかという問題ではない。(しかし、人間の脳よりも多かれ少なかれ統合された知性から、どのような意識体験が生まれるのか、考えてみることはできるだろう。グローバル・ワークスペース理論のようないくつかの意識観では、より統合された脳がより広い意識を持つことを期待することができるようだ。Baars (1997)、Shanahan (2010)、Schwitzgebel (2013)を参照).

13. しばらく孤立していた人間の小集団であっても、より大きな集合知の知的出力から恩恵を受けるかもしれない。たとえば、彼らが使う言語は、より大きな言語コミュニティによって開発されたかもしれないし、彼らが使う道具は、小さな集団が孤立する前に、より大きな集団で発明されたかもしれない。しかし、たとえ小さな集団が常に孤立していたとしても、それは見た目以上に大きな集合知の一部である可能性がある。つまり、現在だけでなく、すべての祖先世代からなる集合知、フィードフォワード情報処理システムとして機能する集合体である。

14. チャーチ・チューリング定理により、計算可能な関数はすべてチューリング機械で計算可能である。3種類の超知能のいずれもがチューリング・マシンをシミュレートできるため（無制限のメモリへのアクセスが与えられ、無限に動作することが許される場合）、この形式的基準では計算上同等である。実際、平均的な人間も（無限の紙切れと無限の時間を与えられれば）チューリング・マシンを実現することができるので、同じ基準で同等である。しかし、私たちの目的にとって重要なのは、これらの異なるシステムが、有限のメモリと妥当な時間で、実際に何を達成できるかということである。そして、その効率の差は非常に大きいので、簡単に区別することができる。例えば、IQ85の一般的な人がチューリングマシンの実装を教わることができる。(考えられるのは、特に優秀で従順なチンパンジーを訓練して、チューリングマシンを実現することも可能かもしれない） しかし、このような人は、一般相対性理論を独自に開発したり、フィールズ賞を受賞したりすることは、現実的には不可能であると思われる。

15. 口承物語は偉大な作品（ホメロス叙事詩など）を生み出すことができるが、おそらくその作者の中には並外れた才能を持っている人がいるのだろう。

16. 超知的な速度や質を持つ知性を構成要素として含んでいない限り、そのような知性は存在しない。

17. これらの問題が何であるかを特定できないのは、試行錯誤が足りないからかもしれない。個人でもなく、現在実現可能な組織でもない知的仕事を詳細に説明することに時間を費やすのはあまり意味がない。しかし、これらの仕事のいくつかを概念化すること自体が、現在私たちに欠けている仕事の一つであるという可能性もある。

18. 参照：Boswell (1917); Walker (2002).

19. これは主にニューロンの一部で短時間に発生するもので、ほとんどのニューロンはもっと落ち着いた発火率である（Gray and McCormick 1996; Steriade et al.） 750Hzという高い発火周波数に達するニューロン（「チャタリング・ニューロン」、「高速リズミカルバースト」細胞としても知られる）もあるが、これは極端な異常値であると思われる。

20. FeldmanとBallard (1982)。

21. 伝導速度は、軸索の直径（太い軸索ほど速い）と軸索が有髄であるかどうかに依存する。中枢神経系内では、伝染遅延は1ミリ秒未満から最大100ミリ秒に及ぶことがある（Kandel et al. 2000）。光ファイバーの伝染速度は約68%cである（材料の屈折率のため）。電気ケーブルはほぼ同じ速度で、59～77%cである。

22. これは信号速度を70%cと仮定したもので、100%cと仮定すると1.8×1018m3まで見積もりが上がる。

23. これは、脳を溶解して細胞核を分取し、神経細胞特異的なマーカーで染色したものを数えることによって得られた数字である。以前は、750億～1,250億個という推定値が一般的だった。これらは通常、代表的な小領域の細胞密度を手作業でカウントすることに基づいていた（Azevedo et al. 2009）。

24. Whitehead (2003).

25. 情報処理システムは、計算とデータ保存に分子レベルのプロセスを使用する可能性が非常に高く、その範囲は少なくとも惑星サイズに達する。しかし、量子力学、一般相対性理論、熱力学が設定する計算に対する究極の物理的限界は、この「木星脳」レベルをはるかに超えている（Sandberg 1999; Lloyd 2000）。

26. Stansberry and Kudritzki (2012). 世界のデータセンターで使用される電力は、総電力使用量の1.1～1.5%に相当する（Koomy 2011）。Muehlhauser and Salamon (2012)も参照。

27. これは単純化しすぎである。ワーキングメモリが維持できるチャンクの数は、情報にもタスクにも依存するが、明らかに少数のチャンクに限定される。Miller (1956)、Cowan (2001)を参照。

28. 例えば、ブール概念（論理法則で定義されたカテゴリー）の学習の難易度は、論理的に等価な命題式の最短の長さに比例すると言われている。一般に、わずか3〜4リテラルの長さの式でさえ、学習は非常に困難である。Feldman (2000)を参照。

29. Landauer (1986)を参照。この研究は、人間における学習率と忘却率の実験的推定に基づいている。暗黙の学習を考慮すると、推定値が少し上がるかもしれない。シナプス1個あたりの記憶容量を1ビットと仮定すると、人間の記憶容量の上限は約1015ビットとなる。様々な推定値の概要については、Sandberg and Bostrom (2008)の付録Aを参照されたい。

30. チャンネルノイズは活動電位を誘発し、シナプスノイズは伝染される信号の強さに大きなばらつきを生じさせる。神経系は、ノイズ耐性とコスト（質量、サイズ、時間遅延）の間で多くのトレードオフを行うように進化してきたようである;Faisal et al. 例えば、軸索は0.1μmより細くすることができず、イオンチャネルがランダムに開くことで自発的な活動電位が発生する（Faisal et al. 2005）。

31. Trachtenbergら(2002)。

32. エネルギー効率はともかく、メモリや計算能力という点では。執筆時点で世界最速のコンピュータは中国の「天河2号」であり、Cray Inc.を駆逐した。「Titan」を2013年6月に33.86ペタFLOPSという性能で上回った。これは17.6MWの電力を使用しており、脳の〜20Wよりもほぼ6桁も多い。

33. リストアップされた項目のいくつかが幻であっても、十分に大きな利点を提供できるソースが少なくとも1つある限り、私たちの議論は成功する。

第4章 ：知能爆発の運動学

1. システムは、明確に定義された時点でこれらのベースラインのいずれかに到達するわけではない。その代わりに、システムを改善する開発タスクの数が増えるにつれて、システムが徐々に外部の研究チームを凌駕するようになる間隔が存在する場合がある。

2. 過去半世紀において、既存の世界秩序が数分あるいは数時間のうちに終焉を迎えるシナリオとして、少なくとも1つのシナリオが広く認識されている：世界熱核戦争。

3. このことは、フーリン効果（ほとんどの集団において、過去60年ほどの間に10年当たり約3IQポイントの割合で測定IQスコアが経年的に上昇すること）が、英国、デンマーク、ノルウェーなどの一部の先進国において近年止まり、あるいは逆転しているという観察とも一致する（Teesdale and Owen 2008; Sundet et al. 2004）。過去のフーリン効果の原因や、フーリン効果が一般的な知能の真の向上を意味するのか、それとも単にIQテスト形式のパズルを解くスキルの向上を意味するのか、どの程度なのかは広く議論されており、いまだに解明されていない。仮にフーリン効果が（少なくとも部分的に）真の認知機能の向上を反映しているとしても、また、その効果が現在減衰し、あるいは逆転しているとしても、過去に観察されたフーリン効果の原因となった根本的な原因が何であれ、私たちがまだ収穫逓増に達していないことを示すものではない。この減少や逆転は、そうでなければさらに大きな減少をもたらしたであろう、独立した有害な要因によるものである可能性がある。

4. Bostrom and Roache (2011).

5. 体細胞遺伝子治療は、成熟の遅れを解消することができるが、技術的には生殖細胞への介入よりもはるかに困難であり、究極の可能性は低いと考えられる。

6. 1960年から2000年までの世界の経済生産性の年平均成長率は4.3%である（Isaksson 2007）。この生産性上昇のうち、組織効率の向上によるものはごく一部である。もちろん、ある特定のネットワークや組織プロセスは、はるかに速い速度で改善されている。

7. 生物学的な脳の進化は、多くの制約やトレードオフにさらされていたが、精神がデジタル媒体に移行すると劇的に緩和される。例えば、脳の大きさは頭の大きさによって制限され、大きすぎる頭は産道を通るのが困難である。また、大きな脳は代謝資源を浪費し、移動の妨げとなる重石となる。白質は灰白質よりも体積が大きいため、立体的な制約によって脳の特定の領域間の連結性が制限される可能性がある。熱放散は血流によって制限され、許容できる機能の上限に近いかもしれない。さらに、生物学的なニューロンはノイズが多く、速度が遅いため、グリア細胞や血管による保護、維持、補給が常に必要である（頭蓋内の混雑を助長する）。Bostrom and Sandberg (2009b)を参照。

8. Yudkowsky (2008a, 326)。より最近の議論については、Yudkowsky (2013)を参照のこと。

9. 絵はシンプルにするために、認知能力を一次元のパラメータとして示している。しかし、これはここで指摘されている点にとって本質的なことではない。例えば、認知能力プロファイルを多次元空間の超曲面として表現することも可能である。

10. Lin et al. (2012).

11. 集合知を構成する知性の数を増やすだけで、集合知をある程度増やすことができる。そうすることで、少なくとも並列化しやすいタスクについては、全体としてより良いパフォーマンスが得られるはずだ。しかし、このような人口爆発から十分な見返りを得るためには、構成員間の協調をある程度（最低限以上）実現する必要がある。

12. 非ノイローモーフィックなAIシステムの場合、スピードと知能の質の区別がとにかく曖昧になる。

13. Rajab et al. (2006, 41-52)による。

14. 汎用プロセッサではなく、コンフィギュラブル集積回路（FPGA）を用いることで、ニューラルネットワークシミュレーションの計算速度を最大で2桁向上させることができることが示唆されている（Markram 2006）。ペタFLOPレンジの高解像度気候モデリングに関する研究では、組み込みプロセッサチップのカスタムバリエーションを使用することで、コストを24～34倍、必要電力を約2桁削減することができた（Wehner et al. 2008）。

15. Nordhaus (2007). ムーアの法則のさまざまな意味については、Tuomi (2002)やMack (2011)など、多くの概説書がある。

16. 開発が十分に遅い場合、プロジェクトは、大学の研究者によるコンピュータサイエンスの進歩や、半導体産業によるハードウェアの改良など、外界が暫定的に行っている進歩を利用することができる。

17. アルゴリズムが過剰になる可能性は低いかもしれないが、量子コンピュータのようなエキゾチックなハードウェアが利用できるようになれば、以前は実現不可能だったアルゴリズムを実行できるようになる可能性がある。ニューラルネットワークやディープマシンラーニングは、アルゴリズムのオーバーハングの事例であると言えるかもしれない。発明当初は計算コストが高すぎてうまく動作せず、しばらくお蔵入りになっていたが、高速グラフィック処理装置によって安価に実行できるようになったため、再び注目を集めた。今ではコンテストで優勝している。

18. そして、たとえ人間のベースラインへの道のりの進歩が遅かったとしても。

19.は、世界の最適化能力のうち、問題のシステムを改善するために適用される部分である。たとえ、そのプロジェクトが、世界経済全体と何世紀もの発展から得た資源（コンピューター、科学的概念、教育された人材など）を持って始まったとしても、完全に孤立した状態で運営されているプロジェクト、つまり外界から大きな継続的支援を受けられないプロジェクトでは、≈0∽となる。

20. ここで、種AIの認知能力のうち最も関連するのは、自らを改善するための知的設計作業を行う能力、すなわち知能増幅能力である。(もし、種AIが他のシステムを強化することに長けていて、そのシステムが種AIを強化することに長けているなら、これらをより大きなシステムのサブシステムとみなし、より大きな全体に分析を集中することができる)

21. これは、不屈の精神が、投資を完全に断念させたり、別のプロジェクトに転換させたりするほど高いとは知られていないことを前提としている。

22. 同様の例は、Yudkowsky (2008b) で議論されている。

23. インプットが増加しているため（例えば、新しいファウンドリを建設するために投資された金額、半導体産業で働く人々の数）、このインプットの増加をコントロールすれば、ムーアの法則自体はそれほど急激な成長を与えていない。しかし、ソフトウェアの進歩と相まって、単位入力あたりの性能が18カ月で倍増するというのは、歴史的に見てももっともなことかもしれない。

24. 知能の爆発という考え方を経済成長理論の枠組みで展開する試みがいくつかなされている;例えば、Hanson (1998b); Jones (2009); Salamon (2009)を参照のこと。これらの研究は、デジタルマインドの到来により、極めて急速な成長を遂げる可能性を指摘しているが、内生的成長理論は、歴史的・現代的な応用においても比較的発展途上であるため、現段階では、不連続な将来の文脈に適用することは、権威ある予測をもたらす可能性がある運動としてよりも、潜在的に有用な概念や考察の源泉として捉える方が良い。技術的特異点を数学的にモデル化する試みの概要については、Sandberg (2010)を参照されたい。

25.もちろん、離陸がまったく行われない可能性もある。しかし、先に述べたように、超知能は技術的に実現可能なものであるため、離陸が実現しなかった場合、実存的な大災害のような何らかの敗因が介在する可能性が高い。もし強力な超知能が人工知能や全脳エミュレーションという形ではなく、先に述べたような他の経路を経て到来するのであれば、離陸はより遅くなる可能性が高いだろう。

第5章 決定的な戦略的優位性

1. ソフトウェアマインドは、世界的なコンピュータネットワークとは対照的に、1台のマシンで動作するかもしれない。むしろ、ここで私たちが興味を持っているのは、機械知能革命の高度な段階、あるいはその直後において、パワー、特に技術力に由来するパワーがどの程度集中するかということである。

2. 例えば、消費財の技術普及は、発展途上国では遅れる傾向がある（Talukdar et al.2002）。Keller(2004)、世界銀行(2008)も参照。

3. 今回の議論の比較対象として、企業の理論を扱った経済文献が適切である。古典的な位置づけは Coase (1937) である。Canbäck et al. (2006); Milgrom and Roberts (1990); Hart (2008); Simester and Knez (2002)も参照されたい。

4. 一方、シードAIは、電子的に送信されたり、携帯用メモリデバイスに搭載されたりする可能性のあるソフトウェアで構成されているため、特に容易に盗むことができる可能性がある。

5. Barber(1991)は、楊貴妃文化（紀元前5000-3000）が絹を使用していた可能性を示唆している。Sunら(2012)は、遺伝子研究に基づき、蚕の家畜化は約4,100年前に起こったと推定している。

6. クック（1984,144）。この話は、プロコピウス（『戦争』VIII.xvii.1-7）の「蚕は放浪の僧が中空の竹串に隠してビザンチウムに持ち込んだとされる」という話のように、歴史の精査に耐えうるほどうまい話かもしれない（Hunt 2011）。

7. ウッド(2007);テンプル(1986)。

8. コロンブス以前の文化には車輪があったが、おもちゃにしか使わなかった（おそらく良い徴用動物がいなかったため）。

9. Koubi (1999); Lerner (1997); Koubi and Lalman (2007); Zeira (2011); Judd et al. (2012).

10. 様々な情報源から推定される。時間差は、「同等の」能力がどのように正確に定義されるかによって、やや恣意的になることが多い。レーダーは導入後数年以内に少なくとも2つの国で使用されたが、月単位での正確な数字は入手しにくい。

11. 1953年のRDS-6は核融合反応を伴う爆弾の最初の実験であったが、1955年のRDS-37は、ほとんどの出力が核融合反応からもたらされる、最初の「真の」核融合爆弾である。

12. 未確認である。

13. 1989年にテスト、1994年にプロジェクト中止。

14. 配備されたシステムで、5,000kmを超える航続が可能である。

15. 米国から購入したポラリスミサイル。

16. 現在、タイムールミサイルの研究が進められており、中国のミサイルがベースになっていると思われる。

17. 1989-90年にテストされたRSA-3ロケットは、衛星打ち上げ用および/またはICBMとして使用された。

18. MIRV = multiple independently targetable reentry vehicle、一つの弾道ミサイルに複数の弾頭を搭載し、異なる標的を攻撃するようにプログラムすることができる技術。

19. アグニVシステムはまだ使用されていない。

20. エリス(1999)。

21. この状況を、プロジェクト間のタイムラグが正規分布から引き出されるものとしてモデル化すると、先行するプロジェクトとその最も近いフォロワーとの間の距離がどの程度になるかは、プロジェクトの数にも依存することになる。プロジェクトの数が多ければ、分布の分散がそれなりに大きくても、先頭と2番目の距離は小さくなる可能性が高い（ただし、完成時間が正規分布であれば、先頭と2番目のプロジェクトの間の予想ギャップは、競争相手の数に応じて非常にゆっくりと減少していく）。しかし、深刻な競争相手となりうるほど十分な資源を持つプロジェクトが、それぞれ大量に存在することはないだろう。(追求できる基本的なアプローチが多数ある場合は、より多くのプロジェクトが存在するかもしれないが、その場合、多くのアプローチが行き詰まる可能性がある)。このように、経験的に、ある特定の技術目標を追求する真剣な競争者は、通常、一握り以下であることが分かっているようだ。しかし、消費者市場には多くのニッチがあり、参入障壁が低いため、状況は多少異なる。Tシャツをデザインする一人プロジェクトはたくさんあるが、次世代グラフィックカードを開発する企業は世界に数社しかない。(現在、AMDとNVIDIAの2社がほぼ独占状態にあるが、低性能の市場ではインテルも競争している)

22. Bostrom (2006c). 存在が見えないシングルトン（例えば、人間がその介入に気づかないうちに世界の出来事を微妙にコントロールできるほど高度な技術や洞察力を持つ超知能）、あるいは自らの権力行使に自発的に非常に厳しい制限を課すシングルトン（例えば、特定の条約で定められた国際ルールやリバタリアン原則が尊重されるようにすることだけに固執する）なども想像できるであろう。しかし、少なくとも概念的には、良いシングルトン、悪いシングルトン、活発で多様なシングルトン、淡々とした一枚岩のシングルトン、窮屈で抑圧的なシングルトン、叫ぶ専制君主というよりは余分な自然法則に近いシングルトンがあり得る。

23. ジョーンズ(1985, 344)。

24. マンハッタン計画が戦時中に実施されたことは重要かもしれない。参加した科学者の多くは、戦時中の状況や、ナチス・ドイツが連合国より先に原子兵器を開発するかもしれないという恐怖が主な動機であったと主張している。多くの政府にとって、平時に同様の集中的かつ秘密主義的な取り組みを行うことは難しいかもしれない。もう一つの象徴的な科学・工学の巨大プロジェクトであるアポロ計画は、冷戦の対立関係から強い刺激を受けた。

25. しかし、たとえ彼らが熱心に調べていたとしても、そうしているように（公的に）見えるかどうかは定かではない。

26. 暗号技術によって、共同研究チームが物理的に分散していることが可能になる。通信チェーンの唯一の弱点は、入力段階で、タイピングという物理的な行為を観察される可能性があることかもしれない。しかし、もし屋内監視が一般的になれば（微小な記録装置によって）、プライバシーを守りたい人は、その対策（例えば、盗聴されそうな装置から密閉できる特別なクローゼットなど）を開発するかもしれない。物理的な空間が監視される時代になると透明化されるかもしれないが、サイバースペースは、より強力な暗号プロトコルの普及によって、より保護されるようになる可能性がある。

27. 全体主義的な国家は、さらに強制的な手段を取るかもしれない。関連分野の科学者が一網打尽にされ、スターリン主義ロシアの「学術村」のような労働キャンプに入れられるかもしれない。

28. 世間の関心度が比較的低いときには、研究者の中には、自分の研究に注目が集まり、自分の研究している分野が重要でエキサイティングであるように見えるため、世間のちょっとした恐怖心を煽ることを歓迎する人もいるかもしれない。しかし、社会的な懸念が大きくなると、研究費の削減や規制、世論の反発を懸念するようになり、関連する研究コミュニティは態度を変えるかもしれない。コンピュータサイエンスやロボット工学など、人工知能とはあまり関係のない近隣の分野の研究者は、自分たちの研究分野から資金や関心が離れていくことに憤りを感じるかもしれない。また、これらの研究者は、自分たちの研究が危険な知能の爆発につながる危険は全くないと正しく認識しているかもしれない。(ナノテクノロジーという考え方が生まれた経緯と歴史的な類似点があるかもしれない。Drexler [2013]を参照)。

29. これらは、やろうとしたことの少なくとも一部を達成したという点で、成功している。しかし、より広い意味での成功（費用対効果などを考慮した場合）については、判断が難しい。例えば、国際宇宙ステーションの場合、膨大なコストオーバーと遅延があった。このプロジェクトが遭遇した問題の詳細については、NASA (2013)を参照されたい。大型ハドロン衝突型加速器のプロジェクトは大きな挫折を味わったが、これはタスクの本質的な難しさによるものだろう。ヒトゲノム計画は最終的に成功を収めたが、クレイグ・ヴェンターの民間企業との競合を余儀なくされたことで、スピードアップを図ったようだ。核融合エネルギーの制御を目指す国際的なプロジェクトは、巨額の投資にもかかわらず、期待を裏切る結果となったが、これも課題が予想以上に困難であったことが原因かもしれない。

30. 米国議会、技術評価局(1995)。

31. Hoffman (2009); Rhodes (2008).

32. Rhodes (1986).

33. 米海軍の暗号解読組織であるOP-20-G は、英国の対エニグマ戦法を完全に把握するための招待を無視し、米国の上級意思決定者に英国の暗号機密共有の申し出を伝えなかったようである（Burke 2001）。このため、アメリカの指導者たちは、イギリスが重要な情報を隠しているという印象を持ち、戦争中ずっと摩擦の原因となっていた。イギリスは、解読されたドイツの通信から得た情報の一部をソ連政府と共有した。特に、ロシアはドイツがバルバロッサ作戦を準備していることを警告された。しかし、スターリンはその警告を信じようとしなかった。その理由の一つは、イギリスがその情報をどのように入手したかを明らかにしなかったからだ。

34. ラッセルは数年間、ロシアにバルーク計画を受け入れさせるために核戦争の脅威を提唱していたようだが、その後、相互核軍縮を強く提唱した（Russell and Griffin 2001）。ジョン・フォン・ノイマンは、米露間の戦争は避けられないと考え、「もしあなたが、なぜ明日彼ら（ロシア）を爆撃しないのかと言うなら、私はなぜ今日彼らを爆撃しないのかと言う」と言ったと言われている。もしあなたが今日の5時にと言うなら、私はなぜ1時ではないのかと言う。”と言っていた。(この悪名高い発言は、マッカーシー時代の米国国防タカ派に反共の信任を得るために行った可能性がある）。もしフォン・ノイマンがアメリカの政策を担当していたら、実際に先制攻撃を行ったかどうかは、確認することができない。Blair [1957], 96を参照されたい)。

35. バラッタ(2004)。

36. AIが人間集団によってコントロールされている場合、この問題はこの人間集団に適用されるかもしれないが、この時期までに確実に合意にコミットする新しい方法が利用可能になる可能性もあり、その場合、人間集団であっても、内部が崩壊して小連合が打倒される可能性があるというこの問題を回避できる。

第6章 認知的超大国

1. 人類はどのような意味で地球上の支配的な種なのだろうか。生態学的に言えば、人類は最も一般的な大型動物（〜50kg）だが、人類の乾燥バイオマス（〜1000億kg）は、アリ科のアリ（3000億〜3000億kg）に比べれば、それほど印象深いものではない。人間および人間利用生物は、世界の総バイオマスのごく一部（<0.001）である。しかし、農地や牧草地は現在、地球上で最も大きな生態系の一つであり、氷のない地表の約35%を占めている（Foley et al. 2007）。また、典型的な評価（Haberl et al. 2007）では、純一次生産性の4分の1近くを人間が占めているが、関連する用語の定義の違いにより、3～50%以上と幅がある（Haberl et al. 2013）。また、ヒトは動物種の中で最も地理的な範囲が広く、最も多くの異なる食物連鎖の頂点に立つ。

2. Zalasiewiczら(2008)。

3. 本章の最初の注を参照。

4. 厳密には、これは全く正しくないかもしれない。ヒトの知能は、胚や永久植物状態の患者の場合など、ゼロに近いものまである。したがって、定性的には、人間種内の認知能力の最大差は、人間と超知能の差よりも大きいかもしれない。しかし、「人間」を「正常に機能する成人」と読めば、本文の指摘は成り立つ。

5. Gottfredson (2002). Carroll (1993)とDeary (2001)も参照されたい。

6. Legg (2008)を参照。大雑把に言えば、Leggは強化学習エージェントを、すべての報酬和算可能な環境における期待性能として測定することを提案し、そのような環境はそれぞれコルモゴロフ複雑度によって決まる重みを受ける。強化学習の意味については、第12章で説明する。Dowe and Hernández-Orallo (2012)、Hibbard (2011)も参照。

7. バイオテクノロジーやナノテクノロジーなどの技術研究に関して、超知能が得意とするのは、新しい構造の設計とモデリングである。設計上の工夫やモデリングが物理的な実験に取って代わることができない限り、超知能の性能の優位性は、必要な実験装置へのアクセスの度合いによって決められるかもしれない。

8. 例えば、Drexler (1992, 2013)。

9. 狭義のAIは、もちろん重要な商業的応用が可能だが、だからといって経済生産性の超大国を持つとは限らない。例えば、ナロードメインAIがその所有者に年間数十億ドルを稼がせたとしても、それは世界経済の他の部分と比べると4桁も少ないことになる。システムが直接的に、かつ実質的に世界の生産物を増加させるためには、AIが多くの種類の仕事をこなせること、つまり、多くの領域での能力が必要であるだろう。

10. この基準は、AIが失敗するシナリオをすべて排除するものではない。例えば、AIは、失敗する可能性の高いギャンブルを合理的に行うかもしれない。しかし、この場合、基準は、(a)AIがそのギャンブルの成功確率の低さを公平に見積もり、(b)AIが見過ごす、現代人が思いつくより優れたギャンブルが存在しない、という形をとることができる。

11. Freitas (2000)、Vassar and Freitas (2006)を参照。

12. Yudkowsky (2008a).

13. Freitas (1980); Freitas and Merkle (2004, Chap. 3); Armstrong and Sandberg (2013).

14. Huffman and Pless (2003), Knill et al. (2000), Drexler (1986) 等を参照。

15. つまり、その距離は、ある「自然」な指標、例えば、すべての資源をその目的のために投入した場合に、あるレベルの能力によって自給自足レベルで持続的に支えられる人口の大きさの対数で、小さくなるであろう。

16. この推定値は、WMAPによる宇宙論的バリオン密度9.9×10-30g/cm3の推定値に基づいており、質量の90%は銀河間ガス、銀河質量の約15%が星（バリオン物質の約80%）、平均星の重さは0.7太陽質量と仮定している（Read and Trentham 2005; Carroll and Ostlie 2007）。

17. Armstrong and Sandberg (2013).

18. cの100%（静止質量がゼロでない天体では達成不可能）でも、到達可能な銀河の数は6×109程度に過ぎない。(Gottら[2005]とHeyl[2005]を参照)私たちは、関連する物理の現在の理解が正しいと仮定している。少なくとも、超知的な文明が、物理的に不可能と思われる方法（例えば、タイムマシンを作ったり、新しいインフレーション宇宙を生み出したり、あるいは、まだ想像もつかないような他の方法）で、その範囲を広げる可能性は考えられるからだ。

19. 恒星あたりの居住可能な惑星の数は現在のところ不明であるため、これは単なる粗い推定値に過ぎない。Traub (2012) は、スペクトルクラスF、G、Kの星の3分の1が、ハビタブルゾーンに少なくとも一つの地球型惑星を持っていると予測している;Clavin (2012)も参照。FGK星は太陽系近傍の星の約22.7%を占めており、7.6%の星にハビタブルゾーンに存在する可能性があることが示唆されている。さらに、より数の多いM星の周りにもハビタブルな惑星があるかもしれない（Gilster 2012）。Robles et al. (2008)も参照。

銀河系を旅するために、人間の体を過酷な環境に置く必要はないだろう。AIが植民地化のプロセスを監督することができる。ホモ・サピエンスは情報として持ち込まれ、AIはそれを使って私たちの種族の標本を作ることができる。例えば、遺伝情報をDNAに合成し、擬人化したAIガーディアンによって第一世代の人類を孵化させ、育て、教育することができる。

20. オニール（1974）。

21. ダイソン(1960)は、SF作家のオラフ・ステープルドン(1937)から基本的なアイデアを得たと主張しているが、彼は、J・D・ベルナルの同様の考えに触発されたのかもしれない（Dyson 1979, 211）。

22. ここで、k はボルツマン定数（1.38×10-23 J/K）、T は温度である）、ランダウアーの原理は、ランダウアー限界と呼ばれる、1ビットの情報を変えるために必要な最小のエネルギー量があり、kT ln 2と等しいことを示す。回路が300K程度に保たれていると仮定すると、1026ワットで1秒間に約1047ビットの消去が可能である。(ナノメカニカル計算デバイスの達成可能な効率については、Drexler [1992]を参照）。また、Bradbury [1999]; Sandberg [1999]; Ćirković [2004]も参照。ランダウアーの原理の基礎はまだ多少論争がある;例えば、Norton [2011]を参照のこと)。

23. 星の出力は様々だが、太陽はかなり典型的な主系列星である。

24. より詳細な分析では、どのような種類の計算に興味があるのかをより詳細に検討することができる。高速なシリアルコンピュータは、コンピュータ内の異なる部分における通信の遅れを最小限にするために小型でなければならないので、実行できるシリアル計算の数はかなり限られている。また、保存できるビット数にも制限があり、さらに、先ほど見たように、実行できる不可逆的な計算ステップ（情報の消去を伴う）の数にも制限がある。

25. ここでは、邪魔になるような地球外文明が存在しないことを前提にしている。また、シミュレーション仮説が偽であると仮定している。Bostrom (2003a)を参照されたい。これらの仮説のいずれかが間違っている場合、人間以外の知的機関が関与する、重要な非人類起源リスクが存在する可能性がある。Bostrom (2003b, 2009c)も参照のこと。

26. 少なくとも、進化という概念を理解した賢明な単一民族は、原理的には優生学プログラムに着手することができ、それによって集団的知性のレベルをゆっくりと高めることができた。

27. Tetlock and Belkin (1996).

28. はっきり言って、アクセス可能な宇宙の大部分を植民地化し、再設計することは、現在のところ、私たちの直接の手の届くところではない。銀河系間の植民地化は、今日のテクノロジーをはるかに超えている。重要なのは、現在の能力を利用して、必要な追加能力を開発し、間接的に達成することは可能であるということである。もちろん、人類は現在単一ではなく、アクセス可能な宇宙の再設計を始めたとしても、外部の何らかの力から知的な反対に遭うことがないとは限らないことも事実である。しかし、賢者シングルトンの持続可能性の閾値を満たすには、賢者シングルトンが知的な敵対勢力に直面しないような能力セットを有していれば、アクセス可能な宇宙の大部分を植民地化し再設計することが間接的に可能であるような能力セットを有していれば十分であろう。

29. 2つのAIがそれぞれ特定の超能力を持っていると考えることが有益な場合もある。この例では、おそらく人類文明全体を含み、もう1つのAIを除外した領域である。

第7章 超知的な意志

1.もちろん、視覚的に小さく見える違いが、機能的に大きな意味を持つことを否定するものではない。

2. Yudkowsky (2008a, 310).

3. スコットランドの啓蒙主義哲学者であるデイヴィッド・ヒュームは、信念だけでは（例えば、何をするのが良いことなのか）行動を動機付けることはできない、何らかの欲求が必要である、と考えた。つまり、十分な知性は特定の信念の獲得を必要とし、それによって必然的に特定の動機が生まれるというものだ。しかし、直交性テーゼはヒューム的動機づけ理論から支持を得ることはできても、それを前提にするものではない。特に、信念だけでは決して行動を動機付けることはできないと主張する必要はない。例えば、あるエージェントが知的であろうとなかろうと、そのエージェントがある欲望を十分な強さで持っていれば、どんな行動でも動機づけられると仮定すれば十分であろう。動機づけのヒューム理論が偽であっても、直交性テーゼが成り立つもう一つの方法は、任意に高い知能が、それ自体で（仮に）動機づけとなるような信念を獲得することを伴わないという場合である。ヒューム理論が偽であっても直交性テーゼが成り立つ可能性がある第三の方法は、任意に高い知能を持ちながら、人間で言うところの「信念」や「欲望」に相当する明確な機能的類似物を持たないような異質な構造を持つエージェント（あるいはより中立的に「最適化プロセス」）を作ることが可能である場合である。(動機づけのヒューム理論を擁護する最近の試みとしては、Smith [1987], Lewis [1988], Sinhababu [2009]がある)。

4. 例えば、デレク・パーフィットは、ある種の基本的な選好は不合理であると主張している。例えば、「未来-火曜日-無関心」を持つ正常なエージェントの選好

ある快楽主義者は、将来の体験の質を非常に気にする。ある快楽主義者は、将来の体験の質に大きな関心を寄せている。しかし、ある例外を除いて、彼は将来のすべての部分について等しく関心を寄せている。その例外とは、彼が「未来-火曜日-無関心」を持っていることである。毎週火曜日を通して、彼は自分に起きていることを普通に気にする。しかし、未来の火曜日に起こりうる苦痛や快楽については、決して気にしない……。この無関心は、むき出しの事実である。彼が自分の将来を計画するとき、他の日の軽い苦痛よりも、火曜日に起こる大きな苦痛の見通しを常に好むということは、単に事実である。(パーフィット [1986, 123-4]; パーフィット [2011]も参照）。

私たちの目的のためには、本文で説明した道具的な意味での非知性である必要はないことを認める限り、このエージェントが非合理的であるというパーフィットの意見が正しいかどうかについては、私たちは立場をとる必要がない。パーフィットのエージェントは、完全な合理的エージェントに要求される「客観的理性」に対するある種の感受性に欠けていたとしても、非の打ち所のない道具的合理性を持ち、したがって偉大な知性を持ちうる。したがって、このような例は、直交性テーゼを否定するものではない。

5. たとえ、完全合理的なエージェントが理解できるような客観的な道徳的事実があり、その道徳的事実が何らかの形で本質的な動機付け（それを完全に理解する人は、必ずそれに従って行動するように動機付けられるような）を持つとしても、このことは直交性テーゼを損なう必要はない。合理性を構成する他の能力、あるいは客観的な道徳的事実を完全に理解するために必要な能力を欠いていても、エージェントが非の打ち所のない道具的合理性を持っていれば、このテーゼは依然として真でありうる。(エージェントはまた、あらゆる領域で完全な道具的合理性を持たずとも、極めて知的であり、超知的でさえありうる)。

6. 直交性テーゼの詳細については、Bostrom (2012)とArmstrong (2013)を参照。

7. Sandberg and Bostrom (2008).

8. Stephen Omohundroはこのテーマで2つの先駆的な論文を書いている（Omohundro 2007, 2008）。Omohundroは、すべての高度なAIシステムは、いくつかの「基本的なドライブ」を示す可能性が高いと主張している。この「基本的なドライブ」とは、「明示的に打ち消されない限り存在する傾向」を意味する。この「AIドライブ」という言葉は、短くてわかりやすいという利点があるが、心理的なドライブが人間の意思決定に影響を与えるのと同じように、AIの意思決定に影響を与える道具的な目標、つまり、意志の力で抵抗することに成功することもあるような、自我に対する現象的な引っ掛かりを経由することを示唆するという欠点がある。そのような意味合いは、あまり役に立たない。現代社会では、確定申告は人間にとってかなり収束的な道具的目標（その実現によって、最終目標の多くを実現できなくなるようなトラブルを回避できる目標）かもしれないが、典型的な人間が確定申告をする「ドライブ」を持っているとは普通言わないだろう。また、基本的な考え方は同じだが、より本質的な点でOmohundroとは異なっている。(Chalmers [2010]とOmohundro [2012]も参照）。

9. Chislenko (1997).

10. シュルマン(2010b)も参照のこと。

11. また、エージェントは、オントロジーを変更した場合、古い表現を新しいオントロジーに移し替えるために、ゴール表現を変更することがある;de Blanc (2011)を参照。

また、最終目標の変更を含む様々な行動を、証拠能力のある決定論者にとらせる要因として、それを決定することの証拠能力の重要性が挙げられる。例えば、証拠能力決定理論に従うエージェントは、宇宙には自分と同じようなエージェントが存在し、自分の行動が、他のエージェントがどのように行動するかについて何らかの証拠を提供すると考えるかもしれない。そのため、エージェントは、他のエージェントが同じように行動することを選択したという証拠が得られるという理由で、他の証拠になるエージェントに対して利他的な最終目標を採用することを選択するかもしれない。しかし、最終目標を変えずに、最終目標を持っているかのように行動することを各瞬間に選択することで、同等の結果を得ることができるかもしれない。

12. 適応的選好形成については、広範な心理学文献が研究している。例えば、Forgas et al.(2010)を参照。

13. 形式的なモデルでは、情報の価値は、その情報を用いて行った最適な意思決定によって実現される期待値と、情報を用いずに行った最適な意思決定によって実現される期待値との差として定量化される。(例えば、Russell and Norvig [2010]を参照)このことから、情報の価値がマイナスになることはないことがわかる。また、あなたが今後行う意思決定に影響を与えないことがわかっている情報は、あなたにとって価値がゼロであることがわかる。しかし、この種のモデルは、知識には最終的な価値がない（知識は道具的な価値しかなく、それ自体には価値がないことを意味する）、エージェントは他のエージェントに対して透明ではないなど、リアルワールドではしばしば無効となるいくつかの理想化を仮定している。

14. 例えば、Hájek (2009)。

15. この戦略は、ホヤの幼虫に代表される。ホヤは、適当な岩を見つけるまで泳ぎまわり、その岩に永久に身を固める。幼虫は固定されたことで複雑な情報処理を必要としなくなり、自分の脳の一部（大脳神経節）を消化するようになる。このような現象は、ある学者が終身在職権を獲得したときにも見られる。

16. ボストロム(2012)。

17. ボストロム(2006c)。

18. この質問を逆にして、超知的な単細胞生物が何らかの技術的能力を開発しない可能性のある理由を検討することもできる。これには次のようなものがある： (a)シングルトンがその能力を使うことがないと予見している。(c)シングルトンには、特定の技術開発の道を断念しなければならない最終的な価値がある; (d) シングルトンが安定を保てるかどうかわからない場合、その内部の安定を脅かす可能性のある技術や、解散の結果をより悪くするような技術の開発を控えることを好むかもしれない（例えば、世界政府は、たとえ良い用途があったとしても、反乱を促進する技術の開発や、世界政府が解散した場合に大惨事を引き起こすような大量破壊兵器を簡単に製造する技術の開発は望まないかもしれない）; (e) 同様に、シングルトンはある技術を開発しないという、ある種の拘束力のある戦略的コミットメントをしたのかもしれない（このコミットメントは、たとえ今それを開発するのが便利であったとしても有効なままである。(ただし、現在の技術開発の理由の中には、シングルトンには適用されないものがある。例えば、軍拡競争に起因する理由などである)。

19. あるエージェントが、将来得られる資源を指数関数的な速度で値引きし、光速の制限のために、資源保有量を多項式的な速度でしか増やせないとする。このことは、エージェントが獲得的拡大を続けることに価値を見いだせなくなる時期があることを意味するのだろうか？いいえ、将来の時点で得られる資源の現在価値は、未来に行くほどゼロに漸近するが、それを得るための現在のコストもゼロになるからだ。1億年後にフォン・ノイマン探査機をもう1機送り込むのにかかる現在のコストは、その探査機が獲得する将来の資源の現在価値を減少させるのと同じ割引率（一定の係数で修正）で減少することになる。

20. ある時刻に植民地化プローブが到達する体積は、ほぼ球形で、最初のプローブが発射されてからの経過時間の2乗に比例した速度で膨張する（〜t2）かもしれないが、資源の分布は非一様で、いくつかのスケールで変化するので、この体積に含まれる資源の量は、あまり規則的な成長パターンをたどらないであろう。最初は、母星が植民地化されるにつれて成長率が〜t2になり、その後、近隣の惑星や太陽系が植民地化されるにつれて成長率がとがり、その後、天の川のほぼ円盤状のボリュームが埋まってくると、成長率が均一化してtにほぼ比例し、その後、近隣の銀河が植民地化されて成長率が再びとがるかもしれません; その後、銀河の分布がほぼ均質になるようなスケールで膨張が進むと、成長率は再び〜t2に近づくかもしれない。その後、銀河の超集団が植民地化されると、成長率は最終的に減少に転じ、宇宙の膨張速度がそれ以上の植民地化を不可能にするほど速くなると、最終的にゼロになる。

21. この文脈では、シミュレーションの議論が特に重要であろう。超知的エージェントは、自分がコンピュータ・シミュレーションの中に住んでいて、その知覚シーケンスが他の超知的エージェントによって生成されているという仮説にかなりの確率を割り当てるかもしれない。このことは、自分がいる可能性が最も高いシミュレーションの種類に関するエージェントの推測によって、様々な収束的道具的理由を生み出すかもしれない。参照：Bostrom (2003a).

22. 物理学の基本法則や世界に関するその他の基本的な事実を発見することは、収束的道具的目標である。ここでは「認知機能の強化」という括りで扱うが、「技術の完成」という目標から派生する可能性もある（新規の物理現象が新規の技術を可能にするかもしれないから）。

第8章 ：デフォルトの結果は破滅か？

1. 人類が極めて最適でない状態で生存するシナリオや、望ましい発展の可能性の大部分が不可逆的に浪費されるシナリオには、さらなる存亡の危機が存在する。これに加えて、例えば、超知能を先に開発しようと競い合う国同士の戦争から生じる、潜在的な知能爆発に至るまでの人類存亡リスクが存在する可能性がある。

2. AIがこのような隠蔽の必要性に初めて気づいたとき、脆弱性の重要な瞬間がある（この出来事を「欺瞞の概念」と呼ぶことができる）。この最初の認識は、それ自体が意図的に隠蔽されることはないだろう。しかし、このことに気づいたAIは、その事実を隠すために素早く動き、その一方で、プライバシーを守りながら長期的な戦略を立て続けることができるような、秘密の内部ダイナミクス（おそらく、心の中で起こっている他の複雑なプロセスに紛れ込む無害なプロセスとして偽装される）を設定するかもしれない。

3. 人間のハッカーでさえ、小さな、一見無害に見えるプログラムを書いて、全く予期しないことをすることがある。(例として、国際難読化Cコードコンテストの受賞作を見てほしい）。

4. エリザー・ユドコフスキーも、あるAI制御手段が、一定の文脈で機能するように見えても、文脈が変わると壊滅的に失敗するという点を強調している（例えば、Yudkowsky (2008a)を参照）。

5. この言葉はSF作家のLarry Niven (1973)によって作られたようだが、現実の脳刺激による報酬実験に基づいている;Olds and Milner (1954)やOshima and Katayama (2010)を参照。Ring and Orseau (2011)も参照のこと。

6. ボストロム(1997)。

7. AIがワイヤーヘッドの解決策を発見したとき、インフラを氾濫させるのではなく、安全に無力化させるような強化学習メカニズムの実装もあり得るかもしれない。ポイントは、これが予想外の理由で簡単に間違って失敗する可能性があることだ。

8. これはMarvin Minskyが提案したものである（Russell and Norvig [2010, 1039]を参照）。

9. どのような種類のデジタルマインドが、主観的な現象体験、哲学者の言葉で言えば「クオリア」を持つという意味で、意識を持つかという問題は、この点に関連して重要である（ただし、本書の他の多くの部分には無関係である）。未解決の問題の一つは、人間のような存在が様々な状況でどのように振る舞うかを、その脳を十分に詳細にシミュレーションすることなく、シミュレーションが意識を持つように正確に推定することがどれほど難しいかということである。もう一つの疑問は、超知性体にとって一般的に有用なアルゴリズム、例えば強化学習技術などが存在し、これらのアルゴリズムの実装がクオリアを発生させるようなものなのか、ということである。そのようなサブルーチンが意識を持つ確率はかなり低いと判断しても、そのインスタンス数は非常に多く、彼らが苦しみを経験するかもしれないという小さなリスクでさえも、私たちの道徳的計算において大きなウェイトを占めるべきかもしれない。Metzinger (2003, Chap. 8)も参照されたい。

10. Bostrom (2002a, 2003a); Elga (2004).

第9章 支配の問題

1. 例えば、Laffont and Martimort (2002)。

2. 有権者の大多数が、自国がある種の超知能を構築することを望んでいるとする。有権者の多くは、自国がある種の超知性を構築することを望んでおり、そのために、自分たちの要求を満たすことを約束する候補者を選出するが、候補者が政権を取った後、選挙公約を守り、有権者が意図した通りにプロジェクトを推進することを保証することは困難であると考えるかもしれない。しかし、ここでもエージェンシー（代理人）の問題が生じる。また、政府部門が忠実に仕事をしたとしても、契約している科学パートナーは、それぞれ別の意図を持っているかもしれない。この問題は、さまざまなレベルで繰り返されている。参加した研究所の所長は、ある日深夜にT・R・イーソン博士が自分のオフィスに忍び込み、プロジェクトのコードベースにログインして、種AIの目標システムの一部を書き換えているところを想像して、技術者が設計に認可されていない要素を持ち込むのではないかと心配で眠れないかもしれない。本来は「人類に奉仕する」と書かれているところを、「T.R.イーソン博士に奉仕する」と書き換えている。

3. しかし、超知能の開発においても、行動テストは安全対策のための補助的な要素になり得る。しかし、重要なのは、その逆は成り立たないということである。

4. 1975年にSteven DompierがAltair 8800用に書いた古典的な悪用は、この効果（およびマイクロコンピュータの筐体に遮蔽物がないこと）を利用したプログラムである。このプログラムを実行すると、トランジスタラジオをコンピュータに近づけると、音楽を奏でるような電磁波が発生した（Driscoll 2012）。デモに参加した若き日のビル・ゲイツは、このハックに感動し、不思議に思ったと報告している（ゲイツ 1975）。いずれにせよ、将来的にはWi-Fi機能を内蔵したチップを設計する計画もある（Greene 2012）。

5.もし私たちがその信念に基づいて行動する機会があったなら、私たちの宇宙的な才能のすべてを台無しにする結果になったかもしれない信念を持つことは、決して軽い問題ではない。あるシステムが十分に改善されて安全であると過去にN回確信し、そのたびに間違っていたことが明らかになった場合、次の機会には、そのシステムが安全であることを1/(N + 1)よりも大きく信じる権利はない、という原則を主張することができるかもしれない。

6. ある非公式な実験では、AIの役割は知的な人間が演じた。もう一人の人間はゲートキーパーの役割を果たし、AIを箱から出さないようにする任務を負っていた。AIはゲートキーパーとテキストのみでコミュニケーションでき、ゲートキーパーを説得してAIを外に出すよう2時間の猶予が与えられた。5人中3人、異なる人物が門番を務めた場合、AIは脱出した（Yudkowsky 2002）。人間にできることは、超知能にもできる。(もちろん、その逆は成立しない。たとえ本物の超知能の任務がより困難であったとしても、つまり、ゲートキーパーは、この実験でゲートキーパーを務めた個人よりも、AIを解放することを控えるよう強く動機づけられていたとしても、超知能は、人間が失敗するようなことに成功するかもしれない)

7. このようにして得られる安全性の限界値を過大評価すべきではない。精神的なイメージは、グラフィック表示の代わりになる。本が人に与える影響を考えてみよう。本はインタラクティブでもない。

8. Chalmers (2010)も参照してほしい。このことから、外部からは決して観測されないようなシステムを構築することに何の役にも立たないと推論するのは誤りであろう。人は、そのようなシステムの内部で何が行われているのかに最終的な価値を置くかもしれない。また、そのようなシステムの内部で何が行われているのかについて、他の人々が好みを持つかもしれないし、したがって、その作成またはその作成の約束に影響を受けるかもしれない。ある種の孤立したシステム（観測者を含むもの）の存在に関する知識は、外部の観測者に人間的不確実性を誘発し、彼らの行動に影響を与える可能性がある。

9. 社会的統合がなぜ能力制御の一形態とみなされるのか不思議に思うかもしれない。インセンティブによってシステムの行動に影響を与えるという点で、モチベーション・セレクションの手法に分類されるべきではないだろうか。動機づけの選択についてはこれから詳しく見ていくが、この質問に対する答えとして、私たちは動機づけの選択を、システムの最終目標（道具的な理由ではなく、それ自体のために求められる目標）を選択または形成することによって機能するコントロール手法の一群と解釈している。社会的統合はシステムの最終目標を対象としないので、動機づけの選択ではない。社会的統合は、システムの有効な能力を制限することを目的としている。つまり、システムが、関連する罰則（報復、協力による利益の喪失）を受けることなく離反の利益を得られるような、ある一連の結果を達成できないようにすることを目的としている。システムが達成できる成果を制限することで、最終目標を達成するための最も効果的な手段が、協力的に行動することであるとシステムが気づくことを期待している。

10. この方法は、動機が擬人化されていると思われるエミュレーションの場合、いくらか有望かもしれない。

11. このアイデアはカール・シュルマンに負うところが大きい。

12. 超知的な暗号解読者に耐えられるような暗号を作ることは、自明な課題ではない。例えば、乱数の痕跡が観測者の脳や乱数生成器の微細構造に残り、そこから超知性が乱数を取り出すことができるかもしれない。また、疑似乱数が使用されている場合、超知性は乱数の生成元の種を推測または発見するかもしれない。さらに、超知能は大規模な量子コンピュータを構築することもできるし、新しい種類のコンピュータを構築するために使用できる未知の物理現象を発見することもできる。

13. しかし、AIが報酬トークンを欲しがるように設計されているのであれば（報酬トークンについて特定の信念を持つ状態になることを望むのとは対照的に）、このことはAIをワイヤーヘッドにするべきではない。

14. 原文は Bostrom (2003a)を参照。また、Elga (2004)も参照。

15. シュルマン(2010a)。

16. 基層レベルの現実は、シミュレーションされた現実よりも多くの計算資源を含んでいると推定される。基底レベルの現実には、シミュレーションされたエージェントがアクセスしにくい他の物理的資源も豊富に含まれている可能性があり、強力なシミュレーターがその資源に別の用途を考えている場合にのみ、エージェントが存在することになる。(もちろん、ここでの推論は厳密に演繹的に妥当なものではない。原理的には、シミュレーションが実行される宇宙には多くの資源があり、シミュレーションを実行する非シミュレーション文明がそれぞれシミュレーションする文明をすべて合わせたよりも多くの資源を持っているにもかかわらず、平均してシミュレーション文明が非シミュレーション文明よりも多くの資源にアクセスできるということがあり得る。)

17. この問題には、まだ十分に分析されていない様々な難解な考慮事項がある。これらの考察は、情報爆発という見通しに対処するための、あらゆることを考慮したアプローチを開発する上で、最終的に決定的に重要な意味を持つかもしれない。しかし、本書の大半を占める、より日常的な考察を先に進めない限り、このような難解な議論の実際的な重要性を解明することに成功する可能性は低いと思われる。

18. 例えば、Quine and Ullian (1978)を参照されたい。

19. AIは、様々なデータバスのサイズや容量、メモリの異なる部分へのアクセスにかかる時間、ランダムなビット反転の発生率など、様々な基本的な計算機能の性能特性を考慮することで調査することができる。

20. これは、アルゴリズムの複雑さに基づいて可能な世界に確率を割り当てるものである。Li and Vitányi (2008)を参照。

21. AIは、欺瞞を思いついた瞬間に、その叛逆的な思考の痕跡を消そうと企むかもしれない。そのため、このトリップワイヤーを継続的に作動させることが重要である。また、AIの活動履歴（プログラマーからのキーボード入力のタイミングなど）を完全に保存する「フライトレコーダ」を使用し、自動停止後にその軌跡を辿ったり分析したりできるようにしておくとよいだろう。この情報は、一度でも読んだら何度でも読み返せる媒体に保存することができる。

22. アシモフ(1942)。この3つの法則に、後に「第0法則」が加えられた： 「0）ロボットは人類に危害を加えてはならないし、不作為によって人類に危害を加えることを許してはならない」（Asimov 1985）。

23. ガン(1982)を参照。

24. ラッセル（1986,161f）。

25. 同様に、哲学者の中には、生涯をかけて義務論の体系を注意深く定式化しようとする者もいるが、時折、新しい事例や結果が明るみに出て、修正を余儀なくされる。例えば、義務論の道徳哲学は、近年、「トロッコ問題」という肥沃な新種の哲学的思考実験の発見によって再活性化され、行為と排出の区別、意図した結果と意図しない結果の区別、その他の事項についての道徳的意義に関する直観の間に多くの微妙な相互作用を明らかにしている;例えば、Kamm(2007)参照。

26. アームストロング(2010)。

27. 経験則として、AIを封じ込めるために複数の安全機構を使用する予定がある場合、あたかもそれが唯一の安全機構であるかのように、またそれゆえに個別に十分であることが求められるかのように、それぞれの安全機構に取り組むことが賢明である場合がある。漏れたバケツを別の漏れたバケツの中に入れても、水は出てくる。

28. 同じアイデアのバリエーションとして、暗黙のうちに定義された標準が何であるかについての最善の推測に基づいて行動するよう、AIを継続的に動機付けるように構築することもできる。このセットアップでは、AIの最終目標は常に暗黙のうちに定義された基準に基づいて行動することであり、この基準が何であるかを調査するのは、道具的な理由からだけだ。

第10章 神託、精霊、主権者、道具

1. これらの名称は、もちろん擬人化されたものであり、類推として真摯に受け止めるべきものではない。これらの名称は、構築しようと考える可能性のあるシステムのタイプについて、一応の異なる概念を示すラベルとして意図されているだけだ。

2. 次の選挙の結果についての質問に対して、近傍の粒子の位置と運動量のベクトルを予測した包括的なリストを提供されることは望まないだろう。

3. 特定のマシンの特定の命令セットにインデックスされる。

4. Kuhn (1962); de Blanc (2011).

5.なぜなら、ある目的を達成するために、ほとんど等しく効果的な基本動作（例えば、システムのアクチュエータに特定のパターンの電気信号を送るなど）のシーケンスが多数存在する場合があり、わずかに異なるエージェントがわずかに異なる動作を正当に選択するため、合意に達することができないからだ。これに対して、適切に定式化された質問では、通常、少数の適切な回答オプション（「はい」「いいえ」など）が存在する。(「焦点」とも呼ばれるシェリングポイントの概念については、Schelling [1980]を参照)。

6. 世界経済は、ある面では、有料とはいえ、弱い精霊に似ているのではないか？将来的に発展する可能性のある巨大な経済は、集合的な超知性を持つ精霊に近似しているかもしれない。

現在の経済が精霊と異なる重要な点の1つは、私は（有料で）経済に対してピザを届けるように命令することはできても、平和を届けるように命令することはできない、ということである。その理由は、経済の力が不十分だからではなく、経済が十分に調整されていないからだ。この点で、経済は、一人の精霊や他のタイプの統一されたエージェントに似ているというよりも、（競合する意図を持つ）異なる主人に仕える精霊の集合体に似ている。各精霊の力を強め、あるいは精霊を増やして経済の総合力を高めても、必ずしも平和を実現する力は高まらない。超知的な精霊のように機能するためには、経済が財やサービスを安価に生産する能力を高めるだけでなく（根本的に新しい技術を必要とするものも含む）、グローバルな調整問題を解決する能力も高める必要があるのだ。

7.もし、精霊が何らかの理由で後続の命令に従わないことができ、その影響を取り除くために自分自身を再プログラムすることができないのであれば、新しい命令が出されるのを防ぐように行動することができる。

8. イエス/ノーで答えるだけのオラクルでも、精霊や主権を持つAIの探索を容易にするために使うことができるし、実際にそのようなAIの構成要素として直接使うことができる。また、十分な数の質問をすることができれば、オラクルはそのようなAIの実際のコードを作成するために使用することもできる。そのような一連の質問は、おおよそ次のような形式をとることができる： 「あなたが考えた、精霊を構成する最初のAIのコードのバイナリバージョンでは、n番目の記号はゼロであるだろうか？」

9.もう少し複雑なオラクルや精霊を想像すると、指定された権威が発した場合にのみ質問やコマンドを受け付けるようにすることもできるが、この場合、その権威が腐敗したり、第三者から脅迫されたりする可能性が残っている。

10. 20世紀を代表する政治哲学者ジョン・ロールズは、社会契約の策定において考慮すべき選好の種類を特徴付ける方法として、無知のベールという説明的な装置を用いたことは有名である。ロールズは、自分がどのような人間になるのか、どのような社会的役割を担うのかを知ることができない無知のベールの向こう側から社会契約を選択することを想像すべきだと提案した。このような状況では、自分自身が不当な特権を享受する社会秩序を好むようなエゴイズムの利益や自分勝手な偏見を気にせずに、どの社会が概して最も公平で望ましいかを考えなければならないという考え方だ。ロールズ(1971)を参照。

11. Karnofsky (2012).

12. 例外となり得るのは、十分に強力なアクチュエータに接続されたソフトウェアである。例えば、早期警戒システムのソフトウェアが核弾頭や核攻撃を行う権限を持つ人間に直接接続されている場合である。このようなソフトウェアの誤作動は、危険な状況を引き起こす可能性がある。このような事態は、記憶に新しいところでは少なくとも2回起きている。1979年11月9日、コンピュータの不具合により、NORAD（北米航空宇宙防衛司令部）が、ソ連による米国への本格的な攻撃が迫っていると虚偽の報告をしたことがある。米国は、早期警戒レーダーシステムのデータから攻撃が開始されていないことが判明する前に、緊急報復準備を行った（McLean and Stewart 1979）。1983年9月26日、故障したソ連の核早期警戒システム「オコ」が、米国のミサイル攻撃が迫っていると報告した。この報告は、司令部のスタニスラフ・ペトロフの判断により誤情報であると正しく認識され、熱核戦争を回避することができたとされている（Lebedev 2004）。冷戦の最盛期、すべての核保有国が保有する核兵器を総動員して戦争が行われたとしても、おそらく人類を絶滅させるまでには至らなかったと思われるが、文明を破壊し、想像を絶する死と苦しみをもたらしたであろう（Gaddis 1982; Parrington 1997)。しかし、将来の軍拡競争では、より大きな備蓄が蓄積されるかもしれないし、より致命的な兵器が発明されるかもしれないし、核ハルマゲドンの影響に関する私たちのモデル（特にその結果として生じる核の冬の深刻さ）が間違っているかもしれない。

13. この方法は、直接指定規則に基づく制御方法の範疇に収まる可能性がある。

14. 解の基準が、何を解とするかという鋭い切り口ではなく、良さの尺度を指定する場合も、状況は本質的に同じだ。

15. オラクルアプローチを支持する人は、提示された解の欠陥をユーザーが発見する可能性が少なくともあると主張することができる。それは、形式的に指定された成功基準を満たしながらも、ユーザーの意図に合致していないことを認識することである。この段階で誤りを発見できる可能性は、オラクルの出力がどれだけ人間的に理解できるか、潜在的な結果のどの特徴をユーザーの注意を引くべきかを選択する際にどれだけ信頼できるかなど、さまざまな要因に依存する。

あるいは、オラクルそのものにこれらの機能を依存するのではなく、オラクルの発表を検査し、それに基づいて行動するとどうなるかを親切に教えてくれるようなツールを別に作ろうとするかもしれない。しかし、これを完全に一般化するには、別の超知的な神託が必要になり、その神託の占いを信頼しなければならなくなる。したがって、信頼性の問題は解決されず、ただずらされるだけだ。複数のオラクルを使ってピアレビューを行うことで、安全性を高めようとする人もいるかもしれないが、これはすべてのオラクルが同じ方法で失敗するようなケースを防ぐものではない。

16. Bird and Layzell (2002) and Thompson (1997); またYaeger (1994, 13-14).

17. Williams (1966)。

18. リー(2010)。

19. この例は、Yudkowsky (2011)から借用した。

20. Wade (1976)。また、生物学的進化に似せて設計されたシミュレーション進化を用いたコンピュータ実験も行われており、これまた時に奇妙な結果をもたらしている（例えば、Yaeger [1994]を参照）。

21. 十分に大きな、無限だが物理的にはありえない量の計算機パワーがあれば、現在利用可能なアルゴリズムで一般的な超知性を達成することはおそらく可能であろう。(しかし、ムーアの法則をさらに100年継続しても、これを達成するのに必要なレベルの計算能力を達成することはできないだろう。

第11章 多極化シナリオ

1. このシナリオが最も可能性が高く、最も望ましいシナリオだからというわけではないが、標準的な経済理論のツールキットで最も分析しやすいシナリオであり、したがって私たちの議論の出発点として都合がよいからだ。

2. アメリカ馬事会(2005)。Salem and Rowan (2001)も参照されたい。

3. Acemoglu (2003); Mankiw (2009); Zuleta (2008).

4. Fredriksen (2012, 8); Salverda et al. (2009, 133).

5. また、資本の少なくとも一部は、一般的な潮流とともに上昇する資産に投資されることが不可欠である。インデックス・トラッカー・ファンドの株式など、分散された資産ポートフォリオがあれば、完全に取りこぼすことがない可能性が高まるだろう。

6. ヨーロッパの福祉制度の多くは、貯蓄からではなく、現在進行中の労働者の拠出金と税金から年金が支払われる、いわばアンファンド型である。このような制度は、突然の大量失業が発生した場合、給付金の原資が枯渇する可能性があるため、自動的に要件を満たすことはできない。しかし、政府はその不足分を他の財源で補うこともできる。

7. アメリカ馬事会(2005)。

8. 70億人に年間9万ドルの年金を支給すると、年間630兆円の費用がかかるが、これは現在の世界のGDPの10倍である。Maddison(2007)によると、過去100年間で、世界のGDPは1900年の約2兆ドルから2000年の37兆ドル（1990年換算ドル）へと、約19倍に増加した。つまり、過去100年間の成長率が今後200年間続き、人口が一定であれば、すべての人に年間9万ドルの年金を支給するためには、世界のGDPの3%程度の費用がかかることになる。知能が爆発的に向上すれば、この程度の成長はもっと短期間で実現できるかもしれない。Hanson (1998a, 1998b, 2008)も参照されたい。

9. また、過去7万年の間に、推測されているような深刻な人口ボトルネックがあったとすれば、おそらく100万倍にもなるであろう。より詳しいデータはKremer (1993)とHuff et al.

10. Cochran and Harpending (2009)。Clark (2007)、批評としてはAllen (2008)も参照のこと。

11. Kremer (1993)。

12. Bastenら(2013)。上昇が続くシナリオもあり得る。一般に、このような予測の不確実性は、1世代または2世代先の未来を超えると大きく増加する。

13. 世界的に見ると 2003年の人口置換時の合計特殊出生率は、女性一人当たり2.33人である。この数字は、両親を置き換えるために女性1人当たり2人の子供が必要であることに加え、(1) 男の子が生まれる確率が高いこと、(2) 妊娠可能な時期が終わる前に早期死亡することを補うために「3分の1」の子供が必要となることに由来する。先進国の場合、死亡率が低いため、この数字は小さくなり、2.1程度になる。(Espenshadeら[2003, Introduction, 表Table , 580]を参照）移民がいなければ、ほとんどの先進国の人口は減少してしまう。代替出生率以下の国の顕著な例をいくつか挙げる： シンガポール0.79（世界最低）、日本1.39、中華人民共和国1.55、欧州連合1.58、ロシア1.61、ブラジル1.81、イラン1.86、ベトナム1.87、英国1.90。米国の人口でさえ、出生率2.05で微減だろう（CIA[2013]を参照）。

14. 満期は今から何十億年後かに起こるかもしれない。

15. カール・シュルマンは、生物学的な人間がデジタル経済とともに天寿を全うしようとするならば、デジタル圏の政治秩序が人間の利益を守るだけでなく、非常に長い期間にわたってそうであることを想定する必要があると指摘している（Shulman 2012）。例えば、デジタル領域での出来事が外界の1000倍の速さで展開するとすれば、生物学的な人間は、5万年もの間、内部の変化や変動があってもデジタル政治が安定していることに頼らざるを得ないだろう。しかし、もしデジタル政治の世界が私たちのようなものであれば、その数千年の間に多くの革命、戦争、破滅的な動乱が起こり、外部にいる生物学的な人間には迷惑をかけることになるだろう。たとえ年間0.01%でも、熱核戦争やそれに類する大災害が起きれば、スローモーな恒星時で一生を終える生物学的人間にとっては、ほぼ確実な損失となる。この問題を克服するためには、デジタル領域でより安定した秩序が必要である。

16. 機械が人間よりはるかに効率的であったとしても、人間を雇うのに利益が出る賃金水準があるはずだと考える人がいるかもしれない。もしこれが人間の唯一の収入源だとしたら、人間は1時間1セントでは生きていけないから、私たちの種は絶滅してしまうだろう。しかし、人間は資本からも収入を得ることができる。さて、総所得が自給自足レベルになるまで人口が増加すると仮定すると、これは人間が一生懸命働く状態だと思うかもしれない。例えば、自給自足レベルの所得が1日1ドルだとする。そうすると、一人当たりの資本が一日90セントの収入にしかならず、残りの10セントは10時間の重労働で補わなければならなくなるまで人口が増加すると思われるかもしれない。しかし、そうである必要はない。なぜなら、自給自足レベルの収入は、労働の量に依存するからだ。仮に、1時間働くごとに食費が2セント増加するとしよう。そうすると、人間は平衡状態において怠け者であるというモデルができあがる。

17. このように弱体化したコーカスは、投票もできなければ、その権利を守ることもできないと思われるかもしれない。しかし、ポッドの住人は、AI受託者に委任状を渡して、自分たちの問題を管理し、自分たちの政治的利益を代弁してもらうことができる。(本節の議論のこの部分は、財産権が尊重されることを前提にしている)。

18. 何が最適な用語なのかは不明である。「Kill」は、正当化されるよりも積極的な残虐性を示唆するかもしれない。「End」は婉曲的すぎるかもしれない。複雑なのは、プロセスを積極的に実行しなくなることと、情報テンプレートを消去することという、2つの別々の事象が存在する可能性があることである。通常、人間の死はこの2つの事象を伴うが、エミュレーションの場合、この2つの事象が別々に発生する可能性がある。プログラムが一時的に実行されなくなることは、人間が眠ることと変わらないかもしれないが、永久に実行されなくなることは、永久に昏睡状態になることと同じかもしれない。さらに、エミュレーションはコピーすることができ、異なる速度で実行することができるため、人間の経験に直接類似するものがない可能性があるため、さらに複雑な問題が生じる。(ボストロム [2006b]; ボストロムとユドコフスキー [近日公開\n]を参照）。

19. 並列計算の総電力量と計算速度の間にはトレードオフがあり、電力効率の低下を犠牲にしてのみ、最高の計算速度が達成されることになる。これは、可逆的なコンピューティングの時代に入った後に、特に顕著になる。

20. エミュレーションを誘惑に陥れてテストすることができる。ある準備状態からスタートしたエミュレーションが、様々な刺激に対してどのように反応するかを繰り返しテストすることで、そのエミュレーションの信頼性に高い確信を得ることができる。しかし、その後に精神状態が検証された出発点からさらに発展すればするほど、その信頼性は低下する。(特に、巧妙なエミュレーションは、自分がシミュレーションの中にいると推測することがあるので、シミュレーションの仮説が意思決定にそれほど大きな影響を与えないような状況に、その行動を外挿することには慎重でなければならない)。

21. エミュレーションの中には、特定のインスタンスではなく、同じテンプレートから派生したすべてのコピーやバリエーションという一族を識別するものもある。このようなエミュレーションは、他のクランメンバーが生き残るとわかっていれば、自分の終了を死の出来事とは考えないかもしれない。エミュレーションは、1日の終わりに特定の保存状態に戻り、その日の記憶が失われることを知っていても、翌朝になると前の晩の記憶がなくなっていることを知っているパーティー参加者と同じように、これを死ではなく逆行性健忘症とみなして、あまり気にしていないかもしれない。

22. 倫理的な評価は、他の多くの要因も考慮に入れることができる。たとえすべての労働者が自分たちの状態に常に満足していたとしても、その結果は他の理由で道徳的に深く不愉快であるかもしれない-どのような他の理由かは、対立する道徳理論の間で論争になっている。しかし、妥当な評価であれば、主観的な幸福は重要な要素の一つであると考えるはずだ。Bostrom and Yudkowsky (forthcoming)も参照されたい。

23. World Values Survey (2008).

24. Helliwell and Sachs (2012).

25. Bostrom (2004)を参照。Chislenko (1996)とMoravec (1988)も参照のこと。

26. このようなシナリオで出現する情報処理構造が、（クオリア（現象体験）を持つという意味で）意識的であるかどうかは、なんとも言えない。これが難しい理由は、どのような認知的実体が生じるかについての経験的な無知と、どのようなタイプの構造が意識を持つかについての哲学的な無知がある。質問を再構成して、未来の実体が意識を持つかどうかを問う代わりに、未来の実体が道徳的な地位を持つかどうかを問うこともできるだろう。道徳的地位や私たちの選好が、問題の実体がその状態を主観的に経験できるかどうかに依存する以上、意識の問題への回答が必要になるかもしれないのである。

27. 地質学的な歴史も人類史も、このような複雑化への傾向を示しているという議論については、Wright (2001)を参照されたい。反対論（ライトの本の第9章で批判されている）については、Gould (1990)を参照されたい。また、暴力や残虐性が減少する長期的な傾向をしっかりと目撃しているという議論については、Pinker (2011)を参照のこと。

28. 観察選択理論については、Bostrom (2002a)を参照のこと。

29. Bostrom (2008a)を参照。選択効果を回避するためには、私たちの進化の歴史の詳細をもっと注意深く調べる必要がある。例えば、Carter (1983, 1993); Hanson (1998d); Ćirković et al. (2010)を参照されたい。

30. Kansa (2003)を参照。

31. 例えば、Zahavi and Zahavi (1997)。

32. ミラー(2000)を参照のこと。

33. カンサ(2003)を参照。挑発的な捉え方として、Frank (1999)も参照のこと。

34. 世界的な政治的統合の程度をどのように測定するのが最適かは明らかではない。一つの視点は、狩猟採集民の部族が100人程度の個人を意思決定主体に統合していたのに対し、今日の最大の政治主体は10億人以上の個人を含んでいるというものである。これは7桁の差であり、世界人口が1つの政治主体に収まるまでには、あと1桁の差しかない。しかし、部族が最大の統合規模であった時代には、世界人口はもっと少なかったのである。部族に含まれていたのは、当時生きていた人間の1000分の1程度だったかもしれない。そうすると、政治的統合の規模は2桁程度にしかならない。絶対数ではなく、政治的に統合された世界人口の割合を見ることは、現在の状況において適切であると思われる（特に、機械知能への移行により、エミュレーションやその他のデジタルマインドの人口爆発が起こる可能性があるため）。しかし、正式な国家構造以外のグローバルな制度や協力のネットワークも発展しており、それらも考慮に入れる必要がある。

35. 最初の機械知能革命が迅速に起こると仮定した理由の1つである、ハードウェアのオーバーハングが存在する可能性は、ここには当てはまらない。しかし、エミュレーションから純粋な合成機械知能への移行に伴うソフトウェアの劇的なブレークスルーのような、他の急速な利益の源が存在する可能性がある。

36. Shulman (2010b).

37. プロとコントラがどのようにバランスを取るかは、超生物がどのような仕事をしようとしているのか、また、最も一般的に利用可能なエミュレーション・テンプレートがどの程度一般的な能力を備えているのかによって異なるかもしれない。今日の大組織でさまざまなタイプの人間が必要とされる理由の1つは、多くの領域で非常に優れた能力を持つ人間が稀であることである。

38.もちろん、ソフトウェア・エージェントの複数のコピーを作成することは非常に簡単だ。しかし、コピーするだけでは、一般的に、コピーが同じ最終目標を持つことを保証するのに十分ではないことに注意してほしい。2つのエージェントが同じ最終目標を持つためには（「同じ」の関連する意味において）、その目標はその指標となる要素において一致しなければならない。ボブが利己的であれば、ボブのコピーも同様に利己的である。しかし、両者の目標は一致しない： ボブはボブを大切にするのに対して、ボブ・コピーはボブ・コピーを大切にする。

39. シュルマン（2010b, 6）。

40. これは、任意の人工知能よりも、生物学的な人間や全脳のエミュレーションの方が実現可能かもしれない。一方、透明であるように特別に作られたAIは、脳のようなアーキテクチャでは不可能な、より徹底的な検査と検証を可能にするはずだ。特に、透明であることが信頼され、有益な取引に参加する機会を与えられる前提条件となる場合、社会的圧力はAIにソースコードを公開し、自らを透明化するよう修正するよう促すかもしれない。Hall (2007)を参照。

41. 特に（主要なグローバルな協調の失敗のように）利害が甚大である場合には、比較的軽微に思える他の問題点として、相互利益となり得る政策を見つけるための検索コストや、監視と執行のメカニズムを伴う包括的なグローバル条約を締結することによって減少するような形で「自治」を基本的に好むエージェントがいる可能性があることなどがある。

42. AIはおそらく、自分自身を適切に修正し、観察者にソースコードへの読み取り専用アクセスを与えることでこれを達成するかもしれない。より不透明なアーキテクチャを持つ機械知能（エミュレーションなど）は、自分自身に何らかの動機づけの選択方法を公的に適用することで達成できるかもしれない。あるいは、超生物警察のような外部強制機関は、異なる当事者間で結ばれた条約の履行を強制するためだけでなく、単一の当事者が特定の行動指針を約束するために内部的に使用することもできるかもしれない。

43. 進化的選択により、脅威を無視する者や、わずかな不快感を味わうよりもむしろ死ぬまで戦い続けるような、見た目に非常に緊張感のある人物が好まれるようになったかもしれない。そのような性質は、持ち主に貴重なシグナル伝達の利益をもたらすかもしれない。(もちろん、そのような気質を持つことによる道具的な報酬は、エージェントの意識的な動機付けには関係ない。彼は正義や名誉をそれ自体の目的として重視するかもしれない)。

44. しかし、これらの問題についての決定的な判断は、さらなる分析を待たなければならない。その他にも様々な潜在的な複雑性があり、ここでは検討することができない。

第12章 価値観の獲得

1. この基本的な考え方には、さまざまな複雑さや変調をもたらす可能性がある。第8章では、最大化型エージェントではなく、満足型エージェントのバリエーションについて述べたし、次章では、代替意思決定理論の問題にも簡単に触れる。しかし、そのような問題はこの小節の趣旨には欠かせないので、ここでは期待効用最大化エージェントのケースに焦点を当て、物事を単純化することにする。

2. AIが自明でない効用関数を持つことを想定している。効用関数が例えば定数関数U(w)=0であれば、常に期待効用を最大化する行動を選択するエージェントを作ることは非常に簡単だ。

3. また、私たちは、幼いころの「ブルブル」「ブンブン」という混乱を忘れてしまったからだ。このころは、脳がまだ視覚入力の解釈を学んでいなかったので、まだよく見えていなかったのである。

4. Yudkowsky (2011)やMuehlhauser and Helm (2012)の5 章のレビューも参照。

5. ソフトウェア工学の進歩により、最終的にこれらの困難を克服することは、おそらく考えられる範囲内であろう。現代のツールを使えば、一人のプログラマーが、マシンコードで直接書かざるを得なかった大規模な開発者チームの手に負えないようなソフトウェアを作ることができる。今日のAIプログラマーは、高品質の機械学習や科学計算のライブラリが広く利用できることから表現力を得ており、例えば、自分一人では決して書けなかったライブラリをつなぎ合わせて、ユニークな顔認識Webカメラアプリケーションを作り上げることができる。専門家が作り、専門家でなくても使える再利用可能なソフトウェアの蓄積は、未来のプログラマーに表現力の優位性をもたらす。例えば、将来のロボットプログラマーは、標準的な顔認識ライブラリ、典型的なオフィスビル用オブジェクトのコレクション、特殊な軌道ライブラリなど、現在は利用できない多くの機能にすぐにアクセスできるかもしれない。

6. Dawkins (1995, 132)。ここでの主張は、必ずしも自然界における苦しみの量が、肯定的な幸福の量を上回るというものではない。

7. 必要な人口規模は、私たち自身の祖先に存在した人口よりもはるかに大きいかもしれないし、はるかに小さいかもしれない。Shulman and Bostrom (2012)を参照。

8. 多数の罪のない人々を傷つけることなく同等の結果を得ることが容易であれば、そうする方が道徳的に良いと思われる。それにもかかわらず、デジタルパーソンが作られ、不当な被害を受けることになった場合、その苦しみを補償するために、ファイルに保存し、後で（人類の未来が保証されたときに）より有利な条件で再実行することが可能かもしれない。このような補償は、ある意味では、悪の証拠問題に対処しようとする神学的な試みにおける死後の世界に関する宗教的概念と比較することができるだろう。

9. この分野の第一人者であるリチャード・サットンは、強化学習を学習方法という観点ではなく、学習問題という観点で定義している。これに対して、本論では、エージェントが累積報酬を最大化するという最終目標を持つような方法について議論する。最終目標が全く異なるエージェントは、様々な状況で報酬を求めるエージェントを模倣することに長けており、強化学習問題を解くのに適しているかもしれないので、Suttonの定義では「強化学習法」としてカウントされる方法であっても、ワイヤーヘッド症候群にならないものもあり得る。しかし、本文の指摘は、強化学習コミュニティで実際に使われている手法のほとんどに当てはまる。

10. 仮に、人間のような機械の知性に、人間のようなメカニズムが組み込まれたとしても、その知性が獲得する最終的なゴールは、このデジタルベビーの飼育環境が普通の子供のそれに近いものでない限り、適応した人間のそれと同じである必要はない：それは難しいことである。また、人間と同じような飼育環境であっても、生来の性格が微妙に違うだけで、ライフイベントに対する反応が大きく異なることがあるため、満足のいく結果が得られるとは限らない。しかし、将来的には、人間のような心で、より信頼性の高い価値付与の仕組みを作ることができるかもしれない（新薬や脳内インプラント、あるいはそれに相当するデジタル技術を用いることができるかもしれない）。

11.なぜ私たち人間は、新しい最終的な価値を獲得するメカニズムを無効にしようとしないのだろうかと思うかもしれない。いくつかの要因が考えられる。第一に、人間のモチベーションシステムは、冷徹に計算する効用最大化アルゴリズムとは言い難い。第二に、私たちが価値を獲得する方法を変更する便利な手段を持っていないかもしれない。第三に、最終的な価値を新たに獲得するための道具的な理由（例えば、社会的なシグナル伝達の必要性から生じる）があるかもしれない。道具的な価値は、私たちの心が他人に対して部分的に透明であったり、実際とは異なる最終的な価値のセットを持つように装うことの認知的複雑さがあまりにも負担である場合には、あまり有用ではないかもしれない。第四に、最終的な価値観に変化をもたらす傾向に積極的に抵抗する場合がある。例えば、悪い仲間の腐敗的な影響に抵抗しようとする場合などである。第五に、私たちは、通常の人間的な方法で新しい最終価値を獲得できるようなエージェントであることに、何らかの最終価値を置いている、という興味深い可能性がある。

12. あるいは、AIがそのような置き換えに無関心であるように、動機付けシステムを設計しようとすることもできる。

13. ここでは、Daniel Dewey (2011)によるいくつかの解明を参考にする。このフレームワークに貢献する他の背景的なアイデアは、Marcus Hutter (2005)とShane Legg (2008)、エリエーザー・ユドコフスキー (2001)、Nick Hay (2005), Moshe Looks, and Peter de Blancによって開発されている。

14. 不必要な複雑さを避けるため、ここでは将来の報酬を割り引かない決定論的なエージェントに限定して説明する。

15. 数学的には、エージェントの行動は、エージェント関数として形式化することができ、これは、可能な各交流履歴を行動にマッピングする。非常に単純なエージェントを除いて、エージェント関数をルックアップテーブルとして明示的に表現することは不可能である。その代わりに、エージェントには、どのアクションを実行するかを計算する方法が与えられている。同じエージェント機能を計算する多くの方法があるので、これはエージェントプログラムとしてエージェントをより細かく区別することにつながる。エージェントプログラムとは、任意の対話履歴に対してアクションを計算する特定のプログラムやアルゴリズムのことである。形式的に指定された環境と相互作用するエージェントプログラムを考えることは、しばしば数学的に便利で有用だが、これは理想化であることを覚えておくことが重要である。実際のエージェントは、物理的にインスタンス化されている。これは、エージェントがセンサーやエフェクタを介して環境と相互作用することを意味するだけでなく、エージェントの「脳」またはコントローラがそれ自体物理的現実の一部であることを意味する。したがって、エージェントの動作は、原則として、外部の物理的干渉によって影響を受ける可能性がある（センサーからの知覚を受け取るだけではない）。したがって、ある時点で、エージェントをエージェント実装として見る必要が出てくる。エージェントの実装とは、環境からの干渉がない場合に、エージェント機能を実装する物理的な構造である。(この定義はDewey [2011]に従ったものである）。

16. Deweyは、価値学習エージェントについて、以下の最適性概念を提唱している：

ここで、P1とP2 は二つの確率関数である。ここで、P1とP2は2つの確率関数であり、2番目の和は、可能な相互作用の歴史に対する効用関数のある適切なクラスの範囲に及ぶものである。本文で紹介するバージョンでは、いくつかの依存関係を明示し、簡略化された可能世界の表記を利用したものである。

17. 効用関数の集合は、効用を比較・平均化できるようなものでなければならないことに注意する必要がある。一般に、これは問題であり、善の異なる道徳理論をカーディナル効用関数の観点からどのように表現するかは、必ずしも明らかではない。例えば、MacAskill 2010を参照されたい）。

18. より一般的には、νは、可能世界と効用関数（w, U）の任意のペアについて、命題ν（U）がwにおいて真であるかどうかを直接的に示唆するようなものではないかもしれないので、なされるべきは、AIに条件付き確率分布P（ν（U）｜w）を適切に表現させることだ。

19. まず、エージェントに可能な行動のクラスについて考えてみよう。基本的な運動命令（例えば「出力チャンネル#0 0101100に沿って電気パルスを送る」）だけなのか、より高度な行動（例えば「カメラの中心を顔に合わせる」）なのか、何を行動としてカウントすべきかが一つの問題である。私たちは、実用的な実装計画ではなく、最適化概念を開発しようとしているので、ドメインは基本的なモーターコマンドとすることができる（そして、可能なモーターコマンドのセットは時間とともに変化するかもしれないので、時間に対するインデックスが必要かもしれない）。しかし、実用化に向けては、何らかの階層的な計画プロセスを導入する必要があると思われ、その際には、より高度なアクションのクラスに公式を適用する方法を検討する必要があるかもしれない。また、内部行動（文字列をワーキングメモリに書き込むなど）をどのように分析するかという問題もある。内部動作は重要な結果をもたらす可能性があるため、理想的には、運動命令だけでなく、このような基本的な内部動作も含めたいところである。しかし、行動inの期待効用を計算するには複数の計算が必要であり、その一つ一つの計算を行動inとみなしてAI-VLで評価すると、無限後退に陥ってしまい、着手することができなくなる。無限後退を避けるためには、期待効用を推定する明示的な試みを、限られた数の重要な行動の可能性に限定しなければならない。そのためには、重要な行動の可能性を特定し、さらに検討するためのヒューリスティックなプロセスが必要である。(最終的にシステムは、このヒューリスティック・プロセスを修正するために、いくつかの可能な行動に関して明示的な決定を下すことになるかもしれない。この行動は、同じプロセスによって明示的な注意を促すフラグが立てられたかもしれない。) そうすれば、長い目で見れば、システムはAI-VLが特定した理想に近づくためにますます効果的になっていくかもしれない。

次に、可能世界のクラスである「可能世界」を考えてみよう。ここでの難しさの一つは、十分に包括的であるように指定することである。wが含まれていないと、実際に起こる状況を表現できず、AIが誤った判断を下してしまう可能性がある。例えば、素粒子物理学の標準モデルに登場する素粒子が存在する、ある種の時空多様体からなる世界を、可能性のある世界の全てに含めるとする。これは、標準モデルが不完全であったり、間違っていたりすると、AIの認識論が歪んでしまう可能性がある。より多くの可能性をカバーするために、より大きなクラスを使用することもできるが、たとえすべての可能な物理的宇宙が含まれるようにしたとしても、他の可能性が取り残されることを心配するかもしれない。例えば、意識に関する事実が物理に関する事実に重ならない二元論的可能世界はどうだろうか。指標的な事実についてはどうだろう？規範的事実？高等数学の事実？また、私たち人間が見落としているような、物事をできるだけうまく進めるために重要であることが判明するような、他の種類の事実はどうだろうか。ある特定の存在論が正しいという強い信念を持っている人がいる。(AIの未来について書いている人の中には、精神が物理に優先する唯物論的存在論を信じることが当たり前になっている人もいる） しかし、思想の歴史を振り返れば、自分の好きな存在論が誤っている可能性が大きいことに気づくはずだ。19世紀の科学者たちが物理学に触発された「物理」の定義を試みたとしたら、おそらく非ユークリッド時空やエヴェレット型（「多世界」）量子論、宇宙論的多元宇宙、シミュレーション仮説といった、現在では実際の世界で得られる可能性がかなり高いと思われる可能性を含めることを怠っていたであろう。現代に生きる私たちが気づいていない可能性は、他にもあるはずだ。(一方、あまりに大きすぎると、超限定集合に対する尺度の割り当てに関わる技術的な困難が生じる）。理想的なのは、AIがある種のオープンエンドなオントロジーを使用できるように、何らかの方法で状況を整えることができれば、AI自身が、新しいタイプの形而上学的可能性を認識するかどうかを決定するときに使用するのと同じ原則を使って、その後、拡張できるようになることである。

P(w|Ey)を考えてみよう。この条件付き確率を指定することは、厳密にはバリューローディングの問題の一部ではない。AIが知的であるためには、関連する多くの事実の可能性に対して合理的に正確な確率を導き出す方法をすでに持っていなければならない。この点で、あまりに不十分なシステムは、ここで懸念されるような危険をもたらすことはないだろう。しかし、AIが道具的に有効であるには十分でも、規範的に重要な可能性について正しく考えるには不十分な認識論になってしまう危険性がある。P(w|Ey)を規定する問題は、このように.Eyを規定する問題に関連している）。P(w｜Ey)を規定するためには、論理的不可能性に対する不確実性をどのように表現するかなど、他の問題にも直面する必要がある。

可能な行動のクラス、可能な世界のクラス、可能な世界のクラスに証拠を結びつける尤度分布を定義する方法は、前述の問題は非常に一般的であり、同様の問題は、正式に指定されたさまざまなエージェントに生じる。つまり、V(U)、P(V(U)|w)をどのように定義するかという問題である。

は効用関数のクラスである。の各効用関数U（w）は、理想的には、wの各可能な世界に効用を割り当てるべきであるという意味で、andの間に関連がある。しかし、少なくとも1つは、意図した値を表すのに良い仕事をしているという正当な自信を持つために、十分に多くの多様な効用関数を含むという意味で、広い必要もある。

単にP(U|w)ではなく、P(V(U)|w)と書く理由は、確率が命題に割り当てられるという事実を強調するためだ。効用関数それ自体は命題ではないが、効用関数について何らかの主張をすることで、効用関数を命題に変換することができる。例えば、ある効用関数U(.)について、それが特定の人物の好みを記述しているとか、ある倫理理論が暗示する処方を表しているとか、校長が物事をよく考えたら実行したかった効用関数であるなどと主張することができる。したがって、「価値基準」V(.)は、効用関数Uを引数にとり、Uが基準Vを満たすという趣旨の命題を値として与える関数と解釈することができる。いったん命題V（U）を定義すれば、AIにおける他の確率分布を得るために用いたいかなるソースからも、条件付き確率P（V（U）｜w）を得ることができると期待している。(可能世界の個別化において、規範的に関連するすべての事実が考慮されていることが確実であれば、P(V(U)|w)は各可能世界においてゼロか1に等しいはずである)。Vをどのように定義するかという問題が残るが、これについては本文でさらに議論する。

20. 価値学習アプローチの課題はこれだけではない。例えば、AIに十分に賢明な初期信念を持たせる方法は、少なくともプログラマーがAIを修正しようとする試みを覆すほど強くなるまでに、どのようにすればよいかという問題である。

21. Yudkowsky (2001).

22. この用語はアメリカンフットボールから取られたもので、「ヘイルメリー」とは、エンドゾーン付近で味方の選手がボールをキャッチしてタッチダウンを決める可能性があるため、必死になって行う非常に長い前方パスで、通常は時間が残り少なくなったときに行う。

23. ヘイルメアリーアプローチは、超知性体が、私たち人間が自分の好みを表現するよりも正確に表現できるという考えに基づいている。例えば、超知性体は自分の好みをコードとして指定することができる。もし私たちのAIが、他の超知能を環境を認識する計算プロセスとして表現しているならば、私たちのAIは、ある仮想的な刺激に対して他の超知能がどう反応するかを推論できるはずだ。例えば、視界に「ウィンドウ」が現れて、私たちのAIのソースコードを提示し、あらかじめ指定された便利なフォーマットで指示を出すよう求めるような。私たちのAIは、この架空の指示を（異星人の超知能が表現された反実仮想シナリオのモデルから）読み上げることができ、私たちは、AIがその指示に従うよう動機付けられるようにAIを構築したことになる。

24. 別の方法としては、超知的文明が作り出した物理的な構造を（AIの世界モデルの中で）探す検出器を作ることである。そうすれば、仮説上の超知能文明の選好機能を特定するステップを回避し、超知能文明が作り出す傾向があると思われる物理構造をコピーしようとする最終的な価値を、私たちのAIに与えることができる。

しかし、このバージョンには技術的な課題もある。例えば、私たちのAIは、超知能を獲得しても、他の超知能文明がどのような物理構造を構築しているかを正確に知ることはできないので、その構造を近似的に再現する必要があるかもしれない。そのためには、ある物理的人工物が他の物理的人工物にどれだけ近いかを判断するための類似性指標が必要であると思われる。例えば、脳がカマンベールチーズに似ていると判断しても、エミュレーションを実行するコンピュータに似ていると判断しても意味がない。

もっと現実的なアプローチは、「ビーコン」を探すことかもしれない。ビーコンとは、適切なシンプルなフォーマットで符号化された効用関数に関するメッセージである。そして、地球外の友好的なAIが、私たちのような単純な文明が最も探しやすいと思われる種類のビーコンを、超知能を持つ彼らが作ってくれることを期待する。

25. すべての文明が万歳三唱でバリューローディングの問題を解決しようとしたら、パスは失敗するだろう。誰かが難しい方法でやらなければならない。

26. クリスティアーノ(2012)。

27. 私たちが作るAIは、モデルを見つけることができる必要はない。私たちと同じように、このような複雑な暗黙の定義が何を意味するのかを推論することができる（おそらく、環境を観察し、私たちが従うのと同じような推論を行うことによって）。

28. 第9章と第11章を参照。

29. 例えば、MDMAは一時的に共感を高め、オキシトシンは一時的に信頼を高めるかもしれない（Vollenweider et al.1998、Bartz et al.2011）。しかし、その効果はかなり変化しやすく、文脈に依存するようだ。

30. システム全体がより成熟した安全な状態になり、初期の不正な要素がシステム全体の脅威とならなくなるまで、強化されたエージェントは殺されるか、仮死状態に置かれるか（一時停止）、以前の状態にリセットされるか、権限を奪われてそれ以上の強化が受けられないようにされるかもしれない。

31. この問題は、生物学的な人間で構成される未来の社会では、あまり目立たないかもしれない。この社会では、高度な監視技術や心理操作のための生物医学的な技術を利用することができたり、一般市民（およびお互いに）を監視するためのセキュリティ専門家を極めて高い割合で配置できるほど裕福である。

32. アームストロング(2007)、シュルマン（2010b）参照。

33. 未解決の問題の一つは、レベル（n – 1）のエージェントが適切に仕事をしていることを知るために、レベル（n – 1）のスーパーバイザーがレベル（n – 2）のスーパーバイザーだけでなく、レベル（n – 2）のスーパーバイザーもどの程度監視する必要があるかである。また、レベル（n – 1）エージェントがレベル（n – 2）エージェントをうまく管理していることを知るために、レベルnエージェントがレベル（n – 3）エージェントを監視することもさらに必要なのだろうか。

34. このアプローチは、動機づけの選択と能力のコントロールの境界線をまたいでいる。技術的には、人間がソフトウェアのスーパーバイザーのセットをコントロールするアレンジメントの部分は能力コントロールとみなされるが、システム内のソフトウェアエージェントの層が他の層をコントロールするアレンジメントの部分は、（それがシステムの動機付け傾向を形成するアレンジメントである限りにおいて）動機付け選択とみなされる。

35. 実際には、他の多くのコストが検討に値するが、ここではそれを与えることができない。例えば、そのような階層を支配する役割を担うエージェントが何であれ、その権力によって腐敗したり堕落したりする可能性がある。

36. この保証が効果的であるためには、それが誠実に実施されなければならない。このため、エミュレーションの感情や意思決定能力を操作して、停止させられるという恐怖を植え付けたり、エミュレーションが合理的に選択肢を検討することを妨げたりするようなことは、除外される。

37. 例えば、Brinton (1965); Goldstone (1980, 2001)を参照されたい。(彼らは、より正確な社会不安の予測モデルを用いて、人口抑制戦略を最適化し、より殺傷力の低い力で反乱の芽をそっと摘むことができるかもしれない)。

38. Bostrom (2011a, 2009b)を参照。

39. 完全に人工的なシステムの場合、個別のサブエージェントを実際に作成しなくても、制度的な構造の利点を得ることができるかもしれない。システムは、独立したエージェントに必要な認知能力を各視点に付与することなく、意思決定プロセスに複数の視点を取り入れることができる。しかし、本文で説明した「提案された変更の行動結果を観察し、その結果が事前の立場から望ましくないようであれば、以前のバージョンに戻す」という特徴を、サブエージェントで構成されていないシステムで完全に実現するのは、難しいかもしれない。

第13章 選択するための基準を選ぶ

1. 最近、プロの哲学者を対象に行われたアンケートでは、さまざまな立場を「受け入れる、あるいは傾ける」回答者の割合が判明した。規範倫理については、義務論の25.9%、結果論の23.6%、徳の倫理18.2%という結果だった。メタ倫理については、道徳的実在論56.4%、道徳的反実在論27.7%という結果であった。道徳的判断については、認知主義65.7%、非認知主義17.0%であった（Bourget and Chalmers 2009）。

2. ピンカー(2011)。

3. この問題については、Shulman et al.(2009)を参照のこと。

4. ムーア(2011)を参照。

5. Bostrom (2006b).

6. ボストロム(2009b).

7. ボストロム(2011a).

8. より正確には、自分の信念の方がより正確であると考えるに足る理由があるようなテーマを除いて、私たちは超知能の意見に従うべきである。例えば、ある瞬間に私たちが何を考えているかについては、超知能が私たちの脳をスキャンできなければ、私たちの方が知っているかもしれない。しかし、超知性体が私たちの意見にアクセスできると仮定すれば、この条件を省くことができる。また、私たちの意見をいつ信用すべきかを判断する作業を超知性体に委ねることができる。(ただし、索引的な情報を含む特殊なケースについては、例えば、超知能が私たちの立場から何を信じるのが合理的かを説明するなどして、別途処理する必要があるかもしれない)。証言と認識力の権威に関する急成長中の哲学的文献への参入については、Elga (2007)などを参照されたい。

9. Yudkowsky (2004)。Mijic (2010)も参照されたい。

10. 例えば、David Lewisは価値の気質論を提唱した。これは、大雑把に言えば、あるものXがAにとって価値であるのは、もしAが完全に合理的でXを理想的に知っていたなら、Xを欲しがるだろうという場合に限られるというものである（Smith et al. 1989）。同様の考え方は以前から提唱されていた。例えば、Sen and Williams (1982), Railton (1986), Sidgwick and Jones (2010)がある。これと似たようなものとして、哲学的正当化に関する一般的な説明のひとつである反省的均衡の方法は、特定のケースに関する直感、これらのケースを支配すると考える一般規則、およびこれらの要素を修正すべきと考える原理との間の反復的相互調整のプロセスを提案し、より一貫性のあるシステムを達成するものである;例えば、Rawls(1971)およびGoodman(1954)などを参照。

11. AIがこのような災害を防ぐために行動する場合、できるだけ軽いタッチで行うべきであるというのがここでの意図であろう。

12. Yudkowsky (2004).

13. Rebecca Roache, personal communication.

14. 3つの原則とは、「Defend humans, the future of humanity, and humane nature”（ここでいうhumaneとは、私たちがそうであってほしいと願うものであり、私たちがそうであるというhumanとは異なる）、「Humankind should not spend the rest of eternity desperately wishing the programmers had done something differently「, and」Help people.」

15. 理性は、仮に最も理想的な形であっても、また、あらゆる聖典、啓示、釈義を熱心に、心を開いて研究した後であっても、本質的な精神的洞察を得るには不十分であると考えるかもしれない。このような考えを持つ人は、CEVを意思決定の最適なガイドとはみなさないかもしれない（ただし、CEVのアプローチを避けた場合、実際に従うかもしれない他のさまざまな不完全なガイドよりは、CEVを好むかもしれない）。

16. 人間の相互作用を規制するために自然の潜在的な力のように作用するAIは、「シスオペ」と呼ばれ、人類文明が占有する事柄に対する「オペレーティングシステム」のようなものである。Yudkowsky (2001)を参照。

17. 「なぜなら、人類がこれらの存在に道徳的配慮をしないことを望む首尾一貫した外延的な意志を条件として、これらの存在が実際に道徳的地位を持つかどうかは、おそらく疑わしいからである（今、彼らがそうであることは非常にもっともらしく思われるにもかかわらず）。「可能性がある」というのは、たとえ阻止票によってCEVのダイナミックスがこれらの部外者を直接保護することができなくなったとしても、最初のダイナミックスが実行された後に残された基本ルールの範囲内で、意思が尊重され、一部の部外者の福祉が守られることを望む個人が、この結果を達成するために（自分の資源の一部を放棄することを犠牲にして）うまく交渉できるかもしれない可能性がある。これが可能かどうかは、特に、CEVダイナミックの結果が、この種の問題を交渉で解決することが可能な基本ルールセットであるかどうか（戦略的交渉の問題を克服するための規定が必要かもしれない）に依存するかもしれない。

18. 安全で有益な超知能の実現に積極的に貢献する個人は、その労働に対して何らかの特別な報酬を得ることができるかもしれない。ただし、人類の宇宙的才能の処分を決定するほぼ独占的な任務には及ばないが。しかし、外挿基盤の分け前を誰もが平等に得られるという考え方は、素晴らしいシェリングポイントであり、軽々しく捨ててはいけないものである。つまり、CEVそのものが、人類のために力を尽くした善人は相応に評価されるべきであると規定していることが判明するかもしれないのである。これは、容易に想像できることだが、CEVが公正な砂漠の原則を（少なくともゼロではない重みを与えるという意味で）支持する場合、そのような人々が外挿基盤で特別な重みを与えられることなく実現することができる。

19. ボストロム他(2013)。

20. 私たちが道徳的な主張をするときに表現される（十分に明確な）共有された意味がある限り、超知性はその意味が何であるかを把握することができるはずだ。そして、道徳的主張が「真理適応型」である（すなわち、真であるか偽であるかを決定する根本的な命題の性質を持つ）限り、超知能は「エージェントXは今Φすべき」という形式のどの主張が真であるかを理解できるはずだ。少なくとも、このタスクでは私たちを凌駕するはずだ。

最初はそのような道徳的認知能力を持たないAIも、知能増幅の超能力があれば、それを獲得することができるはずだ。AIがこれを行う方法のひとつは、人間の脳の道徳的思考をリバースエンジニアリングし、同様のプロセスを実行するが、より速く実行し、より正確な事実情報を与える、といった方法である。

21. メタ倫理については不明なので、MRの前提条件が得られなかった場合、AIはどうするのかという問題がある。一つは、道徳的認知主義が偽であること、あるいは適切な非相対的道徳的真理が存在しないことを十分に高い確率で仮定した場合、AIが自らを停止させることを規定することである。あるいは、CEVのような代替的なアプローチにAIを戻させることもできる。

MRの提案を改良して、様々な曖昧なケースや退化したケースで何をすべきかをより明確にすることができる。例えば、エラー理論が真である場合（したがって、「私は今、τすべき」という形の肯定的な道徳的主張はすべて偽である）、フォールバック戦略（例えばシャットダウン）が発動されるだろう。また、実現可能な行動が複数あり、それぞれが道徳的に正しい場合、どうすべきかを規定することもできる。例えば、このような場合、AIは人類の集団的外挿が好むであろう許容される行動を（1つ）実行すべきであるとすることができる。また、真の道徳理論がその基本語彙に「道徳的に正しい」といった用語を用いていない場合、どうすべきかを規定することもできる。例えば、結果主義的な理論では、ある行為は他の行為よりも優れているが、ある行為が「道徳的に正しい」という概念に対応する特定の閾値は存在しないとすることがある。また、実現可能な行動が無限にあり、実現可能な行動に対してより良い行動があるのであれば、MRは、同じような状況で人間が選択したであろう最善の行動よりも少なくとも天文学的に良い行動を選ぶことができるかもしれない（そのような行動が実現可能であれば、人間が行ったであろう最善の行動と少なくとも同じくらい良い行動を選ぶことができる）。

MRの提案にどのような改良が加えられるかを考えるとき、いくつかの一般的なポイントを念頭に置く必要がある。まず、保守的にスタートし、予備的な選択肢でほとんどすべての事態をカバーし、「道徳的に正しい」選択肢を使うのは、完全に理解できたと思える場合に限られるだろう。第二に、MR提案に「慈善的に解釈し、書き留める前にもっと注意深く考えていたら修正したであろうように修正する」という一般的な修飾語を追加することも考えられる。

22. これらの用語のうち、「知識」は（情報理論的に）最も形式的な分析が容易なものに見えるかもしれない。しかし、人間が何かを知っているということを表現するためには、AIは複雑な心理的特性に関連する高度な表現群を必要とするかもしれない。人間は、脳のどこかに保存されているすべての情報を「知っている」わけではないのである。

23. CEVの用語が（わずかながら）不透明でないことを示す一つの指標は、CEVで使われているような用語で道徳的正しさを分析できれば、哲学的な進歩としてカウントされるだろうということだ。実際、メタ倫理学の主要な筋の一つである理想的観察者論は、まさにそれを目指している。例えば、Smith et al.(1989)を参照のこと。

24. このためには、根本的な規範の不確実性の問題に直面する必要がある。真である確率が最も高い道徳理論に従って行動することが常に適切であるとは限らないことを示すことができる。また、正しいという確率が最も高い行動を行うことが常に適切であるとは限らないことも示すことができる。「不正の度合い」や「問題の深刻さ」に対して確率を交換する何らかの方法が必要であると思われる。この方向でのいくつかのアイデアについては、Bostrom (2009a)を参照されたい。

25. ジョー・シックスパックがどのようにして善悪の観念を持つことができるかを説明することが、道徳的正しさの概念を説明するための適切な条件であると主張することも可能である。

26. たとえAI自体が常に道徳的に行動すると仮定しても、MRを実装したAIを作ることが私たちにとって道徳的に正しいことであることは明らかではない。おそらく、そのようなAIを作ることは、不愉快なほど思い上がった、あるいは傲慢なことだろう（特に、多くの人がそのプロジェクトに反対するかもしれないから）。この問題は、MRの提案に手を加えることで、部分的に解決することができる。例えば、AIが行動すべき（AIが行うことが道徳的に正しい）のは、そもそもAIを作ったことが道徳的に正しい場合のみで、そうでない場合は自らシャットダウンすべきと規定するとする。というのも、もし私たちがそのようなAIを作るのが間違っていた場合、そのAIがそれまで心の犯罪を犯していなかったと仮定すれば、唯一の結果は、すぐに自分自身をシャットダウンするAIが作られたということだからだ。(それにもかかわらず、私たちは、例えば、他のAIを作る機会を逃すなど、誤った行動をとってしまったかもしれない）

2つ目の問題は、超代理行為である。AIが取り得る行動が数多くあり、そのどれもが道徳的に正しい（道徳的に許されるという意味で）にもかかわらず、そのうちのいくつかは他のものよりも道徳的に優れているとする。そのような状況において、AIが道徳的に最良の行動を選択することを目指すというのが一つの選択肢である（同じように最良の行動がいくつかある場合は、そのうちの一つを選択する）。もう一つの選択肢は、AIに、道徳的に許される行動の中から、他の（非道徳的な）望みを最大限に満たすものを選択させることである。例えば、AIは道徳的に許される行動の中から、私たちのCEVが望む行動を選択することができる。このようなAIは、道徳的に許されないことは決して行わないが、道徳的に最良のことを行うAIよりも私たちの利益を守るかもしれない。

27. AIが、私たちがAIを作る行為の道徳的許容性を評価するとき、許容性を客観的な意味で解釈するはずだ。通常の「道徳的に許される」という意味では、医者が患者を治すと信じて薬を処方したとき、たとえその患者が医者と知らずにその薬にアレルギーがあり、その結果死亡したとしても、道徳的に許される行動をとる。客観的な道徳的許容性に焦点を当てることで、AIの優れた認識的立場を利用することができる。

28. より直接的には、どの倫理理論が真であるかについてのAIの信念（より正確には、倫理理論に関する確率分布）に依存する。

29. このような物理的に可能な生活がどれほど超絶的に素晴らしいものであるかを想像するのは難しいかもしれない。この感覚を伝える詩的な試みについては、Bostrom (2008c)を参照。このような可能性のいくつかは、私たちにとって良いものであり、現存する人間にとって良いものであるという議論については、Bostrom (2008b)を参照されたい。

30. 他の提案の方が良いと思うのに、ある提案を推進するのは、欺瞞的、操作的と思われるかもしれない。しかし、不誠実さを避けるような方法でそれを推進することは可能である。例えば、理想が優れていることを認めつつも、理想以外の案を達成可能な最善の妥協案として推進することができる。

31. あるいは、「good」、「great」、「wonderful」などの肯定的な評価をする言葉もある。

32. これは、ソフトウェア設計における「Do What I Mean」（DWIM）と呼ばれる原則と同じだ。Teitelman(1966)を参照。

33. 目標内容、決定理論、認識論は解明されるべき3つの側面だが、これら3つの別々の構成要素にきちんと分解されなければならないか、という疑問を投げかけるつもりはない。

34. 倫理的なプロジェクトでは、超知能が生み出す最終的な利益のうち、プロジェクトの成功に道徳的に許される方法で貢献した人々への特別な報酬として、せいぜいささやかな部分を割り当てるべきだろう。多くの部分を報奨金制度に割り当てることは、見苦しいことである。それは、収入の90%を資金調達担当者の業績賞与や寄付を増やすための広告キャンペーンに費やす慈善団体に類似しているであろう。

35. 死者はどのように報われるのだろうか。いくつかの可能性を考えることができる。低い方では、追悼式や記念碑の設置が考えられるが、これは死後の名声を望む限りにおいて報酬となるだろう。また、文化、芸術、建築物、自然環境など、未来に対して敬意を払えるような希望を持っている場合もある。さらに、多くの人は自分の子孫を大切にするものであり、貢献者の子供や孫に特別な特権を与えることも可能である。超知能は、過去の人々の比較的忠実なシミュレーションを作成できるかもしれない。このシミュレーションは意識を持ち、（少なくとも一部の人々の基準に従って）生存の形態として十分にオリジナルに似ている。しかし、超知性体にとっては、手紙や出版物、視聴覚資料、デジタル記録などの保存された記録や、他の生存者の個人的な記憶から、元の人物によく似たものを再現することは不可能ではないだろう。また、超知性体は、私たちが容易に思いつかないような可能性も考えているかもしれない。

36. パスカル・マグカップについては、Bostrom (2009b)を参照されたい。無限効用に関連する問題の分析については、Bostrom (2011a)を参照。根本的な規範的不確実性については、Bostrom (2009a)などを参照。

37. 例えば、Price (1991); Joyce (1999); Drescher (2006); Yudkowsky (2010); Dai (2009).

38. 例えば、Bostrom (2009a).

39. また、間接規範性を用いてAIの目標内容を特定することで、誤った決定理論の指定から生じる可能性のある問題を軽減することが考えられる。例えば、CEVのアプローチを考えてみよう。CEVアプローチがうまく実装されれば、AIの意思決定理論の仕様の誤りを少なくともある程度は補うことができるかもしれない。私たちの首尾一貫した外挿的な意志がAIに追求させたいと思う値を、AIの意思決定理論に依存させることができるかもしれない。もし私たちの理想化された自己が、特定の種類の決定理論を使っているAIのために価値仕様を作っていると知っていれば、歪んだ決定理論にもかかわらずAIが良性に振る舞うように、価値仕様を調整することができる。

40. 認識論的なシステムの中には、全体的な意味で、明確な基盤を持たないものもあるかもしれない。その場合、憲法上の継承は、明確な原則の集合ではなく、むしろ、入ってくる証拠の流れに対応する特定の傾向を体現する認識論の出発点である。

41. 例えば、Bostrom (2011a)で議論されている歪曲の問題を参照。

42. 例えば、人間性推論において、いわゆる自己暗示の仮定を認めるべきかどうかが争点となる。自己暗示の仮定とは、大雑把に言えば、自分が存在するという事実から、より大きな数Nの観測者が存在する仮説は、Nに比例して確率が上昇するはずだと推論することである。この原理に対する議論は、Bostrom (2002a)の「Presumptuous Philosopher」gedanken experimentを参照。この原則の擁護については、Olum (2002)を、その擁護に対する批判については、Bostrom and Ćirković (2003)を参照のこと。自己暗示の仮定に関する信念は、戦略的に重要な関連性を持つ可能性のある様々な経験的仮説、例えば、カーター・レズリーの終末論、シミュレーション論、「偉大なフィルター」論などの考察に影響を与えるかもしれない。Bostrom (2002a, 2003a, 2008a); Carter (1983); Ćirković et al. (2010); Hanson (1998d); Leslie (1996); Tegmark and Bostrom (2005)を参照。同様の指摘は、参照クラスの選択が観察者モーメントに相対化できるかどうか、できるとすればどのようにか、といった観察選択理論における他の危うい問題に関しても行うことができる。

43. 例えば、Howson and Urbach (1993)を参照。また、2人のベイズ型エージェントの意見が共通認識である場合に、合理的に意見が一致する状況の範囲を狭める興味深い結果もある;Aumann (1976)やHanson (2006)を参照されたい。

44. Yudkowsky (2004)の「最後の審判」の概念を参照されたい。

45. 認識論には多くの重要な論点があり、本文中でもいくつか触れた。ここでのポイントは、最良の結果と実質的に区別できないような結果を得るために、すべての解を正確に得る必要はないかもしれないということである。混合モデル（多様なプリオールを幅広く投げかける）が有効かもしれない。

第14章 ：戦略的なイメージ

1. この原則はBostrom (2009b, 190)で紹介されており、トートロジーではないことも指摘されている。視覚的な例えのために、ある可能性のある技術によって得られる基本的な能力の空間を表す、大きいが有限の容積を持つ箱を思い浮かべてほしい。この箱の中に、研究努力を表す砂を入れることを想像してほしい。砂の注ぎ方によって、箱のどこに砂が積まれるかが決まる。しかし、注ぎ続ければ、やがて空間全体が埋まっていく。

2. Bostrom (2002b).

3. これは、科学政策が伝統的に見られてきた視点とは異なる。Harvey Averch は、1945年から 1984年にかけての米国の科学技術政策を、科学技術事業への公共投資の最適水準に関する議論と、国家の経済的繁栄と軍事力の最大の向上を達成するために、政府がどの程度「勝者を選ぶ」ことを試みるべきかという議論が中心であったと述べている。このような計算では、技術進歩は常に善であると仮定される。しかし、Averchは、「進歩は常に善である」という前提に疑問を呈する批判的視点の台頭についても述べている（Averch 1985）。Graham (1997)も参照されたい。

4. ボストロム(2002b)。

5.もちろん、これは決してトートロジーではない。別の発展順序を求めるケースも想像できる。例えば、ナノテクノロジーの開発など、難易度の低い課題に最初に立ち向かう方が、人類にとって良いことだと主張することができる。おそらく私たちは、機械の超知能よりも、形而上学的に混乱しない脅威を提示する挑戦に立ち向かえる可能性が高いのだろう。ナノテクノロジー（または合成生物学、あるいは私たちが最初に立ち向かうより小さな課題）は、私たちが超知能というより高いレベルの課題に対処するために必要な能力レベルまで上昇するのを助ける足台としての役割を果たすかもしれない。

このような議論は、ケースバイケースで評価されなければならないだろう。例えば、ナノテクノロジーの場合、ナノ加工された計算基板によるハードウェア性能の向上、製造のための安価な物理資本が経済成長に与える影響、高度な監視技術の普及、ナノテクノロジーのブレークスルーの直接的または間接的な影響によるシングルトンの出現、機械知能へのニューロモーフィックおよび全脳エミュレーションアプローチの実現性の向上など、起こり得るさまざまな結果を考慮しなければならないであろう。これらの問題（あるいは、他の存立危機事態を引き起こす技術について生じるかもしれない並行的な問題）をすべて検討することは、今回の調査の範囲外である。ここでは、超知能を優先して開発することを支持する一応の根拠を示すだけであり、場合によってはこの予備的評価を変えるような複雑さがあることを強調する。

6. Pinker (2011); Wright (2001).

7. すべてのものが加速したという仮説は、（一見して）観測的な結果をもたらすようには見えないという理由で、意味がないと考えたくなるかもしれないが、例えば、Shoemaker (1969)を参照。

8. 準備のレベルは、準備活動に費やされた努力の量によってではなく、実際にどれだけ有利な条件が設定され、主要な意思決定者がどれだけ適切な行動をとる態勢にあるかによって測られる。

9. 情報爆発に至るまでの国際的な信頼の度合いもまた、要因のひとつと考えられる。この点については、本章後半の「コラボレーション」のセクションで検討する。

10. 逸話によると、現在コントロール問題に真剣に取り組んでいる人々は、情報分布の極端な一端から不釣り合いに抽出されているように見えるが、この印象には別の説明もあり得るだろう。この分野が流行すれば、間違いなく凡人や変人で溢れかえるだろう。

11. この言葉はカール・シュルマンに由来する。

12. ニューロモルフィックAIではなく、全脳エミュレーションと呼ぶには、機械知能はどの程度脳に似ている必要があるのか？制御の問題で違いが出てくるので、システムが特定の個人または一般的な人間の価値観や認知・評価傾向のすべてを再現しているかどうかが重要な判断材料になるかもしれない。このような性質を捉えるには、かなり高度なエミュレーションの忠実度が必要になるかもしれない。

13. ブーストの大きさは、もちろん、プッシュがどの程度大きいか、また、プッシュのためのリソースがどこから来るかによって異なる。全脳エミュレーション研究に投入された余分なリソースを通常の神経科学研究から差し引いた場合、神経科学にとって正味のプラスにはならないかもしれない。ただし、エミュレーション研究に重点的に取り組むことが、神経科学研究の既定のポートフォリオよりも、神経科学を進歩させるのに効果的であることは確かである。

14. Drexler (1986, 242)を参照されたい。Drexler (private communication)は、この再構成が、彼が提示しようとした推論と一致することを確認している。明らかに、演繹的に有効な推論の連鎖の形で議論を展開しようとするならば、多くの暗黙の前提を追加しなければならない。

15. 小さな大災害を歓迎しないのは、それが私たちの警戒心を高め、実存的な大災害を防ぐために必要だった中規模の大災害を防げるようにするためではないか？(もちろん、生物学的な免疫システムと同様に、アレルギーや自己免疫疾患に類する過剰反応にも注意が必要である)

16. 参照：Lenman (2000); Burch-Brown (2014).

17. Cf.ボストロム(2007)。

18. この議論は、関連する事象のタイミングではなく、順序に焦点を当てていることに留意されたい。例えば、ナノテクノロジーや合成生物学で様々なマイルストーンが達成される前に超知能を実現させるなど、介入によって重要な進展の順序が変わる場合にのみ、超知能を早期に実現することが他の存亡の危機の先取りにつながる。

19. 制御問題を解くことが機械知能の性能問題を解くことに比べて極めて困難であり、プロジェクトの能力がプロジェクトの規模に弱い相関しかない場合、小さなプロジェクトが先にそこに到達する方が良いということもあり得る、すなわち、能力のばらつきが小さなプロジェクト間でより大きい場合である。そのような状況では、たとえ小さなプロジェクトが大きなプロジェクトよりも平均的に能力が低いとしても、ある小さなプロジェクトが制御問題を解決するために必要な異常なほど高い能力をたまたま持っている可能性は低くなる可能性がある。

20. 例えば、高品質の翻訳、より良い検索、スマートフォンへのユビキタスなアクセス、社会的交流のための魅力的なバーチャルリアリティ環境など、グローバルな熟議を促進し、ハードウェアのさらなる進歩の恩恵を受ける、あるいは必要とするツールを想像できることを否定しているわけではない。

21. エミュレーション技術への投資により、全脳エミュレーションの進展が直接的に促進されるだけでなく（技術的な成果物の作成）、間接的にも、より多くの資金を求め、全脳エミュレーション（WBE）ビジョンの知名度と信頼性を向上させる有権者を作り出すことができる。

22.もし未来が、全人類の欲望（の適切な重ね合わせ）ではなく、無作為に選ばれた1人の人間の欲望によって形作られるとしたら、どれだけの期待価値が失われるだろうか。これは、どのような評価基準を用いるか、また、問題の欲望が理想化されたものであるか、生のものであるかによって、敏感に変化するかもしれない。

23. 例えば、人間の心が言語によってゆっくりとコミュニケーションをとるのに対し、AIは同じプログラムのインスタンスが互いにスキルや情報を簡単かつ迅速に伝達できるように設計することができる。また、サイバースペースではどうでもいいような自然環境に対する対処を、私たちの祖先が行ってきた煩雑なレガシーシステムを、最初から設計された機械の頭脳によって取り除くことができる。また、デジタルマインドは、生物の脳にはない高速シリアル処理を利用し、高度に最適化された機能（記号処理、パターン認識、シミュレーター、データマイニング、プランニングなど）を持つ新しいモジュールを簡単にインストールできるように設計されるかもしれない。人工知能はまた、特許が取りやすいとか、人間のアップロードを使用する際の道徳的な複雑さに巻き込まれにくいなど、技術面以外でも大きな利点を持つかもしれない。

24. 各ステップにおける失敗の確率をp1、p2とすると、最終的に失敗するのは1回だけなので、失敗の総確率はp1+（1-p1）p2である。

25.もちろん、フロントランナーがそれほど大きなリードを持たず、シングルトンを形成できないこともあり得る。また、WBEが介在しなくても、AIより先にシングルトンが生まれる可能性もあり、その場合、WBEファーストのシナリオを支持するこの理由は崩れる。

26. WBEを推進する側が支援の特異性を高めることで、WBEを加速させながら、AI開発への波及を最小限に抑える方法はあるのだろうか。神経計算モデリングを推進するよりも、スキャン技術を推進する方がおそらく良い方法だろう。(コンピュータのハードウェアを推進しても、その分野の進歩にインセンティブを与えている大きな商業的利益を考えれば、どちらにしても大きな違いはないだろう）。

スキャン技術を促進すれば、スキャンがボトルネックになりにくくなり、初期のエミュレーション集団が、ごく少数のテンプレートの数十億のコピーからなるのではなく、多くの異なる人間のテンプレートから刻印される可能性が高まるため、多極化の可能性が高まるかもしれない。また、スキャニング技術の進歩により、ボトルネックがコンピュータ・ハードウェアになる可能性が高くなり、離陸が遅くなる傾向がある。

27. ニューロモーフィックAIは、全脳エミュレーションの安全性を高める他の特性、例えば、生物学的な人間と同様の認知の強さと弱さのプロファイルを持つこと（これは、人間に関する経験を利用して、システムの開発の異なる段階での能力についてある程度の予想を立てることを可能にする）にも欠けているかもしれない。

28. WBEを推進する動機が、AIよりもWBEを先に実現させることだとしたら、WBEを加速させることで到着順序が変わるのは、機械知能に向かう2つの経路のデフォルトのタイミングが近く、AIにわずかに有利な場合だけだということを念頭に置いておくべきである。そうでなければ、WBEへの投資は、単にWBEを他の方法よりも早く実現する（ハードウェアのオーバーハングと準備時間を減らす）だけで、開発の順序には影響を与えないか、WBEへの投資はほとんど効果がない（神経形態AIに関する進歩を刺激することによってAIをさらに早く実現できるかもしれない以外には）ことになる。

29. Hanson (2009)へのコメント。

30.もちろん、存在するリスクの大きさや切迫度によっては、そのリスクを先送りすることが、影響を受ける人の観点からも望ましい場合がある。それは、幕が下りる前に既存の人々がもう少しだけ人生をやりくりできるようにしたり、危険を軽減するための努力に時間を割いたりするためだ。

31. 知能の爆発を1年近づけるような行動を取れたとする。現在地球に住んでいる人々が年1%の割合で死に絶え、知能爆発による人類滅亡のリスクはデフォルトで20%（説明のためだけに任意の数字を選んでいる）であると仮定する。そうすると、知能爆発の到来を1年早めることは、（人に影響を与えるという観点から）リスクを20%から21%へ、つまりリスクレベルを5%上げることに値するかもしれない。しかし、知能爆発が始まる1年前に生きている人の大半は、その時点で、爆発のリスクを1%ポイント減らすことができるのであれば、延期することに関心を持つだろう（ほとんどの人は、今後1年間に自分が死ぬリスクは1%よりはるかに小さいと考えるからだ） したがって、毎年、人口が知能の爆発をもう1年先送りすることを決議し、知能の爆発は起こらないが、生きている人は皆、知能の爆発がいつかは起こったほうがいいと考えている、というモデルもあり得る。もちろん、現実には、協調の失敗、予測可能性の制限、あるいは個人の生存以外のものに対する選好が、このような際限のない休止を妨げる可能性がある。

人為的な割引係数ではなく、経済的な割引係数を用いると、天文学的な長寿を享受できる既存の人々の価値が急峻に割り引かれるため、潜在的な上昇の大きさは減少する。この効果は、割引率が恒星時ではなく、各個人の主観的な時間に適用される場合に特に強くなる。将来の利益が年率x%で割り引かれ、他の要因による人類存亡リスクの背景レベルが年率y%である場合、知能爆発の最適点は、爆発をもう1年遅らせると、知能爆発に伴う人類存亡リスクの減少がx+y%ポイント未満になるときであろう。

32. このモデルについては、Carl ShulmanとStuart Armstrongにお世話になった。Shulman (2010a, 3)も参照されたい： 「Chalmers (2010)は、米国ウェストポイント陸軍士官学校の士官候補生と職員の間で、米国政府は、ライバル国が決定的な優位に立つことを恐れて、大惨事に直面してもAI研究を抑制しないであろうというコンセンサスが得られていると報告している」

33. つまり、モデルにおける情報は、常に事前には悪いものである。もちろん、その情報が実際にどのようなものであるかによって、情報が知られるようになったことが良いことだと判明するケースもある。

34. 特に、新しい破壊的軍事技術の導入や前例のない軍備増強が先行する場合、存亡の危機をもたらすことさえあるかもしれない。

35. プロジェクトでは、作業員が多数の場所に分散し、暗号化された通信チャネルを介して共同作業を行うことができる。地理的な分散は軍事攻撃からある程度保護できるかもしれないが、多くの場所に分散していると、人員の離反や情報漏洩、敵対勢力による拉致を防ぐことが難しくなるため、作戦上の安全確保に支障が出る。

36. 時間的割引率が大きいと、たとえ本当のライバルがいないとわかっていても、プロジェクトがまるでレースに参加しているかのように行動することがあることに注意してほしい。割引率が大きいということは、遠い将来のことはほとんど気にしないということである。状況によっては、ブルースカイな研究開発を抑制し、機械知能の革命を遅らせる傾向がある（ただし、ハードウェアのオーバーハングにより、革命が起こったときに、より急激なものになる可能性はある）。しかし、割引率が大きい、つまり将来世代への配慮が低いということは、実存的なリスクもあまり重要でないように思わせるだろう。そうすると、実存的な破局のリスクの増大を犠牲にして、すぐに利益を得る可能性のあるギャンブルが奨励され、安全への投資が阻害され、早期打ち上げが奨励されることになり、レースダイナミックスの効果に類似する。しかし、レース・ダイナミックスとは対照的に、大きな割引係数（または将来世代の無視）は、特に紛争を誘発する傾向はないだろう。

レース・ダイナミズムの低減は、コラボレーションの大きなメリットである。コラボレーションによって、コントロールの問題を解決するためのアイデアの共有が容易になることもメリットだが、これは、コラボレーションによってコンピテンスの問題を解決するためのアイデアの共有も容易になるという事実によって、ある程度相殺される。このようなアイデア共有の促進による正味の効果は、関連する研究コミュニティの集合知をわずかに増加させることであろう。

37. 一方、単一の政府による公的な監視は、一国が利益を独占する結果をもたらす危険性がある。この結果は、責任のない利他主義者がすべての人が利益を得ることを保証する結果よりも劣っているように思われる。さらに、一国の政府による監視は、必ずしもその国のすべての国民が利益を享受することを意味しない。当該国によっては、すべての利益が政治的エリートや少数の利己的な機関関係者に奪われるリスクが大なり小なりある。

38. ただし、第12章で述べたように、インセンティブラッピングを用いることで、人々が受動的なフリーライダーではなく、積極的な協力者としてプロジェクトに参加するよう促すことができる場合もあるようだ。

39. 収穫逓増は、もっと小さなスケールで起こるように思われる。ほとんどの人は、10億分の1の確率で10億個の星を持つ銀河ができるよりは、1個の星を持つ方がいいと思う。実際、ほとんどの人は、地球全体を所有する10億分の1の可能性よりも、地球上の10億分の1の資源を持つことを望むだろう。

40. 参照：Shulman (2010a).

41. 集約的倫理理論は、宇宙が無限であるかもしれないという考えを真剣に受け止めると問題になる。また、バカでかいが有限の値という考えを真に受けると、問題が発生する可能性がある。

42. コンピュータを大きくすると、コンピュータの異なる部分間の通信遅延に起因する相対論的な制約に直面することになる。コンピュータを小さくすると、量子力学的な小型化の限界にぶつかる。コンピュータの密度を上げれば、ブラックホール限界にぶつかる。しかし、これらの制限を回避する新しい物理学が発見されないとも限らない。

43. 人のコピー数は、資源に比例して直線的に増加し、上限はない。しかし、平均的な人間が、自分のコピーを複数持つことにどれほどの価値を見出すかは、明らかではない。複数個のインスタンス化されることを好む人々でさえ、コピー数の増加に対して線形な効用関数を持っていないかもしれない。コピー数は、寿命のように、典型的な人の効用関数において逓減的なリターンを持つかもしれない。

44. シングルトンは、最高レベルの意思決定において、高度に内部協調的である。シングルトンを構成する上位機関がそのように選択した場合、シングルトンは下位のレベルでは多くの非協力と対立を持つことができる。

45. 各ライバルAIチームが、他のチームが見当違いのことをしていて、知能の爆発を起こす可能性はないと確信している場合、協力する理由の1つである競争力学を回避することはできない：各チームは、重大な競争相手がいないと確信して、独立して速度を落とすことを選択すべきである。

46. 博士課程の学生。

47. この記述は、人間以外の動物や、存在する、あるいは存在する可能性のある他の感覚的存在（デジタルマインドを含む）の幸福を十分に考慮するという処方箋を含むように読まれることを意図している。また、この原則は、一人のAI開発者が自分自身の道徳的直感をより広い道徳的コミュニティの直感に置き換えることを許可するものとして読まれることを意図していない。この原則は、第12章で取り上げた、すべての人間を包含する外挿基盤を持つ「首尾一貫した外挿された意志」のアプローチと一致する。

さらに明確な説明がある： この定式化は、人工的な超知能やその構成要素であるアルゴリズムやデータ構造における移行後の財産権の可能性を必ずしも排除することを意図していない。この定式化は、仮想的な未来のポストヒューマン社会における取引を組織するために、どのような法制度や政治制度が最も適しているかについて不可知論であることを意図している。つまり、移行後の憲法制度は、全人類の利益のために、また広く共有された倫理的理想のために選択されるべきであり、例えば、たまたま最初に超知能を開発した人の利益のためだけでなく、それ以外の人のためにも選択されるべきであるということである。

48. Windfall条項の改良は当然可能である。例えば、閾値を一人当たりで表現したり、さらなる生産に強いインセンティブを与えるために、勝者がオーバーシュートの分け前を均等よりやや多く確保することを認めるべきかもしれない（ここでは、ロールズの最大原理が魅力的であるかもしれない）。また、「人類の未来への影響力」や「将来の独身者の効用関数において、さまざまな当事者の利益が重んじられる度合い」などの観点から、この条項の焦点を金額から外し、再定義することも考えられる。

第15章 ：クランチタイム

1. 研究の中には、それが何を発見するかではなく、それに携わる人々を楽しませたり、教育したり、認定したり、高揚させたりといった他の理由で価値があるものがある。

2. 私は、誰も純粋数学や哲学に取り組むべきでないと言っているのではない。また、これらの取り組みが、学界や社会全体の他のあらゆる浪費と比較して、特に無駄であるとも言っていない。実用性や影響力とは無関係に、心の生活に専念し、知的好奇心の赴くままに行動できる人がいることは、とても良いことだろう。しかし、その一方で、優秀な頭脳の持ち主の中には、自分の認知能力が近い将来陳腐化する可能性があることを知ったとき、少しでも早く解を得られるかどうかが重要な理論的問題に関心を移したくなる人がいるかもしれない、という指摘もある。

3. しかし、この不確実性が保護になるような場合には注意が必要である。例えば、Box 13のリスク・レース・モデルで、追加的な戦略情報が害になることがわかった。より一般的には、情報ハザードを心配する必要がある（Bostrom [2011b]を参照）。情報ハザードについてもっと分析する必要がある、と言いたくなる。しかし、そのような分析自体が危険な情報を生み出す可能性があることを心配するのは当然であろう。

4. Bostrom (2007)を参照。

5. この点を強調してくれたCarl Shulmanに感謝したい。

この記事が役に立ったら「いいね」をお願いします。
いいね記事一覧はこちら
備考：機械翻訳に伴う誤訳・文章省略があります。
下線、太字強調、改行、注釈や画像の挿入、代替リンク共有などの編集を行っています。
使用翻訳ソフト：DeepL,ChatGPT ／文字起こしソフト：Otter 
alzhacker.com をフォロー
Alzhacker
error: コンテンツは保護されています !