人工超知能の心理学

Contents

序文
目次
第1章　ユニバーサルな勧誘

The Psychology of Artificial Superintelligence

ヨアヒム・ディーデリッヒ

認知システムモノグラフス

リュディガー・ディルマンカールスルーエ大学（ドイツ、カールスルーエ

中村慶彦東京大学大学院情報理工学系研究科機械情報学専攻

Stefan Schaal, University of Southern California, Los Angeles, CA, USA David Vernon, University of Skövde, Skövde, Sweden アドバイザリー・エディター

Heinrich H. Bülthoff, MPI for Biological Cybernetics, Tübingen, Germany 稲葉雅之, 東京大学, 東京,日本 J.A. Scott Kelso, フロリダ・アトランティック大学, Boca Raton, FL, USA Oussama Khatib, スタンフォード大学, スタンフォード, CA, USA

國吉康雄, 東京大学,日本, 東京奥野博, 京都大学,日本ヘルゲ・リッター, ビーレフェルト大学, ドイツジュリオ・サンディーニ, ジェノバ大学, イタリアブルーノ・シチリアーノ, ナポリ大学, イタリアマーク・スティードマン, エディンバラ大学, 英国エディンバラ, 英国高西敦夫, 早稲田大学, 東京,日本

Cognitive Systems Monographs (COSMOS)は、認知システム研究の各分野における新たな発展や進歩を、迅速かつ非公式に、しかし高いクオリティで出版している。認知脳科学や生物学と工学分野の架け橋となることを意図している。バイオニクス、システム分析、システムモデリング、システムデザイン、人間の動作理解、人間の行動理解、行動の学習、マンマシンインタラクション、スマート環境と認知環境、ヒューマンビジョンとコンピュータビジョン、神経情報学、ヒューマノイド、生物学的動機に基づくシステムや人工物、自律システム、言語学、スポーツ工学、計算知能、生体信号処理、認知材料など、認知システムの技術的内容、応用、学際的側面、およびその背後にある方法論をすべて網羅している。本シリーズは、単行本、講義録、専門会議やワークショップからの抜粋、博士論文の抜粋を収録している。

序文

本書は、先進的な人工知能が心理的に与える影響について探求している。個人の幸福に対する心理的影響だけでなく、社会にも大きな影響がある。人間の仕事は今後も変容を続け、そう遠くない将来には消滅してしまうかもしれない。脳とインターネットを直接つなぐインターフェースは、私たちの思考やコミュニケーションの方法に影響を与えるだろう。高度な人工知能の判断や行動はますます理解しづらくなるため、人工知能に対するより良い説明の形が求められる。このテクノロジーは、社会的信用システムを利用するなど、社会の重要な部分を管理するためにますます利用されるようになっており、その結果、全人口が影響を受けることになる。最後に、軍事用AIの進歩には、恐怖と恐怖を撒き散らす自律型殺人マシンが含まれるかもしれない。これらの開発はすべて、人間の心理的幸福に対する重大な挑戦である。

明らかに、医療分野では人工知能の向上による進歩があり、他の分野でも人間の生活は豊かになるかもしれない。しかし、そのような進歩のリスクや課題については、十分な情報に基づいた議論が必要だ。個人がテクノロジーの使用や新たな発展に触れることについて判断できるような情報が必要なのだ。

本書の核となるメッセージは、高度な人工知能はすべての人に影響を与えるということ： AIシステムの開発者やユーザーだけでなく、このようなテクノロジーに直接接することのない個人にもである。これは人工知能の勧誘的な性質によるものだ。技術の普遍的な勧誘こそが課題なのだ。需要になりうる勧誘である。

機械が「使われたい」と思うのは、機械が人間のニーズに直結しているからだ。これはアフォーダンスの概念を超えるものであり、機械の形態や形状が人間の要求に直結してはならないからだ。電卓が使われたいと思うのは、ほとんどの人間が、頭で計算したり紙とペンを使ったりするのは時間がかかりすぎて疲れるからだ。車のGPSは、人間が道路をナビゲートする能力を失いかけているから使われたいのだ。ヒーターは寒いときに使われたがる。機械は人間の欲求に直接対応し、頻繁に複数の欲求に対応する。車はa地点からb地点への移動を可能にするが、社会的地位を表すこともある。さらに、自動車は使用されることを望むか、故障（バッテリーなど）することを望む。人工超知能は、人間の生活を簡素化し、組織化し、労力を削減し、人間のニーズを満たすため、常に使われることを望んでいる。これは普遍的な勧誘と呼ばれる。

一例として、戦闘状況にある軍の指揮官は、人工知能によって誘導される自律型の兵器化されたドローンの使用から遠ざかるかもしれないが、それでも、この技術、その利用可能性、影響に関する知識は、将来の決定に影響を与えるだろう。実際にセックスロボットを買ったり使ったりする人はいないかもしれないが、機器の存在、機器にまつわるイメージ、入手可能性についての知識は、人間関係に影響を与えるだろう。人里離れた土地でハイテクとは無縁の質素な生活を選ぶ人がいるとすれば、たとえその引きこもりがハイテクに直接触れることがなくても、その選択はテクノロジーの存在の結果である。勧誘はまだある。

ここでのビジョンは、高度な人工知能の一形態であり、それは単に「人間がコントロールする」ものではなく、自分自身とその動作を誰にでも説明するという意味で有益なものである。これには、子ども、高齢者、知的障害者など、社会的弱者も含まれる。これらの説明は、利用者にとって適切で受け入れやすい形でなければならない。おそらく、こうした説明はビデオやデモンストレーションの形をとるだろう。高度なAIであっても、人間の理解力に合わせる必要がある。

ブレイン・コンピューター・インターフェースが大きく進歩し、神経情報処理と電子情報処理が直接リンクする見通しが立ったことを考えると、心理学的な観点から多くの原則が重要になる。人間の動機付けシステム、特に報酬システムは作動し続けなければならない。報酬を得るための行動や努力を必要とせず、報酬が直接人間の脳に届けられると、モチベーションは崩壊するだろう。これは、ブレイン・マシン・インターフェースに制限を課すことになる。認知能力の強化が技術的手段によって可能になり、報酬が人間の脳に直接届けられる段階になると、「何かを得るために、もう何もする必要がない」というリスクが生じる。これは確かに人間の存在に対する挑戦である。

人間が制御可能なAIの概念に納得できない人々には、撤退し、よりシンプルな生活を送る権利があるはずだ。現在、アメリカやカナダのアーミッシュの人々は、先端技術の使用を拒否し、これらのコミュニティを取り巻く社会と共存している。わたしたちは人工知能の恩恵を受ける選択肢を持ちながら、人工知能から離れて暮らす機会が必要である。よりシンプルな生活を求める人は多いだろうが、医療や医療サービスの提供の進歩を利用したくない人はいないはずだ。

人工知能の急速な発達は、多くの人々にとって非常に複雑な決断を必要とする。テクノロジーを開発し利用する人々にとっても、またそのままの状態を好む人々にとっても、である。これらの決断は、本質的に深く個人的なものである。本書は、この意思決定プロセスに必要な情報の一部を提供することを目的としている。

妻のスーザン・ケイ・ライトの愛情とサポート、そして本書の初期草稿に対する多大なフィードバックに感謝したい。Luke Diederich、Leonie Holthaus、Peter Trawnyからは貴重なコメントと示唆をもらった。

オーストラリア、クイーンズランド州ヨアヒム・ディーデリッヒ

1 ユニバーサルな勧誘
- 1.1 はじめに
- 1.2 人工超知能
- 1.3 人工知能が社会を規制する
- 1.4 ロボット工学とAI
- 1.5 コミュニケーションのスピード
- 1.6 今、この議論をすべきだろうか？
- 1.7 未来のAI超知能は敵対的か？
- 1.8 先進AIは有益になり得るだろうか？
- 1.9 動機と背景
- 1.10 まとめ
- 参考文献
2 デジタルクローン
- 2.1 はじめに
- 2.2 設計原則
- 2.3 発見的探索としての心理療法
- 2.4 デジタルクローンのライブトレーニング
- 2.5 デジタル・クローン・ツリー
- 2.6 コンピューターは社会的行為者である

- 2.7 心理療法における言語の調整 .
- 2.8 AIセラピーの勧誘
- 2.9 孤独
- 参考文献
3 説明
- 3.1 はじめに
- 3.2 説明の論理
- 3.4 説明と学習
  - 3.4.1 説明に基づく汎化
- 3.5 説明の種類
  - 3.5.1 説明の方法と理由
  - 3.5.2 最適な説明の生成と特定
  - 3.5.3 説明と「心の理論」
- 3.6 説明とブラックボックス機械学習
  - 3.6.1 ブラックボックス機械学習システムからのルール抽出
  - 3.6.2 誰のためのルール抽出か？
- 3.7 可視化とWhat-If説明
- 3.8 説明の新しい形
- 3.9 子供のための説明
  - 3.9.1 子供のための納得のいく説明
- 3.10 不合理な説明
- 参考文献
4 トランスヒューマニズム
- 4.1 はじめに
- 4.2 認知と知覚の強化
- 4.3 能力の融合
  - 4.3.1 能力強化、人格、「自己」の概念
- 4.4 自己の概念
  - 4.4.1 自己記憶システム
  - 4.4.2 自己とオートポイエーシス
  - 4.4.3 エンハンスメントと社会的結束
- 4.5 ブレイン・マシン・インターフェイス
  - 4.5.1 BMI、テレパシー、精神病
- 4.6 人間のモチベーション
- 4.7 生命の延長
- 参考文献
5 ネオ・ラッディズム
- 5.1 はじめに
- 5.2 ネオ・ラッダイト
- 5.3 「神のみが私たちを救うことができる」： 1966年のハイデガーのシュピーゲル誌インタビュー
  - 5.3.1 人工知能は（単なる）道具ではない
- 5.4 思考実験
  - 5.4.1 心理学におけるマインドフルネス
  - 5.4.2 フッサールの現象学的還元
  - 5.4.3 ハイデガー的AI
- 5.5 人工知能への抵抗
  - 5.5.1 致命的な自律兵器
  - 5.5.2 オンライン会話の監視
  - 5.5.3 AIとプライバシー
  - 5.5.4 医療AIへの抵抗
  - 5.5.5 民族性、性格、魅力の決定
- 5.6 先端技術に対する社会の反応
- 参考文献
6 安全性と軍事用人工知能
- 6.1 はじめに
- 6.2 米国における軍事用人工知能に対する態度
- 6.3 機械は責任あるエージェントか？
  - 6.3.1 知的殺戮マシンは責任あるエージェントか？
  - 6.3.2 AIを使って人間を殺すことに誰が貢献するのか？
  - 6.3.3 ナチスの残虐行為、責任と個人の罪悪感
  - 6.3.4 気候変動と個人的罪悪感
  - 6.3.5 非ヒューマノイド・ドローンと不安
- 6.4 感情と軍事AI
- 6.5 説明と軍事AI
  - 6.5.1 軍事応用における説明と誤情報アプリケーション
- 6.6 武力紛争のルール
  - 6.6.1 武力紛争のルールとAI
  - 6.6.2 AIとの武力紛争のための拡張ルールセット
- 6.7 高度AIの人間による制御
  - 6.7.1 人間とAIのパートナーシップ
  - 6.7.2 侵入
- 6.8 人工知能と軍事AI
- 参考文献
7 人工知能のリスク
- 7.1 はじめに
- 7.2 人間と機械の不気味の谷
  - 7.2.1 不気味の谷概念への挑戦
- 7.3 不気味の谷と自閉症スペクトラム障害
  - 7.3.1 不気味の谷での生活
  - 7.3.2 心の理論、自閉症と人工超知能
- 7.4 チャットボットの悪用
  - 7.4.1 チャットボットにおけるポルノフィルター
- 7.5 自閉症のためのロボット
参考文献
付録

第1章　ユニバーサルな勧誘

本書は、優れた人工知能（AI）の存在下における人間の感情と認知について書かれたものである。認知心理学と臨床心理学の確立された知識をもとに、本書は、その行動を容易に理解したり説明したりすることができない高度な人工知能とともに生きる経験を探求することを目的としている。本書では、一般的に知られ受け入れられている以上の、優れた人工知能の特定の形態についての推測は控えている： AIは多くのオンラインサービスのバックボーンであり、そのためユーザーからはほとんど隠されている。製造業や、軍を含むサービス産業には、多様なインテリジェント・ロボットが登場するだろう。さらに、高度な人工知能は行政の一部となり、ますます複雑化する社会の管理に使われるようになるだろう。本書の原則的なメッセージは、未来の人工知能は「普遍的な勧誘」であり、需要特性を持ちうる永続的な利用への誘いであるということだ。優れた人工知能が即座に利用可能になり、存在するようになることこそが課題なのである。

1.1 はじめに

本章ではまず、人工超知能の概念について論じる。現在の技術でも、人間の生活に非常に大きな影響を与えるシステムを構築できることを指摘する。これには、国全体の行動修正プログラムであるAIシステムも含まれる。また、戦争用のロボットシステムや、非常に高速な意思決定能力を持つAIシステムも含まれる。次に、AIシステムがまだ実行できないタスクが数多くあるため、人工超知能の議論がタイムリーかどうかが問われる。

次に、将来のAIシステムは敵対的なものになるのか、善意的なものになるのか、あるいはその両方になるのかという疑問とともに、自己保存というトピックが取り上げられる。最後に、本書の動機と理論的背景が紹介される。これには、多くの分野における勧誘とアフォーダンスの理論が含まれる。

普遍的な勧誘とは、AIシステムが生活のほとんどすべての場面でその利用を促すことを意味する。普遍的勧誘の理論は、本書の概要に先立ち、本章の最後に紹介する。

1.2 人工超知能

私たちよりも知的な存在という考えは、単純に不気味であり、常にそうであった。それはあまり馴染みがなく、控えめに言っても危険である。このことは、アラン・チューリングのような人工知能の初期の発明者たちもよく認識しており、彼は英国でのラジオ講演で懸念を表明した（Russell 2019, p.135）：

もし機械が思考できるようになれば、その機械は私たちよりも知的に思考するかもしれない。戦略的な瞬間に電源を切るなどして、マシンを従属的な立場に保つことができたとしても、私たちは種として大いに謙虚になるべきだこの新たな危険は確かに私たちに不安を与えるものだ。

超知能を恐れることは実存的な不安の一形態であり、アラン・チューリングは、必要であればAIを停止させることを提案している。この考え方が多くの理由から素朴なものであることは、以下の章で明らかにされる。部分的には、人工的な超知能の純粋な存在が挑戦を意味するからだ。次の章で焦点となるのは、技術の「普遍的な勧誘」である。コフカ(1935, p. 7)が書いているように、「果物は『私を食べなさい』と言い、水は『私を飲みなさい』と言い、雷は『私を恐れなさい』と言う」(Withagen et al. 2012, p. 251)。コフカ(1935)に倣えば、高度な人工知能は「要求特性」を持っている。

現在、高度な人工超知能の危険性を警告する書籍や記事、ブログには事欠かない。人工知能の最も重要な研究者の一人、カリフォルニア大学バークレー校のスチュアート・ラッセルは最近、人間のコントロールと高度な人工知能に関する本を出版した。この本の最初のページは劇的なものでしかない。彼は「人類の未来における最大の出来事」の候補として、次の5つを挙げている：小惑星の衝突やその他の大災害によって全員が死亡する、医学の進歩によって全員が永遠に生きる、光よりも速い旅を発明する、優れた宇宙人の訪問を受ける、超知的な人工知能を創造する、である（Russell 2019, p.2）。これらのブレークスルーが急進的であるのと同様に、ラッセルは人工超知能の発明を最も重要なものとして挙げている。彼は続けてこう書いている（Russell 2019, p. 4）。

私は、自分自身の研究分野が自分自身の種に潜在的なリスクをもたらすという見解に公にコミットするだろう。

同様に、スティーブン・ホーキング博士やイーロン・マスクらは、文明レベルの脅威として、超人的な人工知能のリスクについて警告している。このことが、将来のAIシステムがもたらすリスクを軽減するための研究努力の引き金となり、イーロン・マスクの場合は、ブレイン・コンピューター・インターフェイスを通じてAIシステムとの相互作用を可能にするために、人間の脳の強化に投資している。

「人工超知能」という表現は、ディストピアSF映画、特に『ターミネーター』のヴィジョンを即座に呼び起こす。これらの映画では、ターミネーター・ロボットを使って人類を絶滅させようとするスカイネットと呼ばれる、ほとんど目に見えない単一の人工超知能が登場する。スカイネットは、人工的なニューラルネットワークに基づくシステムとして描かれており、意識を持ち、いくつかの構成要素を持っている。スカイネットが何らかの形で道徳に導かれているかどうかは定かではない。いずれにせよ、映画の中では、この人工超知能は急速に発達し、それを停止させようとした後、スカイネットは核攻撃で反応する。この映画のメッセージは、AIは非常に危険であるということだ。

別の映画『トランセンデンス』では、人間の精神が何らかの方法でコンピューターにアップロードされ、人工超知能になるまでそこで発達し続ける。高度なAIシステムは急速に発展し、科学的発見をする。この過程で、人間は採用され、操作され、強化され、殺される。この映画では、AIに対する組織的な抵抗も描かれている。この映画は「シンギュラリティ」と呼ばれる現象も扱っている。

1.2.1 シンギュラリティ

人工的な超知能の出現は、「技術的特異点（シンギュラリティ）」という仮定の包括的な用語で頻繁に議論される：自己改善する人工知能エージェントが制御不能な進歩過程に入り、知能の爆発を引き起こして、人間の知能を超える強力な超知能（シンゲルトン）をもたらすというものである（Bostrom 2014）。さらに、この「シンギュラリティ」の地点を超えると、人類の状況は一変すると想定されている。

映画と関連文献には多くの共通点がある。技術的な「特異点」が発生し、その後、改良の暴走が起こり、より高度な人工知能が開発される。このプロセスは、速く、不可逆的で、予測できない結果を伴うものとして描かれている（しかし、多くの否定的な結果があることは暗示されている）。映画や「シンギュラリティ」という表現は、将来、一般的な人工超知能が単一の存在になることを暗示している。相互作用する部分から構成されるかもしれないが、本質的にはひとつの心である。それは本質的に計算機であるため、エネルギーを必要とし、資源をめぐって人間と競合する可能性がある。

SF文学やそれに関連する映画は、強力なコンセプトや印象的なイメージを紹介している。しかし、このようなフィクションで描かれる未来の高度なAIシステムは、認知心理学の観点からは意味をなさない。第一に、心理学的見地から、単一の、一般的で優れた人工知能システムの存在を想定することは困難である。人間の心、特に認知について書かれた心理学の教科書には、必ず言語とコミュニケーションの章がある。どのような知性にとっても、情報の交換は重要である。したがって、多種多様で高度なAIシステムが多数存在し、明らかに人間や他の機械、環境と相互作用し、膨大な量のデータを処理すると考える方が論理的である。

シンギュラリティ仮説は、人工的な超知能の出現をテクノロジー面で捉えようとする試みである。より重要なのは、優れたAIの出現が人間にどのように受け止められ、人間の生活をどのように変えるかという問題である。人間の行動の結果があまり重要でなくなるため、「学習性無力感」が生じるのだろうか？人間の創造性は機械に完全に追い越されてしまうのだろうか？優れたAIの行動を説明することの難しさや失敗は、個人や社会にどのような影響を与えるのだろうか？高度なAIの存在はモチベーションにどのような影響を与え、個人のメンタルヘルスに影響を与えるのだろうか？

人工超知能が10年後、20年後、50年後、100年後に到来するかどうかにかかわらず、人類が人間の認知能力のピーク時にこれらの優れたエージェントと出会うかどうかは疑問である。現在、「フーリン効果」と呼ばれる、20世紀の大半にわたって観察されてきた世界人口の知能の明らかな上昇が逆転している現象について議論されている。いくつかの国では、この増加はここ数年で鈍化または逆転している（Bratsberg and Rogeberg 2018）。加えて、精神衛生状態が急上昇しており、一部の集団における不安や抑うつの割合が40%に近づいていると上方推定されている。

本書は、予想される人工超知能の技術的側面についてではない。また、そのような知性がいつ到来するかという問題についても触れていない。人工超知能のある側面は、例えばロボットのような形で目に見えるものとなり、他の側面は目に見えないか、コンピュータのインターフェースを通して部分的にアクセスできるに過ぎない。これはまさに今日の状況である。

本書は、高度な人工知能が人間の認知機能、感情、モチベーションに与える影響について書かれている。また、高度なAIが満たさなければならない非常に基本的な要件についてであり、これには、その操作や行動を説明する能力の大幅な向上も含まれる。

本書の目的からすると、「人工超知能」という言葉には、荒唐無稽な憶測ではなく、現在の研究と技術に基づいた実行可能な定義が必要である。60年以上にわたる人工知能の歴史を経て、現在と未来のAIシステムについて以下のことが言える：

1. AIシステムはアプリケーションに組み込まれたサービスであり、ユーザーからはほとんど見えない。
2. AIシステムの中には、例えばロボットのように具現化されたものもある。
3. AIシステムは、データベースやソーシャルメディアなど、高度に相互接続されている。

上記の定義を出発点として、AIがどのように社会を規制するために使われ、ロボット工学やドローンに応用され、人間の脳と比較して信号の伝達がはるかに速いのかに関連して、人工超知能のより深い理解が示される。

1.3 人工知能による社会規制

中国は人工知能システムの開発だけでなく、非常に高度な技術の応用においてもリーダー的存在である（Morgan et al.）中国の取り組みは、ソーシャルメディアと金融信用スコアリングやその他のアプリケーションをリンクさせている。他の先進国も同様の取り組みを行っているが、人口14億人の中国ほどの規模ではない。

現在、中国は顔認識と監視、信用スコアリング、ソーシャルメディアを含むAIシステムのネットワークを構築している。その目的は、金融信用、旅行、質の高い住宅などのメリットで積極的な行動に報いる安全な社会である。現在の報告書では、高度に相互接続されたシステムが次のようなものをカバーしていると指摘されている。

14億人の住民をカバーし、少なくとも部分的にはすでに実施されている（Dos Reis and Press 2019）。

中国には、権威への服従、均衡の追求、社会への適合を強調する儒教哲学の影響を受けた豊かな歴史がある（Dos Reis and Press 2019）。中国の社会信用システムは、共産主義革命後まもなく導入された個人記録の使用に基づいている。中国のシステムには非常に多くのコンポーネントが含まれており、少なくとも一部は人工知能に基づいている。システムはソーシャルメディア、監視記録、財務データ、雇用情報にアクセスできる。さらに、このシステムは政府の観点から、肯定的な行動には報酬を与える。言い換えれば、これはトークンエコノミーや臨床心理学における他の介入に似た強化スキームに基づく膨大な行動修正プログラムである。

人工知能システムが、中国の社会的信用採点システムの一部であるコンポーネントの多くにアクセスし、制御できると仮定してみよう。このAIシステムは、超高知能である必要は全くなく、単に特定のパラメーターを最適化するように訓練されているに過ぎない。このシナリオは、今日の基準からすれば並外れた「知性」を持たない人工知能システムが、社会の重要な部分をコントロールし、影響を及ぼすことができるということを示すものである。このようなAIシステムは今日構築できるだけでなく、その規模と影響力から、容易に「超知能」と認定されるだろう。

Russell (2019)は、（人工知能ではないにせよ）アルゴリズムによる社会の規制、さらにはコントロールについて、さらなる例を示している。ソーシャルメディアのアルゴリズムは、クリックスルー、つまりユーザーが提示されたアイテムをクリックする確率を最適化するように設計されている。フェイスブックやツイッターのようなプラットフォームは、タイムラインを使用し、多くの基準によって導かれるメッセージの流れの中にコンテンツを配置する。しかし、最も重要なのはクリックスルーである。ソーシャルメディア企業は、ユーザーができるだけ長く自社のプラットフォームにとどまり、会話に参加してくれることを望んでいる。予測可能性の高いユーザーは、クリックスルーが予測でき、それに応じてコンテンツを編成できるという利点がある。興味深いことに、極端な意見を持つ人ほど予測しやすい傾向があるため、ソーシャルメディア・プラットフォームにとっては、極端な意見を持つユーザーを抱えることが有利となる。かなり極端なコンテンツを配置することで、ユーザーをさらに過激化させ、その結果、社会が高度に分断される可能性がある。Russell (2019)は、有益な人工知能の側面、あるいは少なくともリスクを最小限に抑える人工知能の側面について論じる前に、この状況に対する彼の見解を明確にしている。Russell (2019, p. 9)は次のように書いている。

その結果、ファシズムの復活、世界中の民主主義を支える社会契約の解消、そしてEUとNATOの終焉の可能性がある。数行のコードにしては悪くない。

デル・ヴィカリオら(2016)は、フェイスブックにおける「感情伝染」と集団の分極化について研究した。感情伝染とは、あるグループの感情や関連する行動が、他の人々の感情や精神状態に「転移」することを指す。Del Vicario et al. (2016)は、イタリアのフェイスブックにおける科学グループと陰謀グループの行動を調査・比較しながら、「活動的なユーザーほど、コメントする際に否定的な感情を表現する傾向が高い。」この特徴は、どちらのユーザー・カテゴリーにも当てはまる」と述べている。Del Vicario et al. (2016, p. 7)は、両方のカテゴリーについて、平均して次のように詳しく述べている：

より活動的なユーザーは、より活動的でないユーザーよりも、より速く否定的な方向にシフトする。この否定的な傾向の増加率は、100以上のコメントを持つユーザーほど高く、また、陰謀論的なユーザーよりも科学的なユーザーほど高い。

しかし、Del Vicario et al. (2016, p. 7)は、センチメントの分極化に関して、科学と陰謀の2つのカテゴリー間の違いに注目している：

感情偏向は一般的に科学ユーザーの方が高いが、非常に活動的な科学ユーザーは活動の増加とともに感情偏向を減少させる傾向があり、逆に陰謀論ユーザーは増加させる傾向がある。

Deng and Hu (2018)は、感情伝染にはさまざまな形態があると指摘している。「幸福の処理は模倣に基づく感情伝染の経路をたどり、怒りの処理は社会的評価を必要とする」（Deng and Hu 2018, p.1）。感情伝染は、高次の心理的機能を必要としない原始的な共感形態である。最近の研究では、感情伝染は人間同士だけでなく、さまざまな動物種間にも存在することが報告されている（犬同士や人間と犬の間など;片山ら2019）。ハイテク社会における二極化の原動力が、原始的な形の共感であることは興味深い。さらに、見解の分極化と感情的反応のエスカレートは、商業的目的を果たすアルゴリズムによって引き起こされていることを忘れてはならない。ラッセル(2019)が書いているように、数行のコードにしては悪くない。

どのような高度なAIであれ、そのテクノロジーを使わず、積極的に近づこうとしない人々を含め、すべての人に影響を与えるだろう。

ラッセル(2019)は、旧東ドイツのシュタージという治安国家が、何十年にもわたって全人口を監視し、全市民の25%が情報提供者として含まれていたことを指摘している。中国が、人工知能によってコントロールされないまでも、大きな影響を受ける国民のための情報環境を構築している過程にあることは注目に値する。このシステムは、国家によって肯定的とみなされた行動に報いるものである。

他にどのような形の人工超知能が可能なのか、あまり多くを推測する必要はないだろう。

1.4 ロボット工学とAI

殺傷力のある武器と自律的な意思決定を持つ、飛行または遊泳するドローンの大群は、明らかに現在の技術の範囲内にある。この群れには何千ものロボットが含まれる可能性があり、この技術は戦争の問題に対する安価な解決策となる。人間の行為者（兵士）が関与しないため、安全な解決策だと主張する人もいるかもしれない。とはいえ、このような学習する群ベースのシステムの挙動を予測し説明するのは困難であり、戦争中の人間のコントロールや倫理的な意思決定に疑問を投げかけることになる。

短編映画『Slaughterbots』は、群れとして攻撃する兵器化された小型無人機の使用を描いている。それぞれのドローンは小型の爆発物を搭載しており、すべてのドローンに顔認識機能がある。ビデオでは、ドローンの小さな群れが都市住民を攻撃し、人間の標的と非標的をきれいに分けるシナリオが描かれている。この映画は、ソーシャルメディア・データが、群衆攻撃の標的を記述するために使用され、この情報が政治的敵対者に対して使用される可能性があることを示唆している。

『Slaughterbots』　新しい形のAI兵器　ミニドローン

ディストピア世界では、新しい形のAI兵器が作られている。このドローンロボに必要なのは、年齢、性別、体力、服装、民族性などのプロフィールだけである。核兵器は時代遅れだ。敵全体を事実上リスクなしで倒せる。敵の特徴を掴み、群れを放てばいいだけ。後は簡単だ。スチュワート・サグ氏による「

映画はまた、この技術がテロリストに利用される可能性があり、有効な対策がないことも示唆している。Scharre(2017)のような著者は、通信の妨害から物理的な障壁の設置まで、可能な防御策はあると主張している。ここでの焦点は、高度な人工知能がもたらす心理的影響である。『スローターボット』のような映画が恐怖を誘発していることは否定できない。兵器に対する恐怖は今に始まったことではなく、『スローターボッツ』では、安価な群ベースの技術が核兵器に取って代わると主張することで、これを拡大解釈している。しかし、小型攻撃ドローンの群れには何かが違う。昆虫の群れを相手に理屈をこねることはできない。戦場で人間の相手と停戦を交渉することは可能かもしれない。人工知能が(1) 追跡、(2) 顔認識、(3) 照準、(4) 殺害に限定されている小型飛行ドローンの群れと交渉することは不可能だ。大群ベースの人工知能は、確かに生物学的な昆虫とその行動をモデルにしている。この類推が恐怖を生み、スローターボットのビデオを効果的なものにしているのだ（当然、ビデオのタイトルも恐怖を助長している）。

社会を規制するためのAIの使用に関するケースシナリオのように、戦争におけるロボット工学の使用に関するスローターボットのビジョンは、新しい技術やごく近い将来に予測できないいかなる発展にも依存していない。言い換えれば、何百万、何千万という自律兵器化されたドローンを組み込んだ世界規模の戦争は、現在の技術でも可能だということだ。この観察は、高度なAIの心理的影響にとって重要である。さらなる根本的な技術的ブレークスルーは必要ないため、AIの未来はすぐそこまで来ており、その結果も、肯定的なものであれ否定的なものであれ、同様だ。

1.5 コミュニケーションのスピード人間対AI

現在および将来のAIシステムに関して考慮すべきもう1つの側面は、通信速度である。電子機器は光速で通信するが、人間の脳内の信号伝達は遅い。神経信号の伝達速度は最大でも毎秒100メートルで、電子通信や意思決定の速度に比べると極めて遅い。人間の認知活動も遅く、多くの場合、数百ミリ秒を要する。意思決定や行動が非常に速く、人間が意識的に観察できないようなAIシステムも、「スーパーインテリジェンス」というラベルを正当化するだろう。

しかし、電子機器の通信速度だけを見るのは不十分である。人工超知能内部あるいは人工超知能間の通信速度をより現実的に評価するためには、多くの要素を考慮しなければならない：人工超知能は、自然環境や生物、さらには組織を観察したり、シミュレートしたりしなければならない。人工超知能は自然環境や生物、さらには組織を観察したりシミュレートしたりしなければならないが、これらのプロセスは独自の時間スケールで展開するため、AIシステムのコミュニケーションや推論の速度に比べると比較的遅くなる可能性があることは注目に値する（Russell 2019, p.97）。人間の問題解決はその一例に過ぎない。「期待外れ」を誘発するような新しい問題が提示されたとき、人は結論に到達するために、いくつものステップを順次踏まなければならない。例えば、朝になっても車のエンジンがかからず、いくつかの可能性のある理由を考える必要がある（燃料がない、バッテリーが低いなど）。問題の切り分けにはいくつかのテストが必要だ。これには確かに時間がかかり、人間の問題解決をAIシステムが観察する場合、マシンはただ待つしかない。マシンが適切な抽象度で世界の完全かつ信頼できるモデルを持っている場合にのみ、経験的な観察を必要とせずに人間の問題解決をシミュレートすることが可能になる。

もう1つの問題は、人工知能における古くからの「フレーム問題」である。行動を実行する人工エージェントは、活動の結果として環境のどの側面が変化し、どの側面が変化しないかをどのようにして知るのだろうか？例えば、私が部屋の椅子を動かすと、椅子の位置が変わるだけでなく、体温で部屋の温度が上がるかもしれない。しかし、部屋や世界全般の他の側面はまったく変化しない。家具は移動していないし、照明条件なども変わらない。何が変化し、何が変化しないかを知るには、環境の完全な知識と多大な計算リソースが必要なため、時間のかかるプロセスである。最悪の場合、椅子を動かした結果、環境のどの側面が変化し、どの側面が変化しなかったかを知るために、すべての既知の事実を再評価する必要がある。

まとめると、人工超知能は、ゆっくりとしたプロセスを含む自然環境の中で作動しなければならない。そして、AIがこれらのプロセスを観察し、結果を待たなければならない分だけ、機械の動作は遅くなる。

1.6 今この議論をすべきか？

人工超知能の潜在的な影響に関する議論は時期尚早だと主張する人は多い。その中でも特に面白いのは、スティーブン・ピンカー（Marcus and Davis 2019, p.30）の言葉である：

ロボットが超知的になり、人間を奴隷化するという）シナリオは、ジェット機がワシの飛行能力を超えたので、いつかワシが空から急降下して家畜を奪ってしまうのではないかという心配と同じくらい理にかなっている。

このような言葉には通常、人工知能がまだできないタスクの長いリストが続く。そして、その点を強調するために、対応するタスクは小さな子供や動物にとって簡単であることが強調される。この議論から遠ざかりたい人々の主な主張は、見当違いであるか、時期尚早であるか、あるいはAIの資金を脅かす可能性があるため危険でさえある、というものだ。

冒頭の章で、マーカスとデイヴィス(2019)も同様の見解を示している。彼らは、人工知能の成功例はすべて非常に狭いタスク、特に物体認識に基づいていると指摘している。様々な比喩や複雑な物語を含むテキストの意味を正しく理解することは、AIにとってはるかに難しい。そこでMarcusとDavies(2019)は、信頼でき、自分の行動を説明できる一般的な人工知能の利点を指摘している。

確かに人工知能は狭いタスクを得意とし、一般的な人工知能への進歩はほとんど見られない。以下では、現在の技術で何らかの形の超知能を構築できること、そして最も重要なことは、現在の技術は非常に致命的であり、不安を誘発し、その使用を永久に制限する可能性があることを指摘する。しかし、マーカスとデイヴィス(2019)による、一般的な人工知能は安全性と信頼性に関して有益であるという指摘は、本書のいくつかの章で採用される。

1.7 未来のAI超知能は敵対的か？

何気なく見ている人は、なぜ人工超知能が人間に敵対的であるとしばしば仮定されるのかと疑問に思うだろう。結局のところ、私たちは機械とは全く異なるニーズと要求を持つ生物学的システムなのである。なぜ対立するのだろう？これは単にSF映画の話ではないのか？

問題は実に2つある。Russell (2019, p. 137)は、最初の問題を価値観のアライメントの失敗として論じている：人間は人工知能に達成すべき目標を与え、それが個人や社会一般にとって非常にネガティブな副作用をもたらす。それにもかかわらず、機械に与えられた本来の目標は、完全に無実で合理的なものかもしれない。この例として、前述したソーシャルメディアにおけるクリックスルーを最適化するアルゴリズムが挙げられる。目標は至って潔白だ：ユーザーがリンクをクリックできるようなコンテンツを選択し、ソーシャルメディア・プラットフォームに長く滞在してもらう。しかし、より過激なコンテンツが人々を惹きつけ、クリックスルーを可能にし、結果的に過激化を招くという副作用がある。特に欧米社会は、本書が書かれた時点ですでに起きている結果に対処しなければならない。

2つ目の問題は、そもそも完全に無実であるかもしれない目標を達成することでもある。Russell (2019, p. 141)は、「コーヒー汲み問題」について述べている。ある機械がコーヒーを取ってくるという目標を与える。機械は、破壊されたりスイッチが切られたりすると、目標を達成できないことにすぐに気づく。従って、マシンは常に動作可能であることを保証するサブゴールを作成する。これには、人間がスイッチを切ることができないように自己修正することも含まれる。この問題を直ちに一般化して、どのような目標を達成するにも、マシンの存在と、自己保存を保証するサブゴールの生成が必要であることに気づくことができる。単純に機械の電源を切ることができると主張する議論は、単に不足している。自己保存は、どんな高度な人工知能にも論理的に組み込まれている。もし人間が機械に組み込まれた自己保存の原動力と対立するならば、優れたAIシステムは人間に対して行動することを決定するかもしれない。

多くの複雑な理由から、自己保存は人間にもある衝動だ。自殺は問題ではあるが、まだ比較的まれである。純粋に論理的な理由から、自己保存は非常に高度な人工知能システムの一部でもある。

1.8 高度なAIは有益か？

Russell (2019, p. 173)は、AI研究者が真に有益なマシンを開発する際の指針となる3つの原則を紹介した。これらの原則は人工知能の明確な法則を意図したものではなく、研究者や開発者のためのガイドラインである。3つの原則は以下の通りである。

1. 機械の唯一の目的は、人間の嗜好を最大限に実現することである。
2. 機械は当初、その嗜好が何であるかは不明である。
3. 人間の好みに関する究極の情報源は、人間の行動を観察することによって得られる。

Russell (2019)はこれらの原則をさらに詳しく説明している。最初の原則は、純粋に利他的な機械、つまり人間にとって真に有益な装置についてである。これは即座に、機械は動物にとっても有益であるべきなのか、そして最も重要なことは、機械が複数の人間の選好をどのようにトレードオフするのか（つまり、ある選好のセットを別の選好よりもどのように選好するのか）という問題につながる。ラッセル(2019)は、指導原理の1つとして功利主義、言い換えれば「最大多数のための最大幸福」を指摘している。

第2の原則は、「謙虚な機械」を可能にするはずだ。膨大な知識ベースを持つ機械であっても、人間からの入力を受け、自らのスイッチを切ることができるようにすべきである。「人間に奉仕する」ことと「スイッチを切られる」ことの論理的矛盾については、前述した通りである。第三の原則は、人間の嗜好を予測する学習についてであり、基本的には、ある時点に存在するそれぞれの人間についてである。

具体的には、特定の価値観や倫理観、道徳的価値観を導入することではない。機械学習と人間の嗜好についてである。ラッセル（2019年、179ページ）はこう書いている。

確かに、私たちの中には望ましい選択をする者がたくさんいるが、犯罪学者が犯罪者になるのと同じように、私たちの動機を研究する機械が同じ選択をすると仮定する理由はない。

臨床心理学者は、苦しみを引き起こし、時には無秩序と分類される人間の嗜好や選択を懸念している。妄想型統合失調症の人とパートナーを組み、その人が目的を達成するのをサポートするAIシステムから生じる困難は重大であり、何重もの制御と規制が必要になるだろう。

より大きな視点から見れば、人間の嗜好は歴史を通じて大量虐殺やほとんど無限の苦しみをもたらしてきた。ナチスの嗜好は何百万人もの抹殺だった。人工的な超知能がこのような嗜好を学習し、それを実行する個人をサポートすることは、誰も望んでいない。一連の道徳的価値観という形で事前知識を組み込まない機械学習アプローチが、人工知能を持った超悪玉の出現をどのように回避するのかは、単純に明らかではない。

1.9 動機と背景

本書と普遍的勧誘の理論は、ゲシュタルト理論のような心理学の伝統にさかのぼる。哲学では現象学がルーツであり、ヒューマンコンピュータ・インタラクションではアフォーダンスの理論が動機となっている。

ゲシュタルト理論とは、20世紀初頭にドイツ語圏で生まれた心理学の一派である。ゲシュタルトとはドイツ語で、形や形を意味する。ゲシュタルトという言葉には、形が整っているという傾向が含まれている。ゲシュタルト理論家は、生物は単に個々の刺激ではなく、全体のパターンや構成を知覚することを強調する。この考え方は、「全体は部分の総和以上である」と表現されることもある。

出来事や事実が自己言及を含んでいる場合に最もよく記憶されるというのは、よく知られた心理現象である。私が大学に入学した最初の日は、旧西ドイツのミュンスター大学で心理学入門の講義があり、同じ日にいくつかの個別指導が続いた。ミュンスター大学心理学科はかつてゲシュタルト理論と関係があり、数十年前まではドイツで最後の「ゲシュタルト学派」のひとつとされていたことを知った。講義に続いて行われたチュートリアルで、厳格な講師は若い学生たちに、ゲシュタルト理論には科学的厳密さが欠けていること、方法論的な観点からは物理学が心理学のモデルであることを伝えた。そして、ゲシュタルト理論にロマンチックな愛着を抱かないよう警告した。

もちろん、この警告は逆効果だった。学部生は街の真ん中にある魅惑的な城で講義を受け、個別指導は「ナイツ・ホール」と呼ばれる部屋で行われた。

「ナイツ・ホール」と呼ばれる部屋で個別指導が行われた。そこで、ヴォルフガング・ケーラーやクルト・コフカらの理論に興味を持つようになった。

ゲシュタルト理論は、あらゆる刺激の文脈を重視する。人のニーズに応じて、文脈の中の刺激は勧誘的な性格を持つことがある（Withagen et al.）環境にある刺激や物体は、行動を誘ったり、促したりする。ハンマーのような単純な道具は、釘打ちや建設に使うよう誘う。通常、道具の形状や形態がアフォーダンスであり、行動への誘いである。多くのモノは複数のアフォーダンスを持ち、複数のニーズを満たす。例えば、自動車は移動手段であったり、ステータスシンボルであったり、スポーツ用品であったりする。自動車は複数の欲求を満たし、メンテナンスなしでは機能不全に陥るため、自動車は常にその使用を誘う。言い換えれば、車は使用され、維持されることへの勧誘を表している。

アフォーダンスは創造性の中心であり、複数の様式で意味を表現する人間の能力である。Eisner (2002, p. 8 in Wright 2003)は次のように説明している。

木片から彫刻を彫ることは、塑像の粘土から彫刻を作ることとは明らかに異なる認知的課題である。前者は引き算の作業であり、後者は足し算の作業である。

素材の持つアフォーダンスは、特定の表現を可能にするが、他の表現を可能にしない。絵を描くことは、紙の上に印をつけるだけでなく、意味を表現するための多くのアフォーダンスを提供する（Wright 2019）。例えば、子どもは思考や感情を表現するために、オブジェクト、キャラクター、イベントをグラフィカルに組み立てることができる。しばしば表現力豊かなボーカリズムを使いながら、「生きた」意味づけを語り、ジェスチャー、描写的動作、オノマトペを通して身体で意味を表現する。

– ドラマ化する。

子どもはコミュニケーションする必要性を持っており、言葉や会話だけでなく、絵を描いたり、身振り手振りで歌ったり、踊ったり、遊んだりすることでそれを行う。おもちゃは行動や新しい経験を促す。

人工超知能は、人間のほとんどすべての欲求を満たすことができるため、究極の普遍的な勧誘となる。人工知能を搭載したデバイスは、人間の使用者が不活発になるほどその使用を促す。現在、人間の脳に直接報酬を注入する装置の開発が進められており、受け取る側が特に何もしなくても、あらゆる欲求を満たしてくれる可能性がある（ブレイン・マシン・インターフェースについては、トランスヒューマニズムの章で説明する）。これは、人間の存在を永遠に変える可能性を秘めた、他に類を見ない勧誘である。本書はその意味を探ることを目的としている。

1.10 概要

次の章では、非常に高度な人工知能システムを取り巻く重要な論点のいくつかを説明しようと試みる。これには、トランスヒューマニズムやブレイン・マシン・インターフェース（電子機器の使用による認知能力の強化を含む）が含まれる。プロフェッショナルなデジタルクローンについては、仕事、特に専門家によるサービスの変容を探るために議論されている。将来の人工知能は、その行動や振る舞いを説明する必要があり、そうすることで、どんな人間でもAIシステムが住む世界を理解できるようになる。そのため、説明とAIに1章が割かれている。AIの軍事化は、多くの人の命に触れ、潜在的に脅かすものである。人間の選択肢のひとつは、超知的なAIシステムが存在する世界から撤退することかもしれない。それに対応する思想や運動については、ネオ・ラッディズムの章で論じている。最後に、もし高度なAIが人類に脅威をもたらすとしたら、超知的機械に対する人間の態度はどうなるのだろうか？