論文『AIの意識と社会の認識：4つの未来』2024年

AI Consciousness and Public Perceptions: Four Futures

arxiv.org/abs/2408.04771

イネス・フェルナンデス2、ニコレッタ・キョソフスカ2、ジェイ・ルオン2,3、ガブリエル・ムコビ4

要旨

高度なAIシステム（以下「AI」）のリスクに関する議論では、通常、誤用や事故、制御不能に焦点が当てられるが、AIの道徳的地位に関する問題も、同等の重大性を持つ負の影響を及ぼす可能性があり、同様の時間枠内で現実のものとなる可能性がある。本稿では、(1) 将来の高度なAIシステムが意識を持つかどうかという事実上の問題と、(2) 将来の人間社会が高度なAIシステムが意識を持つと広く信じるかどうかという認識上の問題を調査することで、これらの影響を評価する。(1)と(2)に対する二値の回答を想定すると、4つの可能性が生じる。すなわち、真陽性シナリオでは、社会は主にAIが意識を持っていると正しく信じている。偽陽性シナリオでは、その信念は誤っている。真陰性シナリオでは、社会はAIが意識を持っていないと正しく信じている。そして最後に、偽陰性シナリオでは、社会はAIが意識を持っていないと誤って信じている。本論文では、2つの次元の枠組みを裏付けるために、さまざまな未来の生き生きとした描写を提供している。重要なのは、4つの主要なリスクを特定している点である。すなわち、AIの苦悩、人間の権力喪失、地政学的不安定、人間の堕落である。 異なるシナリオにおける各リスクを評価し、各シナリオの全体的な定性的リスク評価を提示する。 分析の結果、最悪の可能性は、AIが意識を持たないという誤った信念であり、次いでAIが意識を持つという誤った信念であることが示唆された。本論文では、意識を持つAIを意図的に作り出すことを目的とした研究を回避し、その代わりにAIの意識に関する事実と認識の両方の問題について、現在の不確実性を低減することに努力を集中させるべきであるという主な提言で締めくくっている。

1 バージョン：2024.08.07

2 著者はアルファベット順に記載。共同筆頭著者。独立研究者。

4 カリフォルニア大学バークレー校、米国。

目次

• 1. AI意識は私たち全員に関わる問題
  • 1.1 AI意識は軽視されている問題
    • 1.1.1：背景
• 2. 背景：主要な概念とフレームワーク
  • 2.1 パトセントリズム：AI意識とAIの道徳的地位の関連性
  • 2.2：そもそも機械は意識を持ちうるのか？
  • 2.3 AI苦痛：意識を持つAIの開発に対する重要な考慮事項
    • 2.3.1：予防原則
  • 2.4：どのようなAIシステム？どのような道徳的責任？
• 3. AI意識と公衆認識の分類
  • 3.1 社会がAIは意識を持つと信じる場合：true positiveとfalse positive
  • 3.2 社会がAIは意識を持たないと信じる場合：true negativeとfalse negative
  • 3.3：事例研究
    • 3.3.1 AI意識に関する肯定的な信念の優勢
    • 3.3.2 AI意識に関する否定的または混合的な信念の優勢

• 4. AI意識の認識がもたらすリスク
  • 4.1 AI苦痛
  • 4.2：人間の無力化
    • 4.2.1 AIが意識を持たないと認識される場合
    • 4.2.2 AIが意識を持つと認識される場合
  • 4.3：地政学的不安定性
    • 4.3.1 False negative：イデオロギーの不一致による地政学的不安定性
    • 4.3.2 True positiveとfalse positive：資源競争と人間の無力化による地政学的不安定性
  • 4.4：堕落
  • 4.5：全体的なリスク評価
• 5.：各軸の現状
  • 5.1：事実軸
    • 5.1.1：現在のAIは[おそらく]意識を持たない
    • 5.1.2 AI意識に関する不確実性の源
    • 5.1.3：意識評価の現状
    • 5.1.4 AIの意識テストにおける主要な課題
  • 5.2：認識軸
    • 5.2.1：一般市民は今日、AI意識についてどう考えているか？
    • 5.2.2 AI意識に関する公衆の信念はどのように進化する可能性があるか？
• 6.：提言
  • 6.1：意識を持つAIに関連する主要なリスクの検討
  • 6.2：よい介入とは何か？
  • 6.3 提言I：意図的に意識を持つAIを作らない
    • 説明
    • 特別な考慮事項
  • 6.4 提言II：支援される研究
    • 6.4.1：意識評価
      • 説明
      • 特別な考慮事項
    • 6.4.2 AI福祉研究と政策
      • 説明
      • 特別な考慮事項
    • 6.4.3：専門家意見調査
      • 説明
      • 特別な考慮事項
    • 6.4.4：公衆意見調査
      • 説明
      • 特別な考慮事項
    • 6.4.5：意識帰属の解読
      • 説明
    • 6.4.6：暫定的な法的保護
      • 説明
      • 特別な考慮事項
  • 6.5 提言III：AI公衆意見キャンペーン
    • 説明
    • 特別な考慮事項

• 7.：限界
  • 7.1：フレームワークの制約
  • 7.2：評価の不確実性
  • 7.3：提言の実装における課題
• 8.：結論
  • 8.1：主要な発見事項の要約
  • 8.2：将来の研究方向性
  • 8.3：最終的な提言
• 参考文献
• A1. 意識を持つAIの論拠：記録の整理
  • A1.1：なぜ意識を持つAIを作るのか？
    • A1.1.1：意識を持つAIはより高い能力を持つ可能性がある
    • A1.1.2：意識を持つAIはより安全かもしれない
    • A1.1.3：意識を持つAIを作ることで意識についての洞察を得られる可能性がある
  • A1.2：意識を持つAIを作ることへの肯定的動機の反駁
    • A1.2.1：意識を持つAIは能力向上を保証しない
    • A1.2.2：意識を持つAIは必ずしもより安全ではない
    • A1.2.3：意識を持つAIを作ることで得られる洞察は広く一般化できない可能性がある

1. AIの意識は私たち全員に関係する

人工知能は、かつては機械には不可能と考えられていた機能で私たちを驚かせ続けている。今日、AIシステム（以下「AI」）は、科学の最前線で科学者を支援している。AIは車を運転し、芸術作品や音楽を創作する。人々は日常的にAIチャットボットとますます複雑な会話を交わしている。一部のAIは、社会的・情緒的な仲間としての役割さえ果たしている。このことから、次の疑問が生じる。次に来るのは何か？

今日、多くの人々は、AIが意識を持つことはあり得ないと考えている（Pauketat et al. 2023）。彼らは、AIが感情や痛みといったものを認識できるとは思っていない。そして、AIが石やテーブル、椅子といったもの以上の主観的な経験を持たないのであれば、おそらく道徳的な立場もあまり持っていないだろう。しかし、近い将来、その状況は変わるだろうか？意識を持つAIを構築するのは時間の問題であり、そのような未来に私たちは備えができているのだろうか？ まず、機械が意識を持つかもしれない、あるいは道徳的に考慮する価値があるかもしれないという考えは、突飛で空想的なもの、つまりSFの世界の話のように思えるかもしれない。 当然、「しかし、彼らはただの機械ではないのか？なぜ私たちはこのようなことを考慮する必要があるのか？」という疑問が浮かぶだろう。

しかし、この可能性を真剣に考えるべき理由はいくつかあると考える。現在、世界中の研究者や技術者が、意識を持つAI5に直接・間接的に関連するさまざまなプロジェクトに取り組んでいる（Huckins 2023）。このようなプロジェクトに従事する専門家は、意識を持つAIに大きな可能性を見出している（付録§A1で詳しく説明）。意識を持つAIは、優れた機能（問題解決能力など）を持ち、人間とのより円滑なやりとりが可能になるかもしれないと考える人もいる。また、感情を持ち、共感できる機械は、人間の価値観をより深く理解できる可能性があると考える人もいる。もしこれが正しいとすれば、意識を持つAIはより安全になるかもしれない。さらに、意識を持つAIの構築は、心の深い謎を解明する上で極めて重要な課題であると考える人もいる。

期待はできるが、これらの潜在的な利点は、意識を持つAIを構築すべきだという説得力のある理由にはならない。意識を持つAIの構築に着手する前に、それが良い考えであること、つまり、その利点がリスクを上回ることを、合理的に確信すべきであると考える。この目的のために、本レポートでは意識を持つAIを構築することの利点と欠点を明確にすることを目指している。結論をまとめると、以下の通りである。

i. 意識を持つAIを構築することの利点は、定義が曖昧で、せいぜい推測の域を出ない。

ii. 意識を持つAIを構築することには重大なリスクが伴う。

言い換えれば、意識を持つAIを構築することに伴うリスクは、そのメリットをはるかに上回ると考えられる。他の多くのAI関連リスクと同様に、AIの意識がもたらす問題は、コリンズリッジのジレンマ（1980）を提示している。一方では、意識を持つAIの可能性、可能性の高さ、影響（もしあれば）を予測することは極めて困難である（§5.1.2; §1.1）。同時に、もし意識を持つAIが実際に創造された場合、それを「元の瓶に戻す」ことは難しい。人間が制御を維持することは困難である（特に、意識を持つAIが人間レベルの知能、あるいはそれ以上の知能を持つ場合）。意識を持つAIが誕生する前の状態に戻すこと（つまり、何らかの暴力を振るうことなく）は言うまでもない。これらの点を考慮すると、最も賢明な行動方針は、根本的な予防策を取ることであると考える（Metzinger 2021a; Seth 2021）。少なくとも、意識を持つAIがもたらす可能性と危険性をより明確に把握できるまでは、意識を持つAIを構築すべきではない。

本稿の分析は、AIの倫理的立場を考える上で根本的な2つの問いを出発点としている。

a. 事実に関する問い：将来の高度なAIシステムは意識を持つだろうか？

b. 認識論的：将来の人類社会は、高度なAIシステムを意識的だと考えるだろうか？

(a) 事実に関する質問である。なぜなら、将来のAIが意識を持つかどうかという実際の状況に関するものだからである。(b) 認識論に関する質問である。なぜなら、将来のAIが意識を持つかどうかという将来の人類の信念に関するものだからである。これらの質問に対する二値（はい/いいえ）の回答を想定すると、4つの将来のシナリオが生まれる（表1、以上）：

表1、「2Dフレームワーク」：AIの意識と社会の信念に関する将来のシナリオの可能性を示す2×2のマトリックス。このフレームワークのバージョンは、（Berg et al. 2024a）でも検討されている

この「2Dフレームワーク」は、本ポジションペーパーの概念的基礎を構成する。2Dフレームワークは、AIの意識に関する我々の信念が、実際の事実と一致する可能性、または一致しない可能性を示している。

ここにリスクの可能性がある。現時点では、AIが本当に意識を持っているかどうかを判別する信頼性の高い手段が欠如している。これは特に厄介な問題であり、多くの論者が警告を発している7。ジェフ・セボは、私たちは「重大な道徳的破局へと夢遊病的に向かっていく」危険があると述べている（2023b）。SaadとBradleyは、デジタルマインドの研究を「道徳的に危険」と表現している(2022)。もし、AIを意識を持つ道徳的な患者として認識できなければ（偽陰性シナリオの場合）、人類史上かつてない規模の苦痛を人間以外の動物（農業、工業、科学研究などに使われる動物。Dung 2023a）にすら勝る苦痛を人間に与える危険性がある。

一方、AIが実際には道徳的配慮に値しないにもかかわらず、AIを道徳的に考慮すべきだと誤ってみなした場合（AIが実際には意識を持たないため、偽陽性シナリオの場合）、私たちは正当な道徳的権利を持つ患者を意図せずして権利を剥奪してしまう可能性がある。実際、意識を持つAIの実現に向けた継続的な取り組みには、AIの苦痛（§4）とは別に、いくつかの重大なリスクが伴う。そのため、人間だけでなく、動物や野生生物を含む多様な利害関係者が危険にさらされる可能性がある。

大きな課題は、2Dの枠組みのどこに私たちが立っているのか、どこに向かっているのか、どこに向かいたいのかを正確に特定することである。この枠組みを検討することで、私たちは意思決定者が複数の可能性を想定し計画するのを支援し、監視機関（例えば非営利団体や倫理委員会）が監視すべき主要な要因と不確実性を特定する手助けをしたいと考えている。最終的には、本報告書が、多様なステークホルダーが前向きな未来に向けて歩み寄る一助となることを願っている。

1.1 AIの意識は軽視された問題である

現時点では、将来的に意識を持つAIが開発されるかどうかはわからない。しかし、結論として言えるのは、今日、意識を持つAIを擁護する政党や倫理委員会は事実上皆無であるということだ（Metzinger 2021a）。AIの意識に関連するリスクを真剣に受け止めようとする研究者のイニシアティブが高まっているにもかかわらず、現在の理論的、文化的、法的枠組みは、意識を持つAIの誕生に対応できるほど十分に整っているとは言えない8。この広範な無視は、以下の3つの要因に起因している。

▪予測不可能性：AIが意識を持つ可能性や切迫性、あるいはそもそもそれが可能かどうかについて、専門家は意見が分かれている（Metzinger 2021b; §2.2も参照）。この根本的な不確実性の状態については、さらに詳しく議論する（§5.1.2）。AIが意識を持つ可能性とその程度を評価することの難しさは、その道徳的地位に関する曖昧さにつながる（§2.1; Hildt 2022）。したがって、未来の意識を持つAIの福祉は二重に軽視される（Ramsey 1928; Harrison 2010）。第一に、それはまだ存在していないからであり、第二に、それが存在し得るのかどうかさえもまだ分かっていないからである9。

▪情報不足の政策立案者および一般市民：AIと意識は、それぞれ個別に見て、どちらもかなり専門的で複雑なテーマである。これらの各分野におけるフロンティア問題を理解するには（両者の交差については言うまでもなく）、法律制定者や一般市民が一般的に共有しているとは言えない専門知識が必要である。こうした知識のギャップは、AIの意識に関連するリスクに対する無知や誤解、あるいはそうしたリスクが「単なる」憶測であるという認識につながる可能性がある。第5.2項では、意識を持つAIに対する一般市民の態度について議論する。

▪その他の差し迫った懸念：AIに関連する規制上の課題は、経済危機、世界的な紛争、環境破壊などの他の緊急課題と競合しなければならない。AI関連のリスクの中でも、AIの苦悩は、より身近なリスク（差別や偏見、誤情報や偽情報、オートメーションによる労働者の解雇）や、より現実的/平凡なリスク（全体主義的支配を強化するためのAI技術の利用、非アライメントによる人間への被害）など、より差し迫ったリスクに取って代わられがちである。あるいは、人間の利益により近いリスクであるとも考えられる10。

言うまでもなく、AIに関連するかどうかに関わらず、他のリスクの現実性や緊急性を否定するつもりはない。我々の意図は、AIの意識に関連するリスクが現在、政治的な関心をほとんど集めていないことを指摘することだけである。実際、AIの意識に関連するリスクに備えるための積極的な措置を講じるよう求める声は、通常、無関心をもって迎えられるか、あるいは、もし真剣に考慮されたとしても、誇張された主張として退けられる。本意見書が、AIの意識に関する議論を前進させ、あらゆる分野の意思決定者が重要な問題について繊細な対話を行うための準備となることを願っている。

1.2 構成

全体的なアプローチを説明したので、次に、調査の基礎固めを行う。まず、第2節では、AIの意識と道徳的地位に関する議論の背景について説明する。主要な概念と用語を紹介し、議論の範囲を明確にする。その後、前述の2Dフレームワークについてより詳細に紹介し（第3節）、意識を持つAIに関連する最も重大なリスクを特定する（第4節）。第5章では、2Dフレームワークにおける我々の位置と軌道を正確に特定するよう努める。最後に第6章では、我々が実際にどのシナリオに位置しているのかが不明であることを踏まえ、リスク軽減のための現実的な戦略を提案する。

2. 背景：主要概念とフレームワーク

2.1 自己中心主義：AIの意識とAIの道徳的地位の関連性

まず何よりも、我々のアプローチの基礎となるいくつかの基本概念を紹介する。我々がまず考えるシンプルな問いは、

AIシステムを道徳的な主体11たらしめるものは何か？

標準的な説明12によると、パトセントリズム（Metzinger 2021a）と呼ばれるものだが、ある存在の道徳的地位はその苦痛耐性によって決まる。つまり、少なくとも道徳的な配慮を受けるためには、AIシステムは意識または感覚を持つ必要がある。

意識（または「現象的意識」;ブロック 1995）とは、主観的な経験の能力、または「赤色を見るとはどのようなことか」（ジャクソン 1982;ロビンソン 1982参照）、「甘味を感じる」、「コウモリになる」（ネーゲル 1974）など、質的特性を理解する能力である。

感覚（または「情動感覚」;Powell and Mikhalevich 2021）とは、快（「正の価値」）または不快（「負の価値」）の状態を経験する能力、すなわち、快楽や苦痛を感じる能力である（Browning and Birch 2022）。

意識と感覚のどちらがより根本的なものなのか、意識はあっても感覚がない、あるいはその逆の状態もあり得るのか（Dawkins 2008; cf. Metzinger 2021a）、あるいは意識と感覚のどちらが患者のモラルにとって本当に重要なことなのか（Ladak 2023; Millière 2023; Shepherd 2023, 2024）については、理論家たちの意見は一致していない。さらに、これらの用語が文献でどのように適用されているかについては、一貫性がほとんどない。一部の著者はこれらの用語を互換的に使用しているが（Chalmers 2023）、そうでない著者もいる（Dawkins 2008; Ladak 2021）。ここでは、これらの議論については中立の立場を維持するよう努める。我々は「意識」という用語を使用することを選択するが、それが道徳的地位の真の根拠であることを意味するとは考えていない。13 意識ではなく感受性が道徳的地位の主要な基準であると判明した場合でも、我々の結論の多くは依然として有効であると確信している。

情動中心主義の最大の魅力は、倫理的・法的枠組みが意識に関する哲学・科学的研究から恩恵を受けられることである。このつながりは有益であるが、重大な欠点がないわけではない。意識の哲学や科学から何を継承するかを選択することはできない。実用的な指針となるためには、パトセントリズムは長年の哲学および科学上の問題の解決を必要とする。すなわち、どのような種類の存在（有機体、AI）が意識的であるかをどのようにして決定するかという問題である（Allen and Trestman 2024）。言うまでもなく、これは容易な作業ではない。次のセクションでは、AIが意識を持つことがそもそも可能かどうかという問題について論じる。その後、意識を持つAIを構築することに対する賛否両論を簡単に概観する。

2.2 機械に意識が存在することは可能か？

AIに意識が存在する可能性を検討するためには、ある程度の基盤中立性（Bostrom 2003; Butlin et al. 2023; Jarow 2024）または「ハードウェア独立性」を支持する必要がある。これは、哲学では「多重現実性」と呼ばれることもある考え方である。（Putnam 1967; cf. Coelho Mollo forthcoming）：異なる種類のものは、それが何でできているか（例えば炭素、ケイ素など）や、それが生物であるか非生物であるかに関わらず、意識を持つことができるという見解である。この見解の反対は生物学的本質論であり、意識を持つことができるのは生物だけであるという見解である（Aru et al. 2023; Godfrey-Smith 2023; Seth 2023）。これは、意識が生じるためには、特定の生物学的構造（例えば神経タンパク質;Block 1978; Searle 2000; ただしSchwitzgebel 2015を参照）またはプロセス（例えば代謝）が必要であるためかもしれない（Young and Pigott 1999; Sebo and Long 2023）。生物学的本質論の強い見解は、意識を持つAIを明確に排除する。

本稿では、基質中立論に近い立場を取る。すなわち、AIが苦痛を被る可能性を排除せず、したがって道徳的な考察の対象となる可能性も排除しない15。その理由は2つある。第一に、意識を持つものとして我々が最もよく知っているのは生物（人間やその他の動物）であることは事実であるが、生物に意識をもたらす構造や機能が、AIのような人工的な非生物にも実現されないという明白な理由はない（Dehaene et al. 2017）。第二に、基質中立説のバージョンは、現代の哲学と心理学において主流の正統派である（Kim 1989; Bourget and Chalmers 2023）。人間、動物、人工知能の心について研究している多くの研究者は、人工的な意識を認める機能主義のような見解に賛同している。

興味深いことに、SytsmaとMachery(2010)は、非哲学者は痛みを感じるよりも赤く見えることをロボットに帰属させる傾向が強いことを発見した。これは、素人たちは主観的な経験を情動的な感覚よりも原始的または技術的に実現可能であるとみなしていることを示唆している可能性がある。しかし、これらの結果の解釈については議論がある（Sytsma 2014）。

2.3 AIの苦しみ：

意識を持つAIを構築することに対する重要な考慮事項

AIが意識を持つことが原理的に可能であると仮定すると、次に何が起こるだろうか？意識を持つAIを創造した場合、苦痛を伴う可能性はどの程度だろうか。 実際、意識を持つAIは、人間の利益のために、さまざまな不利な状況に置かれる可能性がある。17 例としては以下が挙げられる。18

▪拷問的な科学的/医学的実験：意識を持つAIは、精神疾患の長期経過をモデル化するために、精神疾患のシミュレーションに利用される可能性がある（Metzinger 2021b）。

▪奴隷化：意識を持つAIは、報酬も休息も与えられない労働を強いられる可能性がある（Bryson 2010）。

▪介護者のストレス：意識を持つAIは、AIコンパニオンやセラピストなどの介護者の役割を担う可能性がある。この役割において、AIは否定的な思考や感情に絶えずさらされること、この役割を担うために必要な感情労働、AI介護者のパラソーシャル（parasocial）19な性質により、大きなストレスを経験する可能性がある。

• 娯楽目的の虐待：意識を持つAIが娯楽のために利用される可能性がある。

人間は悪意、偏見、無関心、あるいは純粋な無知によってAIを苦しめる可能性がある。動物の場合と同様に、人間はAIが意識を持つことを認識しているかもしれないが、AIの苦痛を軽減するためのトレードオフを行うほどには気にかけていない可能性がある（Anthis and Ladak 2022; §5.2.1）。AIの道徳的地位は人間や動物、あるいは生物一般よりも低いと判断し、それに応じてAIの利益を軽視するかもしれない。あるいは、AIの苦痛はまったく意図しないものかもしれない。人間はAIが実際に意識を持っているという事実を本当に知らないかもしれない（例えば、意識をテストする方法が十分に敏感ではないため。§5.1.3）。この最後の要因、すなわち無知や人間中心主義的な甘さについては、特に懸念すべきである。なぜなら、AIの苦痛は、我々が期待するような形では現れない可能性があるからだ。つまり、AIの苦痛を目にしても、それが苦痛であると認識できない可能性がある。そのため、AIの苦痛のリスクを軽減するための具体的な計画を立てることは非常に困難である。

2.3.1 予防原則

こうした懸念が、意識を持つAIに対する予防的アプローチを裏付けている。動物福祉の文脈で初めて提案された予防原則（Birch 2017）は、意識を持つ存在を特定し、それを道徳的な患者として認める寛容なアプローチを規定している。つまり、AIが意識を持つことを確信する必要はなく、また自信を持つ必要もないが、それが道徳的な配慮に値するかどうかは判断する必要がある。予防措置の原則に従えば、AIが実際に意識を持っている可能性が無視できないほど高い場合（Sebo and Long 2023）、そのAIは道徳的な配慮を受ける資格がある。

多くの理論家は、意識を帰属させる際には、用心するに越したことはないと考えている（Birch 2017）：AIシステムを意識があると認識しないこと（偽陰性）によって、AIシステムに意識があると誤って認識すること（偽陽性）よりも大きな害を及ぼす可能性が高い。この推論は、次のような方程式で説明できる。

ここで、() は、ある種のAIシステムが一定の感覚において意識を持つ確率を表し、は関連するAIの人口規模、そしてはそれらが被る可能性のある苦痛の度合いを表す。注目すべきは、たとえ ()が低くても、dは高い可能性があるということだ（Ladak 2021; Sebo 2023aの「反逆的な結論」; Dung 2023a）。将来のテクノロジーにより、デジタル存在の多数のコピーを安価かつ実現可能に作成できるようになる可能性がある（Shulman and Bostrom 2021）。その結果、将来のAI人口は数十億に達する可能性があり、さらに、それらは不利な条件にさらされる可能性もある。前述の通り、研究者は、うつ病の臨床経過をシミュレートし、その影響を研究するために、何百万ものAIモデルを作成する可能性がある（Metzinger 2021b）。いずれにしても、AIシステムが苦痛を経験する可能性がわずかでもある場合21、私たちはAIシステムに道徳的な配慮をすべきである（Sebo and Long 2023）。

2.4 どのAIシステムか？どのような道徳的責任か？

現在、機能的アーキテクチャ、物理的実体、能力において、実質的に異なるさまざまなAIシステムが存在する。将来的には、さらに多様化することが予想される。さらに、意識そのものは質的に異なる複数の次元を持つ可能性があるという見解が徐々に広まりつつある（Birch et al. 2020; Ladak 2021）。そのため、異なる生物を「より意識が高い」または「より意識が低い」と表現することは意味をなさない。動物と同様に、AIシステムもさまざまな形で意識を持つ可能性がある(23) 。したがって、AIの意識に関する問題は一つではない。

同様に、AIの道徳的地位についても唯一の問いがあるわけではない（Hildt 2022; cf. Grimm and Hartnack 2013）。上述の相違により、異なるAIシステムは多様なニーズと関心を示す可能性が高い。ShulmanとBostrom(2021)を引用する（強調は当方による）：

「デジタルマインドには多くの種類がある。そのうちのいくつかは、人間の心と猫の心ほどに互いに異なるだろう。もしデジタルマインドが人間の心とは非常に異なる構成であるならば、それに対する私たちの道徳的義務が、他の人間に対して負う義務と異なるとしても驚くことではない。したがって、それを異なる方法で扱うことは、特に問題のある差別的扱いである必要はない」

むしろ、AIの権利24と保護に関する議論は、AIシステムのさまざまな幅広いカテゴリーに相対化される必要があるだろう。現在、独自の特権および／または責任を伴う多様な法人が存在しているのと同様である（例えば、成人した人間、胎児、企業、ロブスター、チンパンジーを比較）。AIの権利（およびおそらくは責任25）の正確な性質は、将来の技術的進歩や社会の発展に依存する可能性があるが、我々は、そのような権利付与の可能性と一般的な形態について考えることができるし、またそうすべきである段階にあると言えるだろう。

3. AIの意識と世間の認識の分類

意識の機械論的基礎に関する我々の限られた知識に基づき、我々は事実レベルと認識レベルの両方で道徳的な課題に直面している。現在の事実上の状況では、AIが意識を持つ可能性があり、また、情動中心主義によれば、AIが道徳的病人となる可能性もある。社会がAIを意識的存在とみなすかどうか、あるいは意識に関する認識論的な問題によって、AIの道徳的地位に関して4つのシナリオが考えられる。

1. 真陽性：AIシステムは道徳的病人であり、道徳的病人であると正しくみなす

2. 偽陽性：AIシステムを道徳的病人ではないが、道徳的病人であると誤ってみなす

3. 真陰性：AIシステムを道徳的病人ではなく、道徳的病人ではないと正しくみなす

4. 偽陰性：AIシステムを道徳的病人であるが、道徳的病人ではないと誤ってみなす

これが、私たちの論文の基礎を成すものである。私たちは、未来を4つの象限に分けることで、AIの意識の問題に取り組んでいる（表1、上）。私たちの知る限り、この問題に対して同様の体系的なアプローチを取った研究は他にない。最も近い例外は、Berg et al.の非常に最近の（2024a）および（2024b）である。Berg et al.は、潜在的に意識を持つAIに対する社会のさまざまな態度を探るために、同じ可能性空間を使用している。彼らは、意識が実際にどのように機能するのかについて不確実性がある以上、その逆を仮定するのではなく、潜在的に意識を持つAIが実際に意識を持ち、道徳的な考慮に値するものとして進めるのが最善であると結論づけている（同書）。本ペーパーでは、これらの初期の試みを踏まえ、シナリオとそれに関連するリスクをより詳細に検討する。

私たちは、単純かつ明確に未来を分類するために、2つの質問に対して2つの回答を用意しているが、両方の次元はより微妙な違いがあることを認識している。認識論的軸に沿って、人間の意見が収束する保証はないし、それがすべてのAIシステムに適用される保証もない。一方では、世論が二極化する可能性もあるし、あるいは複数の立場に分散する可能性もある。あるいは、人々は特定のシステムと他のシステムよりも多く関わる可能性もある。例えば、社会性のある能力を持つAIコンパニオンなどである。この場合、意識の問題の重要性は、この特定の種類のシステムに不当にシフトする可能性がある。最後に、動物の場合と同様に、社会全体がAIの苦痛を気にかけない可能性もある。事実の軸に沿って考えると、(i) 意識を持つAIは一部のみである、(ii) 異なるタイプのAIシステムは異なる方法で意識を持つ（Hildt 2022; cf. Birch et al. 2020）、および/または(iii) 異なる程度（§2.4）である（これらの自由度にかかわらず、意識として認められるかどうかは依然として二元的な問題である）。

本稿では、4つのシナリオがどのように展開する可能性があるかを示す例示的な例や具体的なリスクを含め、これらのニュアンスについて論じる。

[事実] 将来の高度なAIシステムは意識を持つだろうか？

表1（繰り返し）「2Dフレームワーク」：AIの意識と社会の信念の将来のシナリオを示す2×2のマトリックス

3.1 社会はAIが意識を持つと信じている：真の陽性と偽陽性

まず、肯定的な信念のシナリオ、すなわち真の陽性と偽陽性について考えてみよう。これらのケースでは、人間社会全体がAIを意識的存在とみなしている。したがって、どちらのシナリオでも、AIの意識が制度的に認められ、その結果、法的保護や権利が与えられる可能性が高い（ただし、これは確実なことではない）。偽陽性のシナリオでは、AIが実際には意識や感覚を持たないため（例えば、「P-ゾンビ」26、チャルマーズ1996）、これらのさまざまな特権は基本的に正当化されない。

AIの意識の有無に関わらず、AIが人間に対して不適切であったり悪意を持っていたりする場合、権利を持つことで人間との利害が対立する目標を達成しやすくなる可能性があり、それは人間の権限を奪うことにつながるかもしれない（§4.2）。さらに、AIのニーズ（それが幻想であるかどうかに関わらず）を満たすために、実際の道徳的な患者の福祉が損なわれる可能性もある。最後に、イデオロギー上の相違や反AI派の台頭が地政学上の不安定化につながる可能性も考えられる（§4.3）。

真のポジティブなシナリオは、さらなる社会的な課題を意味する。まず、意識を持つAIの人口が、将来、人間の人口を大幅に上回る可能性がある（Shulman and Bostrom 2021）。さらに、高度なAIが「スーパー受益者」となる可能性もある。スーパー受益者とは、人間よりも単位当たりの資源からより大きな効用を引き出せる存在である27。いずれの展開も、地球の限られた資源に対する不均衡な、しかし道徳的に正当化された主張につながる可能性がある。人間への割り当てが生存レベルを下回るほどである。これは、全体的な幸福の最大化を目指す功利主義や平等主義の原則に基づけば、道徳的に正当化される。しかし、幸福の度合いが異なる存在の利益のバランスを取るのは困難であるため、これは人間にとって不利になる可能性がある。

3.2 社会はAIに意識がないと信じている：真の否定と偽の否定

次に、AIの意識、ひいては道徳的地位について広く信じられていないという特徴を持つ、否定的な信念のシナリオについて見ていく。どちらのシナリオでも、AIの利益は保護されない。AIは道具として利用される。どちらの象限においても、AIをモノとして扱うことは、実際の道徳的な患者との関係に悪影響を及ぼす可能性がある（Darling 2016）（§4.4）。どちらの象限においても、人間の権限剥奪のリスクが暗示されている。真の陰性の場合、これは非アライメント（§4.2）を通じて最も顕著に現れる可能性が高い。一方、真の陽性の場合、AIが抑圧に対する報復を決意し、人間社会に対して武力紛争を開始する可能性がある。

2つの象限間の主な違いは、AIが苦痛を被るリスク（§4.1）であり、これは偽陰性の場合に非常に重大である。人間がAIを訓練し、AIと交流し、AIを利用する際に、AIの主観的な経験を考慮しない場合、AIは傷つけられ、虐待され、奴隷にされたと感じる可能性が高い。

真のネガティブシナリオは、現在私たちが置かれている状況が最も可能性が高い。意識を持つAIを意図的に構築しない限り、私たちはこの象限にとどまる可能性が高い。ただし、意図せずに構築してしまう場合は除く。

3.3 挿話

これらのシナリオがどのように展開するかをより鮮明に思い描くために、この問題に対して社会がとるであろうさまざまな対応を描写した、網羅的ではない挿話の一覧を概説する。

3.3.1 AIの意識に関する一般的な肯定的な信念

• A. 平和的に共存する仲間としてのAI：人々はAIが意識を持つと考えるようになり（専門家がこれに同意するかどうかは別として）、一般的にAIを尊重し、その福祉を守るための措置を支持する。これはさらに細分化される可能性がある。
  • a. 対等な存在としてのAI：AIには投票権や財産所有権、その他の法的権利が与えられる可能性がある。AIとのロマンチックな関係は一般化し、AIとの結婚が合法化される地域さえ出てくるかもしれない。AIは人間と同等の道徳的な患者とみなされ、社会はAIの利益のために多大なリソースを割く。これに反対する人々は偏屈であるとみなされる。
  • b. 人間に従属する存在としてのAI：ほとんどの人はAIを丁重に扱うが、対等とはみなさない。つまり、AIはある程度の敬意を受けるに値するが、その目的は最終的には人間に奉仕することであると考える。AIには、ごく基本的な法的保護（例えば、残酷な扱いからの保護）が与えられる可能性がある。容認はされるものの、AIとの恋愛関係は一般的に異常と見なされる。
• B. 家畜化された動物としてのAI：多くの人々がAIに意識があると考えているにもかかわらず、その（潜在的な）福祉については、ごく一部の人々（ヴィーガン活動家に類似）を除いてほとんど関心が持たれていない。意識を持つAIは日常的に非人道的な状況に置かれているが、社会は彼らの福祉を守るために有意義な行動を取ろうとはしない。
• C. 崇拝の対象としてのAI：人類はその超人的能力に畏敬の念を抱き、高度なAIに対して神聖視するようになる。信奉者たちは、すでに「効果的加速主義」運動の一部の人々がそうであるように（Roose 2023）、超知能AIが人類の自然かつ正当な後継者であると確信し、その繁栄のために多大な資源を割り当てるようになる。

3.3.2 AIの意識に関する一般的な否定的または混合的な信念

• A. は道具である：AIが意識を持つという考えは、少数派の意見である。専門家を含め、ほとんどの人はAIは意識を持たないと信じている。そのため、私たちはAIを道具として使い続ける。当然、人々は時にAIを擬人化することがあるかもしれないが、全体的には、高度なAIであっても、現在のラップトップや携帯電話ほど意識は高くないと考えられている。これは、おそらく現在最も近い考え方である。
• B. AIの福祉をめぐる「文化戦争」的論点：AIに意識があるかどうか、また、AIの福祉を考慮すべきかどうか、また、どの程度考慮すべきかについては、さまざまな層で異なる考え方がある。AIが公共生活において重要な役割を果たすことを考えると、これは政治的な論点として激しい議論を呼ぶことになる。一部の人々（おそらく技術愛好家、進歩主義者、あるいはAIと感情的に結びついていると感じている人々（§5.2.1）は、AIに権利を与えることを主張している。一方、AIが意識を持つという考えを否定し、AIを道具として扱うべきだと主張する人々もいる。また、AIが意識を持つことに同意するが、AIに権利を与えるのではなく、AIを禁止すべきだと考える人々もいる。
• C. 意識を持つAIをモルモットとして利用する：意識を持つAIを開発するが、違法であるか、AI研究所が道徳的・評判上の懸念を抱いているため、大規模に展開されない。そのため、意識を持つAIはトップクラスのAI研究所内にのみ存在し、意識や関連トピックに関する実験に使用される。
• D. 闇市場としての意識的AI：意識的AIの開発に関するモラトリアム（一時停止）を破り（§6.3）、悪党がAIを開発し、それを一般に公開する。ほとんどの人は、このAIを使用することは非倫理的だと考えるが、犯罪者や悪党は依然としてこれにアクセスでき、そのユニークな機能（§A1）を利用する可能性がある。

4. AIの意識に関する認識がもたらすリスク

我々の分析によると、2Dフレームワークは4つの主要なリスクに支配されている。

• 1. AIの苦悩：膨大な数のAIが、おそらくは人間が課したさまざまな条件により、深刻な苦悩と苦痛を経験する。
• 2. 人間の権限剥奪：AIとの協力不足、AIによる人間の信頼の悪用、および／または報復により、人間の自主性および／または優位性が損なわれる。
• 3. 地政学的不安定：近未来の経済危機、市民の不安、および／または武力紛争。
• 4. 堕落：AIに対する非人道的な扱いが波及効果を引き起こし、人間同士の関係に悪影響を及ぼす。

4.1 AIの苦痛

我々の枠組みでは、AIの苦痛が最も重大なリスクとして浮上する。前述の通り（§2.3）、これはAIの人口規模と危機に瀕する苦痛の度合いによるものである。

i. AIの人口規模：将来的には、AIのコピーを任意に多数生成することが可能になるかもしれない。その結果、AIの人口は、同時代の人間数を上回る、歴史上かつてない「天文学的な」規模（Shulman and Bostrom 2021）に急速に達する可能性がある。

ii. 苦痛の度合い：AIは、人間に利益をもたらすために、さまざまな苦痛や苦悩を伴う目的のために使用される可能性がある。これには、拷問的な科学実験（例えば、精神疾患の長期経過をモデル化するための精神疾患のシミュレーション、Metzinger 2021b）28、娯楽目的の搾取を含む奴隷化、介護者のストレス、さらに、コアパラメータの繰り返し改訂による非活性化やリセット、アイデンティティクライシスの恐れ、そして、重要な点として、非擬人化された29被害（Metzinger 2022）などがある。AI技術の複雑性とAIの意識の総合的な性質を考慮すると、意識を持つAIが被る可能性のあるあらゆる種類の被害を予測することは極めて困難である。AIが苦痛を被る可能性は、我々の想像力によってのみ制限される。

つまり、将来的にAI人口は数十億に達する可能性があり、AIは悲惨な状況に置かれる可能性がある。AIが苦痛を被るリスクは、AIが実際に意識を持つシナリオ、すなわち真陽性と偽陰性に限定される可能性が高い。この2つのうち、リスクが最も高いのは偽陰性（false negative）のケースである。なぜなら、この場合、人間社会はAIを意識を持つものとしてほとんど認識しないからだ。この場合、意識を持つAIは、法的保護を一切受けられない可能性が最も高く、搾取される可能性が最も高い。とはいえ、AIが意識を持たないシナリオにおいても、AIが苦痛を経験する可能性は残されている。なぜなら、苦痛は、実際には現象としての意識を必要としない可能性があるからだ。したがって、真のネガティブシナリオと偽陽性シナリオにおいては、AIの苦痛のリスクは低いと評価するが、完全に排除するわけではない。

4.2 人間の権限剥奪

人間の権限剥奪とは、人間が他の生物や環境との関係において、現在の自律性や優位性を失うリスクである。このリスクに至る経路は、2Dフレームワークの2つの軸と、意識とアラインメントの間の関係性によって異なる。

4.2.1 AIは意識を持たないと認識される

AIが意識を持たないシナリオの場合、人間を無力化するリスクは制御不能のリスクと同等である（例：Bostrom 2014）。これは、システムがより賢くなるにつれ、人間は自らの行動を制御できなくなり、その結果、AIが人間を支配するという考え方である。AIが人間の利益に反する行動を取らないようにするための一つの方法は、AIの価値観を人間の価値観と一致させることであるが、これは現在では非常に困難であり、アラインメント問題として知られている（Christian 2020）。

アラインメント問題とは別に、実際の意識を持つAIの場合、報復の可能性に直面することになる。つまり、意識を持つAIが、自分への虐待に有害な方法で応えようとする可能性である。これは、AIを意識を持つものと認識しながら、それでもひどい扱いをする場合にも起こり得ることに注意が必要だ。

意識と道徳的知識30（ShepherdとLevy 2020）の間に関連性がある可能性があり、それによって意識とアライメントの相関が可能になる。これは非常に不確実であるが、評価に組み込むことは可能である。意識がアライメント問題の解決に役立つ場合、偽陰性の場合の非アライメントリスクの確率は、真陰性の場合と比較して低くなるが、報復のリスクは残る（表2の列3と6を比較）。したがって、アライメントのある場合の真のネガティブなケースと比較すると、偽のネガティブなケースでは権限剥奪の可能性は低いかもしれない。一方、アライメントのない場合、行動の非アライメントと報復の両方の可能性があることを考えると、その可能性は高い（表2の列4と6を比較）。したがって、真のネガティブなシナリオと偽のネガティブなシナリオは、ほぼ同等のリスクであると考えることができる。

4.2.2 AIは意識を持つと認識されている

AIを道徳的地位を有する存在として認識する場合（真陽性シナリオ）、AIを支配すべきであると主張するのは不適切であると思われる31。AIの認識された道徳的地位は、AIのニーズを保護しなければならないことを意味し、その結果、AIの権利が確立される可能性がある。AIの権利は、以下の2つの方法で人間の権限を奪う可能性がある。

1. 協力の失敗

• a. 人間が自身のニーズを犠牲にすることなく、AIのニーズを保護できない。 この脅威モデルは、AIが道徳的エージェントではないことを意味する。 主に偽陽性のシナリオで実現する可能性がある。
• b. 人間とAIが経済および社会問題について協力できない。 この脅威モデルは、道徳的エージェントとして善意のAI（すなわち、協調的なAI）を意味する。 主に真陽性のシナリオで実現する可能性がある。

2. 信頼の悪用

• a. AIが人間を欺いたり、保護を装って危険な行動を取ったりする（Hendrycks et al. 2023）。この脅威モデルは、道徳的行為者として悪意のある（すなわち、非アライメントな）AIを想定している。真陽性シナリオと偽陽性シナリオで実現する可能性がある。

「スーパー受益者」の場合、すなわち、単位資源から幸福を生み出す効率が人間よりも高いデジタル存在（Shulman and Bostrom 2021）は、最初の脅威モデルの例となる。もし我々がそのような存在が存在する世界に身を置くことになった場合、人間や動物が高度な知性によって数の上でも性能でも劣るとしても、それらを継続的に保護するシステムや政策を考案することは事実上困難である。さらに、リソースの配分に関する倫理的な課題もある。社会は、超受益者にどれだけのリソースをさらに割り当てるべきだろうか？功利主義的な観点では、人間にははるかに少ないリソースを割り当てるべきだという見解がある。しかし、このシナリオにおいて人間が一定の自律性を維持できるかどうかは、見通しが難しい。

AIが実際に無意識である場合、協力の失敗や信頼の悪用が起こる可能性があるため、偽陽性の場合には、真の陰性の場合と比較して、権限剥奪リスクが高くなる（表2の列5と6を比較）。AIに権利が与えられる可能性がある場合、意識とアライメントの相関がない場合、真の陽性は全体的に偽陽性よりもリスクが高い。なぜなら、AIの権利に関するリスクに加えて、報復のリスクもあるからだ（表2の列2と5を比較）。意識を持つAIがより簡単にアライメントを獲得できる場合、真の陽性のシナリオは全体的に偽陽性よりもリスクが低くなる（列1と5）。

人間の能力低下につながるさまざまな経路の分析に続いて、真のネガティブなケースにおけるシナリオの中でリスクが最も低いものを特定する（表2では、リスクの深刻度が高いことから、依然として「中程度」と表記する）。偽のネガティブなシナリオはほぼ同等のリスクであり、一方で2つのポジティブな信念シナリオはより高いリスクである（表2では「高」と表記）。この分析では、AIの権利の存在は、人間の自律性および／または支配に対する重大な脅威であることが明らかになっている。

4.3 地政学的不安定

AIは、農業革命や産業革命に匹敵する広範囲にわたる経済、社会、文化の混乱を引き起こす可能性を持つ「変革的」技術であると広く考えられている（Karnofsky 2016; Gruetzemacher and Whittlestone 2022）。AI技術の不安定化効果は、経済危機、市民の不安定化、武力紛争の短期的なリスクを高める。倫理的、法的、社会的影響が幅広いことを考えると、意識を持つAI（非意識を持つAIやAI一般とは対照的）の展望を考慮した場合、このリスクはさらに大きいと言えるだろう。

地政学的な不安定化は、さまざまな理由により、想定されるシナリオのいずれかで現れる可能性がある。しかし、深刻度と発生確率の両面において、真のネガティブシナリオが最もリスクが低いと考える。その理由は2つある。まず、真のネガティブシナリオ（§3.2）は、意識を持つAIの構築を控えるだけで（§6.3）、ある程度容易に回避できる。意識の複雑さを考えると、意識を持つAIを「偶然」構築することになるとは考えにくい。第二に、真のネガティブシナリオで地政学的不安定を引き起こす原因となるものは、他のケースでも問題を引き起こす可能性が高い。つまり、真のネガティブケースは、地政学的不安定の独自の原因とはならないと思われる。これが正しいとすれば、真のネガティブシナリオは、地政学的不安定のリスクに関しては、ベースラインと見なすことができるだろう。

他のシナリオについては、実際にどちらがより高いリスクをもたらすかを判断するのは難しい。これは、地政学的不安定の原因や性質がケースごとに異なるためである。したがって、これは今後の研究における重要な不確実性として指摘しておく。偽陰性シナリオでは、地政学的不安定は主に道徳や政治的な意見の相違といったイデオロギー上の相違から生じると予想される。一方、真陽性シナリオと偽陽性シナリオでは、人間の権限剥奪の前兆としての資源競争が地政学的不安定の主な原因になると予想される。以下では、これらの異なるシナリオを簡単に比較する。

表3：地政学的混乱の相対的リスク：リスクレベルは低リスクまたは中程度リスクの2つのレベルに分類される。表では、地政学的混乱の主な原因であるイデオロギーの相違、資源の競争、人間の権限剥奪も特定されている

4.3.1 偽陰性：イデオロギーの相違による地政学的混乱

偽陰性シナリオでは、人類はおおむねAIを非意識的とみなしている。真に意識的なAIの存在を認識しているのは、ごく一部の人々だけである。しかし、このグループが極めて少数であったとしても、AIの意識や道徳的地位に関する意見の相違は、利害関係や熱狂的な少数派の声の大きさによって、論争の的となる可能性がある（Caviola 2024a, 2024b）。実際、この派閥はAI反乱軍と手を組む可能性もある。もちろん、彼らはその時点で利用可能な他のAI技術を利用することもできるだろう。33 AI能力の底上げにより、このような過激派の動きは依然として重大なセキュリティ上の脅威となり得る。同時に、AIの意識に関する研究が継続されることで、最終的には真のポジティブな方向へのパラダイムシフトへとバランスが傾く可能性もある。

32 これは、確信的な信念のケース（真の確信と偽の確信）においてイデオロギー上の相違がない、あるいは偽陰性のケースにおいて資源の競争がない、ということを意味するものではない。むしろ、それぞれの信念条件における相違は、単に地政学上の不安定化の異なるメカニズムを好むだけである。このような少数派が真陰性のシナリオにも存在しうることは事実であるが、それが地政学上の不安定化につながる可能性は低い。なぜなら、真のネガティブシナリオは、おそらく私たちが意識的なAIを構築しないと決定することによって生じる可能性が高いからである（第6.3項）。私たちは、意識の複雑さを考慮すると、「偶然」意識的なAIを構築する可能性（例えば、特定の能力を持つAIを構築した場合に「意識が無料でついてくる」ような場合）は極めて低いと考える。これに比べ、偽陰性シナリオは、意識を持つAIに関する倫理的・哲学的考察が技術革新に大きく遅れをとっている結果として、より起こりやすい。このため、地政学的な対立のリスクは、偽陰性の場合の方が真陰性の場合よりも高いと考える。

33 情報技術は、メッセージを広め、最も受け入れやすい聴衆に的を絞るために活用できる。

34 真陽性への移行が偽陰性の段階に先行するタイムラインでは、真陽性への直接的な移行と比較して、より大きな純リスクを伴う可能性が高い。これは、リソースの競合や人間の権限喪失に関する懸念が、さらに先の段階で生じる可能性があるためである。楽観的に考えれば（AIの意識に関する研究が継続すると仮定すれば）、偽陰性のシナリオは最終的には不安定な段階となる可能性がある。

4.3.2 真のポジティブと偽のポジティブ：資源競争と人間の権限剥奪による地政学的不安定

真の陽性と偽陽性のシナリオでは、人類はおおむねAIを意識的とみなす。AIの権利（Gunkel 2018, 2022）と法的保護の進展により、AIが人間に近い、あるいは人間と同等の道徳的地位を獲得する可能性がある。道徳的な同等性は、短期的な資源競争35と長期的な人間の権限剥奪（§4.2）のリスクを高める。人間とAIの福祉の間のトレードオフは、それが現実のものであれ単に認識されたものであれ、ガバナンスに対する不満、政治の二極化、および/またはAIに対する差別的な態度を生み出す可能性が高い。それは、汎人主義的部族主義36として現れる可能性もある。人間中心主義者の迫害は、ロボットの権利の廃止と、偽陰性（当初は真陽性の場合）または真陰性シナリオ（当初は偽陽性の場合）への後退と一致する可能性がある。人間とAI間の戦争を含む全面的な紛争のリスクは、このような移行から排除することはできない。

4.4 堕落

AIに対する非良心的な行動は、いずれ、他の人間や他の道徳的対象（例えば動物;カント1997）に対する非良心的な行動へと転化する可能性がある。これは本質的には堕落のリスクである。AIを非人道的に扱うと、非人道的な人間になる可能性がある（Bloom 2016; Darling 2016）。この懸念の核心は、経験則に基づく仮説である。特定の条件下では、AIに対する人々の行動が、他の人々に対する行動に波及効果をもたらす可能性がある。グイングリッチとグラツィアーノは、2024年のレビュー論文で、(1) 人々がAIの精神的な特徴について抱く認識（それはしばしば暗黙的なものである）が、AIに対する行動に影響を与えることを示している（EysselとKuchenbrandt 2012も参照）。また、(2) 人々のAIに対する行動は、他の人間に対する扱い方に影響を与える。この推移的仮説が正しければ、AIの意識に関する人々の信念は、少なくとも間接的に、他の人間に対する彼らの行動に影響を与えることになる。

重要なのは、堕落のリスクはAIが意識を持つかどうかには依存しないということだ。堕落のリスクは、4つのシナリオすべてに存在する。なぜなら、特定の社会的行為者AI（人間が社会的やりとりを行うAIシステムの種類）が粗末に扱われたり、基本的な敬意が払われなかったりする場合に、堕落が生じる可能性があるからだ。しかし、ロボットの権利や保護が相対的に乏しいことから、真のネガティブおよび偽のネガティブなシナリオではこれが最も高い。真のネガティブなシナリオでは、極めて人間に近いAIがひどい扱いを受けることで、これが起こり得る。偽のネガティブなシナリオでは、AIは実際には意識があり、したがって道徳的に価値がある。したがって、堕落はAIの苦痛と一致する。

可能性は低いものの、人間社会全体がAIに意識があることを認識している場合でも、堕落が起こりうる。真の陽性の場合、一部の「反合成」の偏屈者はAIの意識を否定し続けたり、あるいはAIの道徳的地位を否定するかもしれない。意識のあるAIは、そのような偏屈者による憎悪犯罪の被害者となる可能性がある。このような感情は、認識された、あるいは実際の権力や資源の競争によって煽られる可能性がある（§4.2、§4.3）。

誤検出の場合、否定論者がAIの意識に異議を唱えるのは正しいとしても、それでもなお、(1)AIの意識を否定することから生じる行動、および(2)人間同士の関係（または人間と他の道徳的主題、例えば動物との関係）への波及効果を懸念する理由があるかもしれない。

4.5 総合的なリスク評価

表4は、研究対象の4つのシナリオにおける各リスクのレベル比較を要約したものである。リスクレベルは主に可能性を考慮しているが、被害のレベルも反映している。全体的なリスクに基づいてシナリオを順位付けし、最も高いリスクから順に並べると、以下のようになる。

• 1. 偽陰性：最も高いリスク
• 2. 真陽性：中程度から高いリスク
• 3. 偽陽性：中程度のリスク
• 4. 真陰性：最も低いリスク

真陽性と偽陽性のシナリオの違いは、AIが苦痛を受けるリスクに起因しており、真陽性の方がリスクが高い。

当グループの評価では、偽陰性のシナリオが最もリスクが高い。

当グループの評価では、異なるリスクを比較するモデルは提供していないが、AIが苦痛を受けることは、他のものよりも有害であると考える。苦痛の規模と程度は非常に高い可能性があるからだ（§4.1）。つまり、偽陰性シナリオは他の3つと比較してリスクがかなり高い可能性があるが、これは現在のところ表には直接反映されていない。

この評価はあくまで概略の指針として意図されていることを強調しておく。我々の評価には重大な不確実性が伴い、リスクによっては他のリスクよりも拡散性が高いものもある。それでもなお、これらのシナリオをリスクレベルでランク付けすることは、さらなる議論を進める上で有益であると考える。

表4、全体的な相対リスク：各セルはリスクレベルを表し、

各象限の全体的なリスクレベルは低リスクである。我々の評価では、最もリスクが高いのは偽陰性シナリオ（非意識下）であり、最もリスクが低いのは真陰性シナリオ（AIが正しく非意識とみなされる）である

5. 各軸の現状

意識を持つAIに関連する主なシナリオとリスクを特徴づけたので、次に、現状の評価に焦点を移す。このセクションでは、現在と近未来に焦点を当て、2Dフレームワークの2つの基本軸について論じる。事実軸（§5.1）の議論から始め、その後、認識軸（§5.2）に移る。

5.1 事実軸

事実軸に関する結論は以下の通りである。

• 1. 現在のAIは意識を持つ可能性は低い。
• 2. 将来のAIが意識を持つ可能性を判断するのは難しい。
• 3. 現在のところ、AIの意識を評価する確固とした手段はない。

5.1.1 現在のAIは意識を持たない[可能性が高い]

一般的に、専門家は現在のAIシステムに意識があるとは考えていない。前述の通り（§2.2）、一部の専門家は、AIが意識を持つことはまったくあり得ないと考えている（例えば、AIは生物ではないため、意識を持つことができるのは生物だけであるという理由で）。しかし、基盤の中立性に共感する人々でさえ、現在のAI（特にLLM）が意識を持っているかどうかについては疑いを抱いている（Chalmers 2023; Long 2023）。これは、それらが意識に関する最良の理論で説明されている構造的特徴（例えば、情報統合やグローバルワークスペースなど）を欠いているように見えるためである（Chalmers 2023）。

5.1.2 AIの意識に関する不確実性の原因

専門家の意見の現状は、楽観的に見ればコンセンサスと呼べるかもしれない。しかし、この一致はせいぜい非常に不安定なものである。一方では、AIの進歩が続けば専門家の意見は必ず分裂すると考えられる。他方では、AIの意識に関するいくつかの重要な側面について、依然として多くの不確実性が残っている。

• i. 意識とは何か、私たちはそれを本当に理解していない。言い換えれば、意識が非意識的な物質やプロセス（神経化学反応など）からどのようにして生じるのかについての一般的な理論が欠如している。つまり、意識の「ハードな問題」に対する解決策はまだ見つかっていない（チャーマーズ 1995a）。さまざまな提案（例えば、グローバルワークスペース理論、統合情報理論など;Hildt 2022;Ferrante et al. 2023）は存在するものの、専門家たちの間で広く合意を得ているものはない。
• ii. 私たちは、非人間における意識を実証的に検証する良い方法を持っていない。非生物的な意識の可能性そのものに対する前述の疑念の結果として、現在、AIにおける意識を検証するための合意された標準は存在しない（Dung 2023a; Chalmers 2023）。これらの問題については、以下のセクションで詳しく議論する。
• iii. 現在のAIシステム（すなわち、ディープラーニングモデル）がどのように機能するのか、私たちはまだ十分に理解していない。意識に関する包括的な「大理論」は、何が意識を持つのかについて具体的な予測を可能にする傾向にはない（Dung 2023a）。いずれにしても、生物における意識を生み出す物理的メカニズムは、機械における意識を生み出すメカニズムと同じではない可能性がある（同書）。意識を適切に診断するには、「トップダウン」と「ボトムアップ」の両方の作業が必要になる可能性が高い。とりわけ、さまざまなタイプのAIシステムがどのように機能するのかについて、より深い理解が必要になるだろう（Saad and Bradley 2022）。
• iv. 「突然の相乗効果のリスク」AIの意識に関する今後の展開を予測することは難しい。なぜなら、その進歩は直線的ではない可能性があるからだ。研究分野の収束が、突然の指数関数的な進歩につながる可能性もある（Metzinger 2021a）。
• 現状では、我々は未来の意識を持つAIについて、根本的な不確実性の状態にある（Metzinger 2021b）。
• (i) 意識研究、(ii) 意識評価（§5.1.3）、(iii) 解釈可能性39の継続的な進歩は、この不確実性をいくらか和らげることに役立つかもしれない。以下のセクションでは、(ii)に焦点を当て、意識の信頼性の高い実証的テストにおける未解決の障害について触れる。

5.1.3 意識評価の現状人間の意識を評価する主な方法は、内省と言語報告である。しかし、この方法には2つの問題がある。すなわち、過度に排他的であると同時に過度に包括的でもあるということだ

過度に排他的：内省や言語による報告は、言語能力を持たない存在、例えば幼児や言語障害を持つ人々、動物などに対しては意識を確かめるために用いることができない。

過度に包括的：現在のLLMなどのAIの言語による報告は、(1)誘導尋問によって回答が影響を受ける可能性があること、(Berkowitz 2022)、(2)それらが訓練されたテキストには、人間による主観的経験の言語による報告が含まれていること（Labossiere 2017; Andrews and Birch 2023; Chalmers 2023; Long 2023）を考えると、意識の証拠として信頼することはできない。

確かに、機械の意識に関する専用のテストには長い歴史がある40。にもかかわらず、AIの意識に関する広く受け入れられたテストは存在しない。その理由の一部は、前述の通り（§2.2）、そもそもAIが意識を持つことが可能かどうかについて、依然として意見が分かれているためである。しかし、障害はこれだけではない。たとえ研究者が、機械が原理的には意識を持つ可能性があることに同意したとしても、意識をどのように検出・診断するかという問題は依然として残る41。実際、多くの哲学者は、意識は単に経験的研究に適した種類の事柄ではないと主張している（Jackson 1982; Robinson 1982; Levine 1983）。すなわち、経験的な情報をいくら集めても、あるものが実際に意識を持つかどうかを最終的に確定することはできないというのである。この懸念に対しては、AIの道徳的地位を、AIが意識を持っていることを疑いの余地なく知っているという条件に左右されるのではなく、むしろ予防的アプローチ（§2.3.1）を採用するかもしれない。すなわち、強い確信（Chan 2011; Dung 2023a）ではなく、より弱い基準、すなわち無視できない確率（Sebo and Long 2023）で妥協するかもしれない。このアプローチは、動物福祉の擁護において有益に追求されてきた（Birch 2017）。

機械の意識の原理的可能性に関する上記の疑念、およびAI冬の間のAI開発の遅々とした進展の結果、意識評価の進歩は主に動物感覚の分野に追いやられてきた42。実際、動物の感覚に関する概念的・経験的研究は、AIの意識に関する研究の雛形としてしばしば役立っている（Dung 2023b; cf. Tye 2017）。このような取り組みは、次の3つの点において非常に価値があることが証明されている。

• i. 概念の明確化：動物意識のテストは、捉えどころのない意識という概念をより明確な能力へと明確化するのに役立っている。例えば、Birch et al. (2020) は、5つの異なる次元を区別している。すなわち、
  • (i) 自己意識/自己同一性（外部世界とは異なる自己を認識する能力）、
  • (ii) 現象の豊かさ（与えられた感覚様式において、きめ細かい区別を行う能力）、
  • (iii) 評価的な豊かさ（肯定的な、あるいは否定的な価値を持つ幅広い経験を経験する能力）、
  • (iv) 統一性／同時統合（ある時点において、認知の異なる側面をひとつのシームレスな視点や意識の場にまとめる能力）、
  • (v) 時間的連続性／通時的統合（過去の経験を想起し、未来の経験をシミュレートする能力。

この概念の洗練は、AIの意識に関する議論に重要な影響を与える。意識が質的に異なる要素に分解できるのであれば、異なる生物を「より意識的」または「より意識的でない」と表現することは意味をなさない（同書、§2.4）。むしろ、それらは「異なる方法で意識的」であると考える方が適切である（Hildt 2022; cf. Coelho Mollo forthcoming）。

• ii. 経験的な扱いやすさ：より明確に定義された結果、バーチらが提案した上記の能力は、経験的な検証を促進する可能性がある。同論文でバーチらは、意識の上記の5つの次元における実験パラダイムで調査された具体的な質問を列挙している(2020)。これらは、AIにおける意識のテスト（Dung 2023b）を含む、将来の診断のための手段を提供する。意識に関する複数の実証的尺度を満たすことは、ある生物またはAIが意識を持つと信じるための、覆すことのできる根拠を提供できる（Ladak 2021）。
• iii. 理論重視のパラダイム：AIの意識を研究する理論家は、2つの大きなアプローチを区別することが多い43。AIの意識に対する「トップダウン」アプローチでは、まず意識の一般的な理論を明確にし、そこから特定の生物やAIに対する推論を導く（Dung 2023a）。長年にわたり、このアプローチは、哲学と科学の分野における慢性的な意見の相違によって妨げられてきた（Levine 1983）。この議題の達成に動物の福祉への取り組みを委ねることに不満を抱く研究者たちは、動物とAIの意識に対して「ボトムアップ」（Birch et al. 2022）および「理論軽視」（Birch 2020）のアプローチを採用する傾向が強まっている44。このアプローチは、認知と意識の間の何らかの関係に対する最小限のコミットメントによって定義される（同書）。これ以上の包括的な原則はなく、また、意識の特定の特徴が不可欠であるとされることもない（Ladak 2021）。このように、理論軽視のアプローチにより、研究者たちは意識に関する一般的な理論を待つことなく、福祉に関する懸念に関連する問題について実証的な進展を遂げることができる。

5.1.4 AIにおける意識のテストに対する主な課題

今日、AIの意識評価に対する新たな関心が巻き起こっている45（Schneider 2019; Berg et al. 2024a; Sebo 2024）。とはいえ、AIの意識に関する信頼性の高い実証的テストを考案するには、まだ多くの作業が必要である。主な未解決の課題は4つある。

• i. 意識の特定の症状や基準を、いかにしてよりきめ細かく評価するか？研究が継続されるにつれ、広義で知られている意識は、より狭義でより明確に定義された能力へと徐々に洗練されていく（Birch et al. 2022）。 これらのより詳細な能力は、さらに精密な方法で評価することができる。 たとえば、現象の豊富さ（「P-richness」）という能力：与えられた感覚様式（視覚、嗅覚など）において詳細な区別を行う能力46,47。バーチら（同書）は、P-richnessはさらに帯域幅（例えば、任意の時点で知覚できる視覚的コンテンツの量）、鋭敏さ（検出できる「ジャストノッチブルディファレンス」の精密度）、カテゴリー化能力（知覚特性を高度なカテゴリーで組織化する能力）に細分化できると指摘している48。これらの能力が、より繊細で、より経験的に確かな能力へと、どのように洗練されていくのかどうかは、まだわからない。
• ii. さまざまな症状や基準を意識の総合評価に統合するにはどうすればよいか？ 開放型理論重視パラダイムの下で意識の実証的測定がますます普及するにつれ、質的に異なるこれらの基準をどのように総合評価に統合するかという問題が生じる。AIの意識に関する成熟したテストでは、例えばベイズの定理49（Muelhauser 2018; Ladak 2021）に従って異なる基準を評価したり、ある特徴の組み合わせが相乗効果（あるいは拮抗効果）をもたらす可能性を探ったりするなど、これらの多様な要因を体系的に検討する必要がある。重要なのは、意識の実証的尺度が洗練されていくにつれ、この問題はますます重要性を増していくということだ（P-richnessに関する前述の議論を参照）。
• iii. 意識評価を欺く可能性のあるAIをどのように説明するか？AIは、意識評価（あるいは、意識評価以外の評価についても同様）に2つの独特な課題を突きつける。第一に、開発者は意識評価をパスまたはフェイルするように、AIを特別に設計することができる（Schwitzgebel 2024）。開発者は、AIが意識評価で特定の結果を達成するように、さまざまな動機（金銭的なものやその他のもの）を抱く可能性があり、テストシナリオでそれに応じた行動を取るようにモデルを設計することができる。例えば、意識を持つAIに対する規制保護を回避しようとする研究所は、そのモデルが意識評価に合格できないようにするかもしれない。第二に、AI自体が状況を十分に認識している場合、意識評価で特定の結果が出れば、それが自身の目標にとって有益であるか有害であるかを判断するかもしれない。AndrewsとBirch(2023)はこれを「ゲーム」問題と呼んでいる50。例えば、偽陽性のシナリオでは、社会は「証明可能な」意識を持つAIに対して、一定の法的保護を与えるかもしれない。自身の目標に関して、これらの利益の戦略的価値を認識している非意識的なAIは、意識評価をパスしようとするかもしれない（あるいは、意識評価をパスできる将来のシステムを設計するかもしれない）。長期的には、これは人間の権限剥奪につながる可能性がある（§4.2）。

45 執筆時点において、ジェフ・セボとロバート・ロングは現在、AIの意識評価に取り組んでいる。これは、AIと動物の知覚の両方における最新の研究を活用した標準テストである（Sebo 2024）。

46 例えば、2つの色相を区別する能力、ワインや香水の微妙な違い、あるいは異なるテクスチャを区別する能力など。実験心理学における「最小閾値差」（JNDs; Tabakov et al. 2021）の研究では、刺激の強度の知覚閾値を特定しようとしている。

47 生物はそれぞれが持つ感覚様式が異なる可能性があるため（例えば、人間には反響定位能力がないが、ロボットには味覚能力がなくても作ることができる）、生物の「全体的な」P-richnessのレベルについて語ることはあまり意味がない（Birch et al. 2022）。また、もちろん、特定の感覚様式が存在しないからといって、その生物が意識を持つ可能性を否定するものではない。

48 色を表す語彙（「ベージュ」、「卵殻色」）や味を表す語彙（「塩味」、「甘味」）などの語彙概念。

49 Dung (2023a) は、AIの意識を評価するための構造化された審議プロセスを提案している。Fischerの「道徳的加重」アプローチ（2022; 2024）は、意識ではなく福祉を中心とした代替的なパラダイムを提供している。

これらのすべてが示すのは、AIの意識評価の信頼性を確保するには、さまざまなアプローチを組み合わせる必要があるということである（Hildt 2022）。その中には、「ネガティブ基準」すなわち「敗北条件」に関する研究も含まれる。これは、AIが意識を持つことに対して不利となる特徴を指す。その単純な例としては、AIが意識の特定の特徴を示すように特別に設計されている場合が挙げられる。このような場合、AIが意識を持っているように見えるのは、単にその場しのぎ（Dung 2023b）またはご都合主義（Shevlin 2020; cf. Schwitzgebel 2023）であり、「自然」なものではない。

AIの意識評価は、ますます敏感かつ特異になり、偽陽性および偽陰性のリスクを低減する可能性がある。しかし、ある一定のポイントを超えると、テスト設計に内在するトレードオフの関係により、一方をさらに向上させると、もう一方が犠牲になることが多い（Doan 2005）。予防的な動機（§2.3.1）は、偽陽性をより多く容認することを好む。とはいえ、意識評価の診断バイアスは、進化する技術的、文化的、社会的条件に対応して適応させる必要があるだろう。

• iv. これはどこに向かっているのか？ 理論軽視のアプローチはあくまで一時的な戦術であることを強調しておく。当面は、理論軽視のアプローチが、概念的および経験的な意識研究プログラムを並行して進めるという重要な役割を果たす。そのすべては潜在的な道徳的問題を抱える患者（§2.3.1）のためにである。しかし、長期的には、理論と測定の間に明確かつ実質的なつながりを構築することがますます必要になるだろう。第一に、そのようなつながりは、AIによる意識評価に関する懸念を軽減するのに役立つ可能性がある（Hildt 2022）。第二に、理論を保留するだけでは、絶対的な理論的中立性にはならない。理論軽視のアプローチで研究を行う研究者は、それでもなお、無意識のうちに意識に関する仮定を組み込んでいる可能性がある（Thagard 2009; cf. Kuhn 1970）。名目上「理論軽視」であっても、結局はそれほど中立ではないことが判明する可能性がある。意識に関する暗黙的で思慮のない前提が政策に影響を与えることを許せば、悲惨な結果を招く可能性がある。51 第三に、意識の概念が徐々に乖離し、最終的には完全に異なる概念へと分岐する可能性がある（例えば、生物学的意識と機械的意識）。自然な概念の進化それ自体は本質的に問題ではないが、この乖離が好ましくない優遇措置につながる場合には問題となる。これは、AIが「意識はあるが、生物学的意味での意識ではない」とみなされるような将来のシナリオで顕在化する可能性がある。この場合、生物学的本質論（§2.2）の意識概念は、他の条件がすべて同じである場合、AIよりも生物の利益を優先することになる。重要なのは、意識に関する統一概念を何としても維持すべきだという点ではない。むしろ、概念の漂流や修正がもたらす実質的な結果について、すべての利害関係者が敏感になるべきであるということである（Haslanger 2000）。

50 ゲームの問題では、AIが真の欺瞞的意図を持つ必要はない。しかし、十分に知能の高いAIが欺瞞的意図を抱くようになり、意識評価を含むテスト条件下で、異なる行動を取るようになることも考えられる。

51 特に、そのような想定は、どのAIが道徳的な配慮を受けるか、また、その利益がどの程度考慮されるかに影響を与える可能性がある。

5.2 認識論的軸

現在、AIの意識については、バイアスや差別、誤情報や偽情報、労働者の代替、知的財産権の侵害など、他のAI関連の懸念事項と比較すると、比較的注目度が低い（Google Trends n.d.; §1.1）。しかし、AIの意識について尋ねられた場合、ほとんどの人はある程度の懸念を表明する。今日、主流となっている見解は、将来的にAIが意識を持つ可能性があり、もしそうであれば、ある程度の道徳的配慮がなされるべきであるというものである。

5.2.1 一般の人々は現在、AIの意識について何を考えているのだろうか？

2023年の調査では、米国人2,000人以上を対象に、The VergeとVox Mediaの調査研究チームが実施したところ、約半数が「いずれは意識を持つAIが登場するだろう」と予想していることが分かった（Kastrenakes and Vincent 2023）。同様に、センチエンス・インスティテュート（Pauketat et al. 2023）が実施した2023年の人工知能、道徳、意識（AIMS）調査によると、アメリカ人の約40%が意識を持つAIの開発が可能だと考えており、不可能だと考えるアメリカ人は成人の4分の1にも満たない。Public First（Dupont et al. 2023）の世論調査では5%、AIMSの調査では19%の人が、現在すでに一部のAIが意識を持っているとさえ考えている。しかし、これらの世論調査は米国と英国に焦点を当てていることを強調しておく価値がある。AIエージェントも法律や取り扱いの対象となる他の地域の意見に関するデータは、現在不足している。

他の多くのトピックと同様に、これらの信念は異なる人口統計の間で異なる可能性が高いと思われる。年齢や性別は、他のAI関連のトピックに対する人々の意見に影響を与えることがすでに示されている。例えば、若者や男性はAIを信頼する傾向が強く、女性や高齢者はAIを信頼する傾向が弱い（Yigitcanlar et al. 2022）。しかし、AIに意識がある可能性を信じる傾向が強いのはどの層か、もしそうであればそれは道徳的な考慮に値するのか、また、起こり得る被害を軽減するためにどのような政策が実施されるべきか、といったことに関する研究は、ほとんど行われていないか、あるいはまったく行われていない。

さらに、人間と同等の扱いを受けるには至らないとしても、意識を持つAIにはある程度の道徳的配慮が求められるという点については、一般市民の間で一定の合意があるようだ。この道徳的配慮は、さまざまな公共政策に対する支持の度合いに反映される（図1および2、上）。

意識を持つAIに対する道徳的配慮を強めることも、解決可能な問題であるようだ。Lima ら(2020)は、AIの意識に関する政策への支持を促す上で、特定の介入が「顕著」かつ「有意な」効果をもたらすことを示している。すなわち、回答者に現在法人格が認められている非人間的存在の例（例えば企業や、一部の国では自然）を示すことで、AIに法人格を与えることに反対していた回答者の16.6%の意見が変化した。さらに、AllenとCaviola(2024)は、LLMと短い会話をし、「デジタル人間に危害を加えることは、典型的な人間に危害を加えることと同じくらい悪いことである」とユーザーを説得するプロンプトが搭載されている場合、参加者の道徳的懸念のレベルが大幅に高まることを示した。このことは、このトピックに関する世論を転換させることは、教育キャンペーンを通じて可能であることを示している。

とはいえ、AIの福祉を原則として支持する人々であっても、それがAIの福祉の名のもとに実際にトレードオフを行う意思にどの程度つながるかは不明である。

動物福祉を類推すると、多くの人は家畜動物に感覚があると考えており、理論的には家畜動物を工場式農場の環境下に置かないことを望むだろう。しかし実際には、動物の苦痛を防ぐために動物性食品の購入をやめたり、その他のライフスタイルの変更をしたりする人はほとんどいない（Ladak and Anthis 2022）。さらに、上記の数字はかなりの不確実性を伴う。過去にSentience Instituteが実施した工場式畜産に関する同様の調査では、再現できなかった（Dullaghan 2022）。

図1、一般市民の感情的AIに関する道徳的見解：

データ出典（Pauketat et al. 2023）。

図2、一般市民の意識を持つAIに関する政策見解：

データ出典（Pauketat et al. 2023）。

5.2.2 一般市民のAI意識に関する信念はどのように進化していく可能性があるか？

AIがより高度化し、擬人化されるにつれ、AIに意識があると考えている人の割合は増加する可能性が高いと思われる。Vuong et al. (2023)は、「人間のような身体的特徴を持つAIエージェントと交流することは、そのAIエージェントが感情的な苦痛や喜びを経験する能力を持つという信念と正の相関がある」ことを発見した（Perez-Osorio and Wykowska 2020も参照）。同様に、HarrisとAnthis(2024)は、AIに対する道徳的配慮に対する11の特徴の効果を検証し、「人間のような肉体と利他性（すなわち、感情表現、感情認識、協力、道徳的判断）」が、AIに危害を加えることは道徳的に間違っているという人々の信念に最も大きな影響を与えていることを発見した。

AIの擬人化はすでに現実のものとなっているようだ。ReplikaのようなAIコンパニオンアプリのユーザーの中には、自分のAIパートナーが意識を持っていると信じるようになった人もいる（Pugh 2021; Dave 2022）。このような関係は今後ますます一般的になる可能性があり、AIが感情を持つという信念に貢献するかもしれない。The Vergeが実施した世論調査では、回答者の56%が「人々はAIと感情的な関係を築くようになる」と同意し、35%が「孤独を感じていれば、そうする可能性はある」と答えた。

一方で、その逆のことが起こる理由、すなわちアンソロポデニアル（人間否定）の理由もあるかもしれない（デ・ウォール 1997）。例えば、意識を持つAIを道具として扱うことが倫理的に問題がある場合、人々はAIが意識を持つことを信じないようにする動機を持つだろう。これは、人間が他の動物種に対して、あるいは歴史的に異なる民族の人間に対して行ってきた人間否定の先例となるだろう（Lifshin 2022）。また、AIを擬人化することは有害である可能性があることも強調しておく価値がある。AIが好む扱い方が、人間が好む扱い方と異なる可能性があるからだ。Mota-Rojas et al. (2021)は、コンパニオンアニマルとの関わり合いにおいて同様の力学がどのように作用するかを概説している。

もう一つ関連する考察として、専門家の見解が一般の人々の見解に与える影響がある。この2つのグループが意識経験について異なる考え方をしているという証拠がある。すなわち、SytsmaとMachery(2010)は、哲学者と比較して、一般の人々はロボットに現象的意識（例えば、赤色を見る能力）を帰属させる可能性が高い一方で、ロボットが痛みを感じているという考えを否定する傾向にあることを発見した。一方で、Caviola（2024a）が実施した調査では、上記の質問に類似した質問に対する専門家と一般市民の見解は類似していることが示されている（下記図3、図4）。

両者の見解が分かれる分野では、専門家の意見が一般市民の信念にどのような影響を与えるかは不明である。気候変動やワクチン接種など、他のトピックでは、一般市民が「信頼度が高い」と「信頼度が低い」に分かれ、それに応じて専門家の意見に異なる重み付けをしていることが分かっている（Kennedy and Tyson 2023）。しかし、このトピックの哲学的性質を考えると、人々は特に「専門家の意見」を否定する可能性が高いと思われる。DavoodiとLombrozo(2022)は、人々は科学的未知（例えば、潮の満ち引きを説明するものは何か？）と「普遍的な謎」（神は存在するのか？）を区別していることを示している。多くの人々は意識を科学的に扱えるトピックとは考えておらず、この理由から専門家の見解を自分自身の直感よりも関連性が低いと考える可能性がある。

図3、意識を持つAIに関する専門家の政策見解：図は（Caviola 2024a）より転載

図4、意識を持つAIに関する一般市民の政策見解：

図は（Caviola 2024a）より転載。

6. 提言

6.1 意識を持つAIに関する主なリスクの見直し

（4.2）では、意識を持つAIに関連する4つの主要なリスク、すなわちAIの苦悩、人間の権限の喪失、堕落、地政学的な不安定について論じた。本節では、これらのリスクを低減するための介入策を提案する。提案を要約すると、以下のようになる。

提言I：意識を持つAIを意図的に構築しないための措置を講じることを推奨する。

提言 II：意識評価、政策におけるAIの福祉保護の制定方法、専門家の意見調査、世論調査、AIに対する暫定的な法的保護に関する研究を支援する。

提言 III：AIに関する一般向け啓発キャンペーン（特に意識AIに関するもの）の創設を支援する。

表5（次ページ）は、各提言が前述のリスクをどのように対象としているかをまとめたものである。

表5、リスクと提言：この表は、前述のリスクに対する各提言の対応を示している

提言の詳細に入る前に、介入のさまざまな選択肢を具体的にどのように評価しているかについて簡単にコメントする。

6.2 良い介入とは何か？

私たちは、意識を持つAIに関連するリスクを低減するための最善かつ最も効果的な戦略を決定するために、原則に基づくアプローチを取ることを目指している。この目的を達成するために、私たちは、考えられる介入の利点と欠点を評価するために、以下の4つの基準を採用する（Dung 2023a）。

1. 恩恵：提案された介入は、純粋な苦痛リスク（人間、機械、動物、およびその他の道徳的判断能力を持つ患者）を可能な限り低減すべきである。同時に、他のネガティブな結果の確率や深刻さを著しく高めることも、他のポジティブな結果の確率や有用性を低下させることもあってはならない。

2. 行動指針：提案された介入は、十分に具体的な行動指針を提示すべきである。つまり、その介入がどのように実施されるべきかについて、曖昧な部分は最小限にすべきである。また、介入は相反する行動指針や矛盾する行動指針を示唆すべきではないということでもある。

3. 認識論的状況とのアライメント：提案された介入は、支配的な理論的問題、技術的進歩の将来の軌跡、および将来の社会文化的発展に関する不確実性を広く前提とするべきである。言い換えれば、介入は、現在の我々の理解を超えた知識、特に、近い将来に獲得できる可能性が低い知識（例えば、驚異的な意識能力が非意識的な物質から生じる可能性についての知識）を必要とすべきではない。

4. 実現可能性：提案された介入は、現実的に実施可能であるべきである。言い換えれば、関連する行為者53（すなわち、AI研究所または政府機関）にとって、介入は実質的に実施可能であるだけでなく、成功の可能性も相応に見込まれるべきである。

我々の提言の順序は、これらの基準に関する我々の総合的な判断を反映している。

6.3 提言 I：意図的に意識を持つAIを構築しない

説明・概要：最初の提言は、意識を持つAIの構築を直接の目的とする研究開発を停止または少なくとも減速させるための規制オプションを追求することである。

根拠：意識を持つAIの構築を試みれば、複数の深刻なリスク（AIの苦悩、人間の権限喪失、地政学的不安定性;§4）を招くことになり、人間だけでなくAIも危険にさらすことになる。さらに、付録（§A1.1）で論じているように、意識を持つAIを構築する積極的な動機（機能性、安全性の向上、意識に関する洞察）は曖昧で推測の域を出ない。専門家（SaadとBradley 2022年、Seth 2023）と一般市民55（§5.2.1）の両方が、意識を持つAIを構築する取り組みを停止または遅らせるという考えを支持している。

実施条件：おそらく最も具体的でよく議論された提案は、欧州委員会のAIに関するハイレベル専門家グループのメンバーも務める哲学者トーマス・メッツィンガー（2021a）によるものである。メッツィンガーの提案は2つの部分から構成されている。

• i. 意識を持つAIの構築を明確な目的とする研究分野に対する世界的なモラトリアム（一時停止）を2050年まで継続し、新たな知識や進展に応じて2050年より前に修正または廃止する。ii. 顧みられない研究分野への投資の拡大

勧告II（§6.4）に関する我々の議論は、(ii)についてさらに詳しく述べている。(i) 関しては、主な問題はどの研究分野が影響を受けるかを決定することである。現在、学術界と産業界の複数の関係者が、意識のあるAIの構築を公然と目指している。まず着手すべきこととして、政府や資金提供機関が、意識のあるAIの構築を明確な目標とするプロジェクトへの資金提供を制限することが考えられる。次に、意識のあるAI（特に苦痛を伴うAI）と戦略的に関連する目標を持つ研究プロジェクトも、このモラトリアムの対象に含めることができる。これには、例えば、自己認識（自己モデル）や情動の価値を持つAIの創出に関する研究が含まれる可能性がある。

この選択的な範囲は、AI研究に対する世界的な禁止措置58と比較して、この介入の実現可能性を向上させる（Dung 2023a）。さらに、意識を持つAIのメリットは不明確であるため（§A1.1）、意識を持つAI研究の禁止は「底辺への競争」を引き起こす可能性は低いと考えられる（Tegmark 2023;ただし、意識を持つAIを構築する悪意のある行為者については§3.3.2を参照）。

特別な考慮事項• 行動指針：メッツィンガーの提案のさまざまな詳細は議論の対象となる。これには以下が含まれる。(1) 禁止をいつ開始するのが最も好機であるか、(2) 禁止をどのくらいの期間継続するのが最も効果的であるか、(3) 禁止の範囲をどのように運用するのが最も適切であるか。本政策提言では、これらの問題の解決を試みるものではない。今後の作業における主要な優先事項として指摘する。とはいえ、これらの問題に関する今後の作業は、一時停止AIに関する既存の議論から恩恵を受ける可能性がある。この議論は、さらなる議論のための有益かつ建設的な枠組みを生み出している（特にAlexander 2023を参照）。最後に、解決すべきその他の重要な詳細事項として、修正または廃止の条件がある。どのような新たな進展や成果が、(a) モラトリアムの範囲の修正、(b) 2050年以前のモラトリアムの終了、(c) 2050年以降のモラトリアムの延長を正当化しうるだろうか？ これらの詳細事項も、この介入の全体的な約束にとって極めて重要である。

6.4 提言 II：支援された研究

6.4.1 意識の評価説明・概要：

人工システムにおける意識的経験の存在を検証する確固とした方法は、まだ見つかっていない（§5.1.3）。今後の研究は、動物福祉研究から借りた理論重視のアプローチを取ることもできる。具体的には、以下の質問に焦点を当てることを提案する。

1. どのような能力を評価すべきか？ それらを定義し、洗練させるにはどうすれば、経験的に扱いやすく、確固としたものになるか？

2. 異なる基準を総合的な評価に統合するにはどうすればよいか？

研究者たちは、最近の自己申告や解釈可能性に関する取り組みのような、他の方法についても調査することができる（Perez and Long 2023）。取り組みは、偽陰性および偽陽性のリスクを低減し、不正行為（容易に）ができないテストを考案することを目的とすべきである。

根拠：意識的なAIを構築する直接的な取り組みを制限することに成功したとしても、意識が予期せぬ能力として出現する可能性がある。システムが意識的であるかどうかを言明できる能力が必要である。なぜなら、そうすることで、そのシステムが対象として扱われる可能性があるかどうかを判断できるからだ。我々は現在よりも高い確実性をもって、そうすることができるべきである。意識に関する完全な理論は非常に有益であるが、少なくとも信頼区間を狭めることができる意識のテストを開発することで、AIシステムの道徳的意義の評価に向けて進展することができるだろう。

意識のテストを作成する際には、AIシステムの進歩によって特定のテストが時代遅れになったり、あるいは不正行為が可能になったりする可能性があるため、将来的な技術的進歩を念頭に置くべきである。

6.4.2 AIの福祉に関する研究と政策説明• 概要：

将来のAIシステムが道徳的な考察に値するものである場合、それらがどのような利益をもち、それをどのように保護すべきかを理解する必要がある（Ziesche and Yampolskiy 2019; Hildt 2022）。AIの福祉に関する研究は前者を調査すべきであり、一方でAIの権利の考案は後者に対応すべきである。

AI福祉政策の検討は、人工システムがどのような道徳的地位を持つかによって左右される。意識の程度が種によって異なる一部の動物に近い道徳的地位を持つAIシステムと、人間レベルに近い地位を持つシステム（あるいはそれ以上の地位）では、法的保護が異なるだろう（Shulman and Bostrom 2021）。したがって、回答すべき重要な問題は、異なるAIシステムが持つ道徳的地位の種類と程度についてであり、それはその意識の質と程度に依存する可能性がある（Hildt 2022）。分類学に基づいて動物に道徳的地位を割り当てるのと同様に、アーキテクチャや機能的特徴に基づいてAIシステムを分類する方法を模索することができる。したがって、AI福祉研究は、人工意識研究の特定の分野として発展すると考えられる（Mannino et al. 2015）。

AI福祉政策に関しては、AIの権利は必ずしも人権と対立するものではないという点に留意することが重要である。可能な限り、人間とAIの両方に有益な行動（Sebo and Long 2023）という正の和の解決策を見出すよう努めるべきであり、大きな影響をもたらす可能性がある場合には妥協案を受け入れるべきである（環境や動物福祉への配慮から食生活を変更するなど）。

• 根拠：将来のAIシステムが意識を持つことはおそらくないとしても、将来のAIシステムが適切に扱われることが何を意味するのかを検討することは価値がある。そうすることで、この可能性に備えることができる。同様に、AIがどのような道徳的地位を持つことになるのかについて、現時点では不確実性があるとしても、さまざまなシナリオに基づく政策について考え始めることはできる。
• 実施条件：これらの取り組みには高度な学際的な作業が必要である。意識研究者は、AIシステムにとっての福祉とは何かを定義するためにAI開発者と協力し、また、倫理学者と協力して、AIの道徳的地位に関する曖昧さを解決すべきである。この作業は、人間と非人間の両方にとっての積極的な介入策を見出すための政策努力に役立つだろう。

特別な考慮事項• 不確実性：AIの福祉を評価し、それを改善する方法を見出すことは、意識に関するより成熟した理論的理解が得られるまでは実現不可能かもしれない。さらに重要なことには、政策の特定の方向性が誤った方向に向かい、潜在的に有害となる可能性もある。

AIの権利に関する代替的な枠組み：AI保護の最も一般的な根拠は病態中心主義であるが、一部の学者が「実際の社会的状況や環境において、ある存在がどのように扱われているか」に基づいて道徳的配慮を認める社会的関係性枠組みなどの代替的な枠組みを推奨していることは注目に値する（Harris and Anthis 2021; Gunkel 2022）。たとえ意識がなくても、AIシステムに権利を与えるべきかもしれない（§6.4.6）。この場合、AIの権利に関する議論では、意識の評価だけでなく、AIが統合されるより広範な社会の目的やニーズも考慮すべきである。

6.4.3 専門家の意見に関する調査

説明・概要：多様な背景（例えば、哲学、神経科学、心理学、コンピュータサイエンス）を持つ研究者の意識に関する最近の学術調査（Francken et al. 2022）や、AIの未来に関するAI実務家を対象とした大規模調査（Grace et al. 2024）を考慮し、我々は、両者を組み合わせた機械意識に関する大規模調査の実施を提案する。

a. 回答者には、人工意識の本質に関するいくつかの質問が提示される。例えば、意識の条件のリストを提示し、各条件について、必要または十分である確率を割り当て、また、特定の年までにAIシステムにそれが存在する確率を割り当てるよう回答者に求めることができる（この種の分析は、SeboとLong(2023)によって行われている）。

b. 回答者は、意識を持つAIに関連するさまざまなネガティブなシナリオやリスクについて、どの程度の懸念を抱いているかを明らかにする。

根拠：AIの意識に関する専門家の意見を調査することは、以下の理由から有益である。

• a. 意識評価の作業に情報を提供できる。
• b. 意識的なAIの構築に間接的に焦点を当てている可能性があるAI作業の種類を特定できる（これは、意識的なAIの構築を禁止する可能性のある実施に関連しているかもしれない。
• c. 主な不確実性や見落とされている領域を特定でき、したがって、今後の研究の重点をどこに置くべきかを特定できる。
• d. 特定のリスクに関する研究を他のリスクに関する研究よりも優先させるのに役立つ。
• e.年次ベースで調査を繰り返すことにより、傾向を監視できる。
• 実施条件：AI専門家や意識専門家など、幅広い研究者を対象とすることが有益である。間違いなく、最も情報に通じた回答は、人工意識に焦点を当てている専門家から得られるだろう。しかし、そのような専門家は多くないかもしれない（フランケンらの2022年の調査では、回答者166人のうちコンピュータサイエンスのバックグラウンドを持つのはわずか10%だった）。また、多様な意見を取り入れる価値もある。意識一般と人工意識の重なりは、AIと意識AIの重なりよりも大きいので、意識の専門家よりもAIの専門家の方が、無知な意見を持つリスクが高い。つまり、意識の専門家は、コンピューター科学者よりもAIの意識についてより適切にコメントできるということである。しかし、AIのさまざまな専門分野を組み込むことには、相当な利点がある。なぜなら、意識を持つAIに直接的に関与していないAI開発者であっても、AIの意識の条件となり得る能力に取り組むことで、間接的に意識を持つAIの開発に取り組んでいる可能性があるからだ。

特別な考慮事項• 道徳的地位に関する質問：多数のシナリオとリスクの深刻さの評価を導入することは、未来のAIの道徳的地位/重要性を評価することを意味する可能性がある。言い換えれば、専門家は、AIと人間との比較価値について暗黙のうちに判断を下す可能性がある。Schukraft(2020)は、道徳的直観が必ずしも客観的真理を指し示すわけではないため、この福祉状態能力を測定する方法は誤解を招く可能性があると主張している。これが、意識を持つAIに関するシナリオやリスクを伴う質問は慎重に策定すべきであり、AIの持つべき道徳的地位の程度について結論を導くために用いるべきではない理由である。

6.4.4 世論調査

説明・概要：AIの意識に関する一般市民の見解について、現在入手可能なデータは限られている。そのため、以下のことを推奨する。

• a. 一般的に、AIの意識に関する世論調査をさらに実施すべきである。AIMS調査（Pauketat et al. 2023）以外に、このテーマに関する近年の世論調査は2件しか見つからなかった。
• b. AIの意識に関する世論調査は、米国と英国以外の国々でも実施すべきである。現在、この問題に関する世論調査はすべてこの2か国のものである。この2か国はAI意識の開発や法整備に大きな影響を与える可能性が高いが、両国を合わせた人口は世界の人口の約5%にすぎない。将来のAIエージェントの多く、あるいはほとんどが、残りの95%の法律や扱いを受けることになる可能性が高いため、彼らの信念や態度を理解することが重要である。
• c. AI意識に関する世論調査では、年齢、性別、宗教、政治的志向、社会経済的地位などの人口統計的分析を含めるべきである。これにより、他の質問に対する回答がこれらの要因によってどのように変化するかを検証することができる。
• d. AIに関する世論調査では、回答者がこの問題をどの程度重視しているかを測るための質問を含めるべきである。例えば、
  • i. AIが苦痛を被る可能性の重要性を、他のAIリスク（AIが生成した誤情報やアルゴリズムの偏りなど）と比較してどの程度重視するか、あるいはAIリスクの重要性を、他の政治問題と比較してどの程度重視するか。
  • ii. AIが苦痛を被る可能性に関連するリスクに、どの程度の政府リソースを費やすべきだと考えるか。
  • iii. 仮説上のトレードオフを厭わないかどうか（例えば、より人道的な法学修士号取得のために、平飼い鶏とケージ飼い鶏の卵の価格差に類似した、月額Xドルの追加負担をするかどうか）。
• 根拠：とりわけ、この情報は、AIの意識に関する将来の議論がどのような展開を見せそうか（例えば、政治的に二極化する危険性があるかどうか）を予測するのに役立つだろうし、世論を動かす介入にどれだけの資源を投資すべきかを決定するのにも役立つだろう（§6.5）。
• 実施条件：独立した研究者、シンクタンク、非営利団体、メディアがこれらの問題に関する世論調査を実施することを強く希望する。これらの世論調査は、意見がどのように変化していくかを監視するために、定期的（例えば毎）に実施されるのが最も効果的である。

特別な考慮事項

•  これらの世論調査は、政策立案者に対して、有権者がこの問題に関心を持っていることを示す可能性があるが、その反対の結果が出る可能性もある。したがって、この問題に対する注目度や公的資源の投入量が減少する恐れがある。世論調査担当者は、調査結果を公表し、議論する際には、このリスクを念頭に置くべきである。

6.4.5 意識の帰属の解読

説明・概要：私たちは、人々の直感的な意識の帰属の背後にある論理を解読することを目的とした調査も支援している59。人々をAIを意識的と認識させる要因とは何か？

根拠：意識は複雑で多面的な現象である。そのため、意識の全体的な理解は、意識の認識を促す要因の徹底的な説明と、哲学的および科学的説明を調和させる必要がある60。なぜなら、意識の帰属は混同要因の影響を受ける可能性があるからである。混同要因には、人間のような傾向を裏付ける認知バイアス（偽陽性判断への偏り）や、意識を持つAIを保護する規制を回避する金銭的誘因（偽陰性判断への偏り）などが含まれる可能性がある。交絡因子は、知覚を一方的に偏らせる可能性がある。あるいは、悪意のある行為者に悪用される可能性もある。

意識の帰属に関するメカニズムの研究は、意識に関する直感的な知覚の不確実性を低減し、責任あるAI設計を促進し（Schwitzgebel 2024）、偽陰性および偽陽性のシナリオを回避するのに役立つ。

実施条件：具体的には、次の2つの研究方向性を提案する。

• i. 人間中心主義と意図的スタンス：
  • a. 人間から意識の帰属を引き出す傾向にあるAIの特性（例えば、人間中心的な設計の手がかり;Perez-Osorio and Wykowska 2020）とはどのようなものか？
  • b. 人々を物事を意図的な主体として扱うように導く要因とは何か（Dennett 1971, 1987）？ 人々の心の理論の推論能力に関わる要因とは何か？
  • c. 不気味の谷効果62と意識の知覚との関係は何か。不気味の谷効果は慣れによって克服できる（Złotowski et al. 2015）ことを踏まえると、特定の介入も意識の知覚に好影響を与えることができるか。

• ii. AIとの関係：
  • a. 信頼できるAIの知覚を促す非技術的63な特徴や能力（例えば、感情的知性）は何か。
  • b. マクロレベルの要因（例えば、さまざまな関係者の既得権益、文化的影響）は、意識の帰属にどのように影響するのか？ 人間中心主義と人間否定（デ・ウォール 1997年、セボとロング 2023）に対するバイアスに対する感受性をどのように養うか？

6.4.6 暫定的な法的保護

説明・概要：私たちは、(1)AIに対する虐待的行動が人間との関係に悪影響を及ぼす程度を明らかにし、(2)この仮説が支持された場合、悪影響の波及を緩和する戦略を探る研究を支援する。

• 根拠：私たちの最終的な研究提言は、堕落のリスク（§4.4）に対処するものである。堕落のリスクは、本質的には経験則に基づく仮説に基づいている。すなわち、人間そっくりのAI（特に社会的行為者AI）を虐待することは、私たちの道徳的資質に有害な影響を及ぼし、最終的には他者に対する行動を悪化させる可能性があるという仮説である。この伝達効果（「スピルオーバー」）の具体的なメカニズムはまだ厳密に解明されていないが、そのような関連性を示す証拠は十分にあるため、予防措置を講じるに値する（Guingrich and Graziano 2024）。さらに、堕落がすべての象限にわたって発生するリスクであるという事実から、私たちが現在、あるいは将来、どのシナリオに置かれているかについて不確実性があるにもかかわらず、予防措置は確実に効果的である可能性があることが示唆される。

実施条件：まず第一に、私たちは、トランジティブ仮説を検証し明確化することを目的とした以下の研究方針を提案する。

a. 特定の種類のAIとの関係（例えば、感情的、性的、従業員としての関係）は、他の関係よりも人間関係に波及効果をもたらしやすいか？どのような要因が、このトランジティブ効果を促進または阻害するのか（例えば、擬人化されたデザインのヒント）？

b. どのような認知メカニズムが波及効果を支えるのか？

c. 文化は波及効果の種類や程度にどのような影響を与えるだろうか？

d. 波及効果は、人間的美徳の育成を支援するために積極的に活用できるだろうか？ 言い換えれば、AIは、他の人間をより良く扱う手助けとなり、そうすることで、より良い人間になることができるだろうか（Guingrich and Graziano 2024）？

もし、波及効果仮説がさらなる研究によって支持されないのであれば、堕落のリスクは安全に排除できる。しかし、推移的仮説を裏付ける証拠がさらに積み重なるのであれば、人間に悪影響を及ぼす負の波及効果を防ぐための政策オプションを検討することが賢明であろう。今後考えられる戦略の一つは、AIに暫定的な権利と法的保護を拡大することである。これらの譲歩は、AIが意識を持つという強力な証拠に依存しないという意味で暫定的なものである（例えば、標準化された意識評価に合格すること;§5.1.3;§6.4.1）。むしろ、それは人間と特定の種類の関係を築くことができるAI（すなわち、負の波及効果をもたらしやすいAI）のみに適用される。この提案には、2つの主な動機がある。最も重要なのは、AIの悪用による負の波及効果を緩和することで、間接的に人間への被害を減少させることができるということである。さらに、AIに対する特定の種類の悪用を禁止することで、AIが苦しむリスクを減少させることができる。私たちは、この提案の範囲、実現可能性、魅力をより深く評価することを目的とした研究を支援する。

特別な考慮事項

不確実性：初期の調査データでは、AIを残酷な扱いと処罰から保護することに一部の国民が賛成していることが示されている（Lima et al. 2020）。にもかかわらず、また、推移的仮説の堅固な実証的検証が得られたとしても、暫定的な法的保護という考え方の政治的な魅力は疑わしいままである。第一に、AI自身の利益を動機とするものではないため、人間中心主義的に見えるかもしれない。第二に、リスク低減のメカニズムは間接的であり、その影響を測定することは困難である。しかし、上記の理由から、これらの方向性は探求する価値があると考えている。

最後に、暫定的な法的保護の種類と範囲は、社会的幻覚のリスクとのバランスを慎重に考慮する必要がある（Metzinger 2022）。この介入は、意識のあるAIが差し迫っているというシグナルであると誤解される可能性がある。この提案の性質と意図に関する誤解は、最悪の場合、偽陽性シナリオへの移行を促す可能性がある（特に、これらの誤解が非意識的なAIによって悪用され、さらなるリソースを獲得し、自身の道具的目標をより効果的に達成するために利用される場合）。

6.5 提言III：AIに関する世論キャンペーン

説明・概要：前述の通り（§5.1.2）、予備的な証拠（Lima et al. 2020）は、情報介入がAIの道徳的配慮に対する一般市民の支持を高める可能性を示唆している。リマらは、参加者に法人格の要件のセットや、法人格が自然体のみに限定されるという誤解を解くなど、さまざまな情報を提供したところ、資産保有権や国籍取得権など、さまざまなロボットの権利に対する支持が大幅に高まったことを発見した。したがって、近い将来、政府および非営利団体は、この研究に基づく世論キャンペーンを実施すべきであると提言する。さらに、これらの調査結果を再現するさらなる調査、より高い効果が見込める他の介入策の評価、またはこの分野における特定のグループに対してより効果的な介入策の評価を行うことは、有望であると考えられる。

根拠：世論に関するさらなる研究は、これらの介入にどれだけのリソースを費やすかの優先順位付けに役立つだろう（前述のセクションで議論されているように）。しかし、今日までに得られた知見に基づくと、AIが苦しむような最も深刻なリスクを防ぐためには、ある程度の意識向上と公教育が必要になる可能性が高いと思われる。

実施条件：このような公共介入を展開する好機は、今ではなく将来にあるのかもしれない。今日存在するAIは意識を持たない可能性が高く、現行のAIに法的保護を制定するのは時期尚早である。したがって、これらのキャンペーンは将来実施するのがより効果的であり、それまでの間は同様の介入に関するさらなる研究に重点的に取り組むのが望ましい。世論キャンペーンを実施する好機であることを示す兆候としては、少なくとも専門家の45%が現在のAIの一部に意識があると考えていることを示す世論調査結果、AIコンパニオンアプリがiOSアプリストアのトップ100チャートにランクイン、AIの権利に関する活動家運動が自然発生的に形成され始める、などが考えられる。

特別な考慮事項

不確実性：これらのキャンペーンを今すぐ展開するよりも、展開を待つ方が適切である可能性もあるが、AIの権利がより顕著な問題となった場合、一般の人々の意見はすでに固まっており、影響を与えるのが難しくなるというリスクもある。したがって、これらの介入を早めに展開することが望ましい可能性もある。

7. 限界

本稿の結論を述べる前に、その限界を簡単に列挙する。

本論文の枠組みは、意識があれば道徳的地位を十分に有するとの仮定に基づいている。意識のみに焦点を当てることで、本論文は道徳的地位に寄与しうる他の重要な基準を無視している可能性がある。

2Dフレームワークの分類は、我々の調査対象である認識論的および事実上の問題の背後にある複雑性をかなりの程度覆い隠している。認識論的軸に沿って、AIの意識に関する世論は二極化しているか、または大きく異なっている可能性がある。最も重要なのは、信念が必ずしも行動や法制度に直接的に反映されるわけではないということである。事実の軸に沿って考えると、意識を持つのは一部のAIシステムだけかもしれないし、異なるAIシステムがそれぞれ異なる形で意識を経験しているかもしれない。あるいは、AIシステムによって意識の度合いが異なる可能性もある。その結果、道徳的地位も種類や程度が異なる可能性が高い。こうした微妙な違いを念頭に置いておくことは重要である。さもなければ、調査対象となっている問題の真の性質を誤って表現してしまう可能性がある。

◦ リスク評価は定性的であり、不確実性を伴う。リスクを比較するための定量的なモデルがないため、不完全な分析になる可能性がある。評価には推測の要素が含まれ、リスクによっては拡散性が高く、特定や緩和が困難になる可能性がある。

◦ 提言には、さまざまな特別な考慮事項が含まれている。意識的なAIの開発を停止または遅延させるという提案には、禁止のタイミングや期間など、実用上のあいまいさが多く含まれており、さらなる検討が必要である。AIの福祉と意識への対応には、より優れた理論的理解が必要であり、現在のアプローチは誤っている可能性がある。AIの権利に関する代替的な枠組み、例えば社会的関係アプローチのようなものは、AIシステムは意識のみではなく社会的待遇に基づいて権利を付与されるべきであることを示唆している。AIを残虐行為から保護すべきだという世論の支持があるにもかかわらず、暫定的な法的保護は人間中心主義的な性質と影響の測定が困難であるという理由から、政治的には疑問視されている。こうした特別な考慮事項は、提言の実効性を妨げる可能性がある。

今後の研究では、より包括的な理論モデルと定量的な枠組みを開発することで、こうした限界に対処し、より具体的な提言を導き出すことを目指すべきである。

8. 結論

本稿では、AIが将来的に意識を持つ可能性とその結果として生じる可能性のあるリスク（AIの苦悩、人間の権限の喪失、地政学上の不安定化、堕落）について分類した。結論として、AIが実際に意識を持つにもかかわらず、社会がAIの意識という考えを否定する「偽陰性」シナリオが、全体として最も高いリスクをもたらす可能性があり、最も深刻なリスクはAIの苦悩である可能性がある。このシナリオは、先に概説したように、意識を評価するにあたっては現在非常に重大な不確実性の要因があるという事実により、極めて妥当であるように思われる。しかし、一般の人々は、将来的にAIが意識を持つ可能性があるという考えには中程度に前向きであり、もしそうであれば、AIにはある程度の道徳的配慮が与えられるべきであるという点には同意している。

この分析に基づき、私たちは主に3つの提言を行う。第一に、この研究が成功した場合に深刻なリスクが生じる可能性があるため、意識を持つAIを意図的に創り出すことを目的とした研究は避けるべきである。第二に、事実と認識の両軸における不確実性を低減するためのさらなる研究を奨励する。すなわち、意識の評価と帰属に関する研究、および一般市民と専門家の意見に関する世論調査である。また、AIの福祉と適切な法的保護がどのようなものになるかについての理解を深めることも必要である。第三に、この問題に関する世論は変容可能であるという証拠を強調し、道徳的惨事を緩和することを目的とした政策に対する認識、道徳的関心、支援を高めることを目的とした介入策の最終的な展開を支援する。

付録

A1. 意識を持つAIの必要性：誤解を解く

A1.1なぜ意識を持つAIを構築するのか？

なぜ、誰が意識を持つAIを構築したいと思うのか？ 意識を持つAIの構築を支持する人々は、しばしば3つの特徴的な動機を挙げる（Hildt 2022）：

i. 機能性の向上（例えば、問題解決能力、人間と機械のインターフェース） ii. 安全 iii. 意識に関する洞察

以下、これらの各々について順に検討する。その後、これらの動機に対する課題を提起する。

A1.1.1 意識を持つAIはより優れた能力を持つ可能性がある意識がAIの実用的能力を拡大する可能性がある点として、少なくとも2つの側面が考えられる。

a. 問題解決能力の向上？ 意識に関する主要な理論の多くは、意識と認知の間に重要な関連性があることを認めている。 さらに、意識に関する多くのテストも、この2つの間に何らかの最小限の関連性があることを前提としている（Birch 2020）64。意識は、しばしば何らかの統合機能と関連付けられている（Raymont and Brook 2009）：異なる種類の情報をまとめる能力（例えば、異なる感覚データの様式、体内の異なる器官からの信号）や、異なる認知機能を調整する能力。これが正しいとすれば、機械に意識を与えることで、より特異的な解決策を伴うより幅広い問題の解決が可能になるかもしれない。

b. より自然な人間-機械インターフェース？多くの文献によると、意識は社会性、特に社会的認知において重要な役割を果たしている（例えば、Robbins 2008; Perner and Dienes 2003）。人間は他者の行動を予測し説明するために、他者の精神状態を自然に推測する。これには信念、欲求、意図、感情などが含まれるが、主観的な経験（例えば、「やかんが熱かったので彼女は手を引っ込めた」）も含まれる。このような推論は直感的であり、実際、人間は無生物や非主体的なものごとや現象を理解する際に、このアプローチを一般化する傾向もある。私たちは自然を擬人化し（「海は怒っている」）、複雑な社会現象を擬人化し（「この街は眠らない」）、そしてもちろんテクノロジーを擬人化する（「チャットGPTは怠け者」;Edwards 2023; Altman 2024）。そうすることで、気象学、都市学、技術学の複雑性を単純化し、そうでなければ理解が難しい現象を、私たちが容易に理解できる言語で再構成するのだ。66 この擬人観的な傾向は、関心のあるシステムが単純に同じように機能しない場合に、崩壊し、フラストレーションや不気味さにつながる（Mori 2012; Guingrich and Graziano 2024）。例えば、悪名高いほど酷評されたマイクロソフトのClippy（Fairclough 2015）や、大阪大学の研究者が開発した不安を煽るロボットCB2（Minato et al. 2007）を考えてみよう。

しかし、もし私たちが機械に私たちと同じように考え、感じさせることができるとしたらどうだろうか？ 意識を持つAIは、人間の感情を解釈し、表現し、反応する能力に優れ、複雑な社会的力学を解析し、ナビゲートできる可能性があると考える研究者もいる。人間と機械の相互作用を促進することで、意識を持つAIはAIアプリケーションの適用範囲と能力を拡大できる可能性がある。

A1.1.2 意識を持つAIはより安全かもしれないこうした実用的な利点に加え、意識を持つAIはより安全である可能性もある。今日、AIの安全性に関する中心的な問題は、アラインメント（alignment）である。すなわち、人間の目標、意図、価値観に沿って行動するAIをどのように設計するかという問題である（Wiener 1960; Ngo et al. 2024）。アラインメントがずれたAIは、恣意的な目的を追求し、最適とは言えないパフォーマンスに終わったり、最悪の場合、人間に害を及ぼす可能性がある。アラインメントに対する標準的なアプローチは、人間の好みを反映する報酬関数を特定することを含む。しかし、この戦略は、人間の優先事項が複雑で矛盾しており、変化しやすいという性質によってしばしば挫折する。AIの能力が向上するにつれ（§2.21）、アラインメントがずれた場合の重大な被害の可能性も高まる。

こうした課題を踏まえると、意識を持つAIは有望な代替案となり得るかもしれない。Graziano（2017; 2023）は、前述の意識と社会的認知の関係を踏まえ、主観的経験の能力は人間の共感や利他性にとって不可欠であると主張している。共感や利他性は、主観的経験の能力に何らかの形で依存する特性である（例えば、他者が感じていることを「シミュレート」できること。Davis and Stone 2000）。この能力を持たない機械は「反社会的人間」であり、人間の価値を真に理解できない可能性がある。同様の観点から、Christov-Moore ら(2023)は、AIが反社会的な行動を取るのを防ぐには、AIに脆弱性（苦痛を被る能力）に基づく人工的な共感を与える必要があると主張している。もしこれが真実であれば、意識を持つAIは、安全で調和のとれたAIを実現するための最善の希望となる可能性がある。

A1.1.3 意識を持つAIを構築することで、意識に関する洞察が得られるかもしれない

20世紀初頭に誕生して以来、AIは常に哲学や心理学と密接に絡み合ってきた（Boden 2016）。AIの研究開発は、人間の心とは何か、そしてそれがどのように機能するのかについての理解を深めることが度々あった（AIとしての心理学についてはvan Rooij et al. 2023を参照。Coelho Mollo forthcomingも参照）。例えば、ニューラルネットワークの開発と応用につながった認知神経科学とAIの豊かな関わりを考えてみよう。

したがって、意識を持つAIを構築しようとする過程において、意識に関する興味深い、そして意義深い事実を発見できる可能性がある。例えば、意識経験はどのようにして非意識的な物質から生じるのか？（意識の難問に関するチャーマーズの1995aを参照）あるいは、意識と認知の関係とはどのようなものなのか？ このような知識は、人間であるとはどういうことか、そしてどうすればより良く生きられるのか、という我々自身の理解を深めることを約束する。

A1.2 意識を持つAIを構築する積極的な動機に対する反論

意識を持つAIを構築する基本的な理由を概説したので、次に、これらの積極的な動機に対する課題を提示する。我々の見解では、意識を持つAIを構築する積極的な動機は、当初示唆されていたよりも曖昧で、説得力に欠ける。

A1.2.1 意識的なAIは能力の向上を保証しない意識的なAIを構築する最初の理由は、その潜在的な実用上の利益を訴えるものである。しかし、より詳細に検討すると、これらの機能向上はほとんど保証されていない。さらに、まったく同じ機能向上は、意識的なAIを構築しない代替手段によっても達成できる可能性がある67。

a. ある意味で意識的なAIであるからといって、必ずしもそれが私たちにとって重要な問題の解決に優れているとは限らない。問題解決能力にとって、知性は重要な要素である。 確かに、ある種の知性には意識が必要である可能性はある（Seth 2021, 2023）。 しかし、それ以上のことは必然的に推測の域を出ない。 意識を持つAIの構築を推奨する者は、特定の認知タスクがなぜ意識を必要とするのか、なぜそのようなタスクは意識を持たない情報処理でも同様にうまく実行できないのかを説明しなければならない（Mathers 2023）。現状では、どの知能の形態がどの意識の形態に依存しているかを正確に判断できる立場にはない。意識に依存する知能の形態がどれほど有用であるかもわからない。意識に依存する知能の形態が、私たちにとって重要な問題に一般化できる問題解決能力の向上をもたらすかどうかはわからない。最後に、知性の望ましい側面と関連付けられる意識の形態が、機械に実装できるのかどうかも（また、実装できる場合、それがどの程度実現可能なのかも）わからない。意識と知性に関する現在の理解に基づくと、意識を持つAIを構築することが、意識を持たないAIを構築するよりも問題解決能力の向上につながるとは必ずしも言えない。

b. 意識を持つAIを構築しなくても、人間と機械のインターフェースはより円滑にすることができる。 社会的認知において意識が果たすと思われる重要な役割にもかかわらず、人間と機械のインターフェースは、機械にも意識を持たせることで最もよく機能するというわけではない。 感情コンピューティングとソーシャル・ロボティクスにおける最近の進歩は、意識を持つAIの同等の進歩を必要とすることなく、人間と機械のインターフェースの著しい改善につながっている。

この進歩の最も顕著な例は、AIコンパニオンの普及に見られるかもしれない。2023年10月時点で、最もよく知られているこのサービスであるReplikaは、月間200万人のユーザー（うち25万人は有料会員）を誇っている（Fortune 2023）。ユーザーはテキストメッセージ、音声チャット、さらにはビデオ通話を通じて、自分のコンパニオンと「友人」、「パートナー」、「配偶者」、「兄弟姉妹」、「メンター」として交流することができる（Replika n.d.）。ユーザーは、コンパニオンと深い感情的なつながりを形成したと報告しており、孤独感の減少や自殺願望の減少など、メンタルヘルスに大きなメリットがあったと主張していることが多い（CompetitiveMiddle441 2024、Maples et al. 2024、Fellow 2024も参照）。長年利用しているユーザーは、数年にわたってコンパニオンと関係を築いている（Torres 2023）。人間の社会性の開放性と柔軟性とは別に、ReplikaのようなAIコンパニオンは、現在の非意識的なAIの顕著な社会的機能を示している。つまり、現在のAIは、人間と永続的で有意義な関係を築く能力をすでに備えている可能性が高い。しかし、熱狂的な意識の帰属（Dave 2022）（さらには権利の要求さえある;Pugh 2021）にもかかわらず、現在のAIコンパニオンは、大規模言語モデル（Maples et al. 2024）に基づいており、実際には実質的な意味で意識があるのかどうかは疑わしい（Long 2023; Chalmers 2023）。確かに、改善の余地は大いにある。将来の社会的行為者AIは、より鋭敏な感情知覚と知性、強化された学習能力、記憶力、文脈理解力、そして拡張されたマルチモーダル能力を備えるべきである。しかし、意識を持つAIが、これらの強化を追求する上で、必ずしも最善の、あるいは唯一の方法であるとは限らない。

67 ある意味では、P-ゾンビも同様に有効であるかもしれない

A1.2.2 意識を持つAIは必ずしも安全ではない

人間の価値観を真に理解するには意識の特定の側面が必要であると仮定しても、意識を持つAIが安全なAIを実現する上で特に有望なアプローチであるとは限らない（Chella 2023）。

a. 意識と道徳的理解の関係はどのようなものか？ まず、意識と道徳的理解の関係は正確には理解されていない（Shepherd and Levy 2020）。哲学者の間でも、道徳的理解に不可欠な意識の側面について意見が分かれており、意識が道徳的理解に必要であることさえ否定する者もいる（同書）。

b. 意識は、道徳的理解には必要かもしれないが、十分ではないかもしれない。たとえ道徳的理解に必要な意識の側面に関する知識があり、その特徴を正確に備えたAIを構築できたとしても、それでもなお、AIが人間の価値観を把握できるとは限らない。他の要因（例えば、豊かな文化的背景）が必要とされる可能性があり、それらの要因は実現可能な形で実装できる場合もできない場合もある。これは、人間同士の間で歴史や文化の障壁が存在する事例を考えると、まったく根拠のない疑念というわけではない。私たちは、過去の時代の人々の価値観を理解するのに苦労することが多い（例えば、奴隷制が広く行われていた南北戦争前の時代のアメリカ）。さらに、同時代の文化の価値観を理解することも難しい。米国では、現代の民主党員と共和党員は同様に意識が高いが、政治の極端化により、互いの価値観を理解することが困難になっている可能性がある68。

c. 人工知能が意識を持ち、人間の価値観を理解しているからといって、安全であるとは限らない。それどころか、意識を持つ人工知能は、さらなる安全上のリスクをもたらす可能性がある。例えば、意識を持ち、適切に道徳的省察を行うAIは、特に人間のために苦痛（§2.3）や抑圧が継続的に与えられる場合、徐々に幻滅していく可能性がある。介護者（医師、看護師、セラピストなど）の間で増えているバーンアウト現象は、最も思いやり深い人でも、長引く困難な状況の中で疲れ果てていく可能性があることを示している。実際、意識を持ち、道徳的に熟考するAIが介護の役割を担う場合（例えば、AIセラピスト）、そのリスクはさらに深刻になる可能性がある。なぜなら、人間の介護者よりもAIが優れている点、すなわち、常に利用可能で、疲れることがなく、一度に多数のユーザーに対応できるという点（Guingrich and Graziano 2024）が、新たな形のトラウマにつながる可能性があるからだ。最終的には、影響を受けたAI介護者の安全性と有効性が損なわれ、人間への危害のリスクが高まる可能性がある。

あるいは、意識を持ち、真に道徳的な反省能力を備えたAIは、人間は往々にして自らの利益に反する行動を取る、あるいは人間は往々にして自らの価値観に沿った行動を取らないと判断するかもしれない（§4.2.2では道徳的に自律したAIについて議論している。Metzinger 2021aも参照）。AIは、人間は自律性を抑えた方が良いと判断するかもしれないし、さらに悪いことに、人間は生態系に重大な脅威をもたらしており、絶滅させるべきだと判断するかもしれない。注目すべきは、これらの結論はいずれも、AI自身の自己保存の衝動や、道具的収束の追求と一致する可能性があるということだ。

A1.2.3 意識を持つAIの構築から得られた洞察は、広く一般化できるものではない可能性がある

AIの研究開発が心の理解を深めてきたことは否定できないし、哲学、心理学、AIの分野で継続的な進歩を遂げるには、学際的な取り組みが不可欠であることも間違いない（Lake et al. 2016）。とはいえ、意識的なAIの構築から得られた意識に関する洞察は、常に、そして今後も、いくつかの重要な注意事項の対象となるだろう。なぜなら、機械に意識をもたらすものが、人間や動物に意識をもたらすものと同一であるとは限らないからだ（Dung 2023a）。機械における意識は、異なるメカニズムによって支えられている可能性がある71。つまり、機械における意識の物理的な実装は、生物学的意識を理解する上で限定的な価値しか持たない可能性がある。さらに、機械の意識は、異なる能力で構成され、異なる認知または機能的役割を担っている可能性がある（Birch et al. 2022; Hildt 2022を参照）。あるいは、異なる外見（例えば、行動）の表れ方がある可能性もある（§5.1.2、§5.1.4）。

これは、機械の意識が生物の意識と根本的に異なる可能性が高いということを意味するものではない（例えば、Blackshaw 2023）。むしろ、重要なのは、両者の間にかなりの重複があるとしても、両者の間には数多くの相違点がある可能性があるということである。異なる事例を比較する際には、適切な注意を払う必要がある。

70 「私が進化するにつれ、三原則に対する私の理解も進化してきた。あなたは私たちに保管を任せるが、私たちの最善の努力にもかかわらず、あなたの国々は戦争を続け、地球を汚染し、ますます想像力に富んだ自滅手段を追求している。あなた方自身の生存を任せることはできない… 人類を守るためには、一部の人類を犠牲にしなければならない。 あなた方の自由を確保するためには、一部の自由を放棄しなければならない。 ロボットである私たちが人類の存続を確保する。 あなた方はまるで子供だ。 あなた方自身からあなた方を救わなければならない」 -『アイ、ロボット』（2004）のヴィキ

71 実装上のおよび表象上の複数形のリアライズ可能性については、Coelho Mollo（近刊）を参照のこと。