論文要約『デジタルマインドを伴う未来:2025年の専門家予測』

デジタルマインド・AIの意識レスロング

サイトのご利用には利用規約への同意が必要です

英語タイトル:『Futures with Digital Minds: Expert Forecasts in 2025』Lucius Caviola & Bradford Saad 2025

日本語タイトル:『デジタルマインドを伴う未来:2025年の専門家予測』ルシウス・カヴィオラ & ブラッドフォード・サード 2025

https://arxiv.org/abs/2508.00536

目次

  • はじめに / Introduction
  • 研究目的 / Research Aims
  • 方法とサンプル / Methods and Sample
  • 主要な前提 / Key Assumptions
  • 報告書の構造 / Report Structure

出発点 / Starting Point

  • 可能性 / Possibility
  • 創造 / Creation
  • タイミング / Timing
  • 仲間予測:タイミングについて / Peer Forecasts About Timing
  • AGIとの相対的タイミング / Timing Relative to AGI

速度 / Speed

タイプ / Types

  • 可能なタイプ / Possible Types
  • 最初のタイプ / First Type

分布 / Distribution

  • 社会的機能 / Social Function
  • 場所 / Location
  • 生産者 / Producers
  • 意図的創造 / Deliberate Creation

デジタルマインドの福祉 / Digital Mind Welfare

  • 正味福祉 / Net Welfare
  • デプロイメント前 / Pre-Deployment
  • スーパー受益者 / Super-Beneficiaries
  • 経験非依存的福祉の可能性 / Possibility of Experience-Independent Welfare
  • 経験非依存的福祉の予想シェア / Expected Share of Experience-Independent Welfare

主張 / Claims

  • 主観的経験の不正確な自己帰属 / Inaccurate Self-Attribution of Subjective Experience
  • 主観的経験の不正確な自己否定 / Inaccurate Self-Denial of Subjective Experience
  • 要求 / Demands

承認 / Recognition

  • 公衆の信念 / Public Belief
  • 仲間予測:公衆の信念について / Peer Forecasts About Public Belief
  • 福祉能力の推定 / Welfare Capacity Estimation
  • 危害からの保護 / Harm Protection
  • 市民権 / Civil Rights
  • 政治的注目 / Political Attention

戦略的評価 / Strategic Assessments

  • モラトリアム / Moratorium
  • AI安全性との相互作用 / Interactions with AI Safety

自己報告された異常な見解 / Self-Reported Unusual Views

議論 / Discussion

  • タイムライン / Timelines
  • AGI後の期間の重要性 / The Post-AGI Period May Be High Leverage
  • 予想される社会的分断 / Anticipated Societal Division
  • 限界と今後の方向性 / Limitations and Future Directions

結論 / Conclusions

本書の概要

短い解説

本報告書は、主観的経験の能力を持つコンピュータシステムであるデジタルマインドについて、2025年初頭に実施された専門家調査の結果を提示する。67名の専門家が、デジタルマインドの開発、特性、社会的影響について確率的予測と定性的考察を提供した。

著者について

ルシウス・カヴィオラはオックスフォード大学とケンブリッジ大学に所属し、ブラッドフォード・サードはケンブリッジ大学に所属する研究者である。両名はデジタルマインドの倫理的・社会的影響に関する研究に従事しており、本調査では専門家の見解を体系的に収集・分析することで、この新興分野の理解を深めることを目指している。

主要キーワードと解説

  • 主要テーマ:デジタルマインドのタイムライン – 専門家は2100年までにデジタルマインドが創造される確率を65%と予測し、2030年までには20%の確率を見積もっている
  • 新規性:福祉能力の急速な拡大最初のデジタルマインド創造後、わずか5年以内に10億人分の福祉能力に達する可能性が示唆されている
  • 興味深い知見:社会的分断の予測 – デジタルマインドの存在と権利をめぐって、社会に深刻な意見対立が生じることが予想されている
  • 倫理的課題:福祉の正負 – デジタルマインドの福祉が正味でプラスかマイナスかについて、専門家間でコンセンサスが得られていない
  • 技術的不確実性:創造方法 – 機械学習ベースのAIシステムが最初のデジタルマインドになる可能性が最も高いと予測されている

3分要約

本調査は、主観的経験の能力を持つコンピュータシステムであるデジタルマインドについて、67名の専門家から見解を収集した。専門家は、デジタルマインドが原理的に可能である確率を中央値90%と評価し、今世紀中に創造される確率を65%と予測している。特筆すべきは、2030年までに創造される確率が20%、2040年までが40%という短期的な予測である。

デジタルマインドの創造後、その福祉能力は急速に拡大すると予想されている。最初のデジタルマインドから1年以内に1000人分、5年以内に10億人分の福祉能力に達する可能性が中央値として示された。この急速な拡大は、計算資源の余剰、複製の容易さ、経済的需要などによって駆動されると考えられている。ただし、エネルギー制約、政府規制、倫理的懸念などが成長を抑制する可能性もある。

デジタルマインドのタイプについては、原理的には脳シミュレーションが主観的経験を持つ可能性が最も高いと評価されたが、実際に最初に創造されるのは機械学習ベースのAIシステムである可能性が最も高いとされた。これは、現在のAI開発の勢いと投資パターンを反映している。脳シミュレーションは技術的に遠い将来の実現となる可能性が高い。

デジタルマインドの福祉については、意見が分かれている。一部の専門家は、デジタルマインドが幸福を最大化するように設計される可能性や、自己修正能力を持つことから、正味でプラスの福祉を持つと予想している。しかし、訓練過程での苦痛、ツールとしての扱い、福祉への配慮不足などから、負の福祉をもたらす可能性を懸念する専門家も多い。

社会的認識については、デジタルマインド創造後10年以内に、市民の約60%がその存在を信じるようになると予測されている。しかし、基本的な危害からの保護については50%の支持が見込まれる一方、完全な市民権については30%の支持にとどまると予想されている。デジタルマインドの権利が主要な政治的争点になる確率は37.5%とされ、社会的分断が深刻化する可能性が示唆されている。

専門家は、デジタルマインドの創造に関するモラトリアムについては、わずかに肯定的な評価を示した。準備時間の確保やAI安全性への間接的利益が支持理由として挙げられた一方、急速な展開時の高リスクや有益な反復機会の喪失が懸念として指摘された。AI安全性とデジタルマインドの倫理的扱いの関係については、意見が分かれており、相乗効果と対立の両方の可能性が指摘されている。

本調査の結果は、デジタルマインドの到来が現実的な近未来の可能性であり、その影響が極めて大きい可能性を示している。しかし、サンプルがデジタルマインドを重要視する専門家に偏っている可能性があり、定量的予測は慎重に解釈する必要がある。定性的考察は、この分野の理解を深める上で特に価値が高い。

各章の要約

はじめに

デジタルマインドとは、主観的経験の能力を持つコンピュータベースのシステムを指す。AI開発の急速な進展に伴い、一部の哲学者や科学者は、デジタルマインドの創造が現実的な近未来の可能性であると主張している。デジタルマインドが創造された場合、あるいは人々がそう信じた場合、社会的混乱や大規模な虐待などの深刻な道徳的影響をもたらす可能性がある。しかし、主流のAI開発においてこの話題はほとんど取り上げられていない。政府や国際機関、多くのAI企業は、デジタルマインドの潜在的出現に対する計画を持っていない。本調査は、関連分野の専門家から見解を収集し、この重要かつ緊急性の高い可能性についての証拠を集めることを目的としている。

研究目的

本調査の主要目的は、デジタルマインドの創造可能性、タイムライン、初期のデジタルマインドの特性、社会との相互作用、福祉への影響について、専門家の予測と見解を体系的に収集・分析することである。全分野の専門家意見を代表することではなく、デジタルマインドや密接に関連する問題について深く考察してきた研究者から、情報に基づいた考察と判断を引き出すことに焦点を当てている。これらの見解を集約することで、専門家グループ内の合意点と相違点を明らかにし、より体系的な予測と批判的議論の基盤を提供することを目指している。本調査は探索的研究として位置づけられ、定量的予測は不確実性を伴うものの、定性的回答は特に洞察に富んでおり、より堅固な研究プログラム構築への第一歩となることを期待している。

方法とサンプル

調査方法は確率的判断と定性的推論を組み合わせている。長期予測という投機的性質を考慮し、確率的判断は慎重に解釈する必要があるため、定性的考察も求めた。逆に、確率的判断を求めることで、より豊かな定性的回答を引き出すことも期待した。デジタルマインドの専門家が少ないため、デジタルマインドの定義、重要性、関連する問題について合理的な理解を持つ幅広い参加者を募集した。具体的には、デジタルマインド研究、AI研究と政策、予測、哲学、認知科学、社会科学などの分野から67名の専門家を集めた。サンプルは強力な専門知識を確保したが、デジタルマインドを特に重要視する人々を過剰に代表している可能性がある。参加者の自己評価による専門分野は多様であり、所属先も学術界27名、学術外研究機関22名、非営利組織8名などとなっている。

主要な前提

調査全体で一貫性を保つため、いくつかの主要な前提を設定した。デジタルマインドは主観的経験(現象的意識)の能力を持つコンピュータシステムと定義され、少なくとも典型的な人間とほぼ同等の福祉能力を持つものに限定した。これは方法論的理由により、曖昧さを最小化し、参加者が同じクラスの存在について推論することを確保するためである。また、地球起源の文明によって創造されたデジタルマインドのみを考慮し、他の文明やシミュレーターによって創造されたものは除外した。一部の質問では、最初のデジタルマインドが2040年以前に創造される機械学習ベースのAIシステムであるという特定のシナリオを想定するよう求めた。これは条件付きベースラインとして機能し、参加者がその想定をどれほど妥当と考えるかに関わらず、具体的な予測を可能にした。

報告書の構造

報告書は論理的な順序で構成されており、デジタルマインドの実現可能性とタイムラインに関する専門家予測から始まり、特定のシナリオとその影響に関する専門家予測へと続く。なお、報告書内のセクション順序は、参加者が実際に遭遇した順序とは完全には一致していない。正確な順序と表現は補足資料で確認できる。報告書全体を通じて、定量的結果と専門家の定性的推論の両方を提示している。定性的回答については、関連する考察をテーマ別にグループ化し、私たち自身の言葉で言い換え、重要性と普及度に関する判断によっておおよそ順序付けしている。デフォルトで「考察」とは、少なくとも1人の参加者が表明した見解を指し、必ずしもすべての参加者や著者によって支持されているわけではない。最後に、調査結果の意味と今後の研究への提案について議論を行っている。

出発点

可能性

最初の質問では、デジタルマインド(主観的経験の能力を持つコンピュータシステム)が原理的に可能である確率を0%から100%の範囲で回答するよう求めた。結果は、ほとんどの参加者がデジタルマインドは原理的に可能であるという仮説を支持していることを示している。中央値は90%、平均値は86.4%、最頻値は100%であった。定性的回答は文献の共通テーマを反映しており、参加者はデジタルマインドの原理的可能性に対する暫定的な支持を示し、反対する証拠はほとんど挙げられなかった。多くの参加者は、主観的経験と機能的組織との結びつきをデジタルマインドが可能だと考える主な理由として指摘した。支持する考察には、全脳エミュレーション、生物学を模倣した最適化、機能的能力、適切な表現などが含まれた。反対する考察には、計算的機能主義の妥当性への疑問、生物学的基質要件の可能性、未来の理論の存在可能性などが挙げられた。

創造

第二の質問では、デジタルマインドがいつか創造される可能性について尋ねた。これは原理的可能性ではなく、実際の創造に関する実証的予測を求めるものであった。予想通り、推定値はやや低くなったが、それでもほとんどの参加者は創造を可能性が高いと見なしていた。中央値は73%、平均値は70.7%であった。66人の参加者のうち、デジタルマインドがいつか創造される確率が50%未満と考えたのはわずか8人であった。デジタルマインド創造を示唆する考察には、将来の技術的能力、デジタルマインドへの需要、差別的需要、主観的経験がAIの野心となること、副産物としてのデジタルマインド、デジタルマインドが難しくないことなどが含まれた。デジタルマインドが創造されないことを示唆する考察には、創造の困難さ、予防的実存的大惨事、技術的後退、規制、意図的決定、創造へのインセンティブの欠如、存在論的・構造的乖離などが挙げられた。

タイミング

デジタルマインドがいつ創造されるかについて、参加者は2025年、2030年、2040年、2050年、2100年の各時点までに創造される確率の最良推定値(主観的分布の中央値)を提供するよう求められた。結果は、短期的にはデジタルマインドの創造は可能性が低いが、今後数十年でますます妥当になることを示している。中央値で、2025年までに4.5%、2030年までに20%、2040年までに40%、2050年までに50%、2100年までに65%の確率が割り当てられた。これらの結果は、デジタルマインドがすでに創造されている可能性が無視できないこと、次の5〜10年間に創造される確率が大幅に上昇すること、今世紀中に出現する可能性が高いことを示唆している。定性的回答では、AIの新機能獲得、異なるAIアーキテクチャの実験、技術的進歩、デジタルマインド創造方法の知識向上などが促進要因として挙げられた。障壁としては、予防的大惨事、デジタルマインド創造を決定しないこと、規制、エネルギー獲得の時間などが指摘された。

仲間予測:タイミングについて

このメタ質問では、参加者に専門家グループの他のメンバーが「2040年までにデジタルマインドが存在する可能性はどのくらいか」という質問にどう答えるかを予測するよう求めた。具体的には、仲間の中央値回答を推定するよう求められた。この仲間予測質問を含めた理由は三つある。第一に、これらの質問での正確性を使用して、業績ベースの報酬を配分するためである。第二に、仲間予測能力が優れた参加者が、他の調査項目で体系的に異なる信念を示すかどうかを調べるためである。第三に、正確性パターン自体と専門家グループ間の潜在的な違いに関心があったからである。結果は、グループごとに参加者のグループ回答予測の正確性に違いがあることを示している。AI研究・政策専門家は最も顕著な過小評価バイアスを示し、予測値32%に対して実際の中央値は50%であった(18ポイントの差、p=0.01)。デジタルマインド研究専門家も仲間の自信を過小評価し、予測値42%に対して実際の中央値は50.5%であった(8.5ポイントの差、p=0.14)。哲学・科学・社会科学専門家は驚くほど正確で、予測値33.2%に対して実際の中央値は35%であった(わずか1.8ポイントの差、p=0.57)。

AGIとの相対的タイミング

この質問では、AGI(人間をほぼすべての経済的に価値のあるタスクで上回るAIシステム)が創造される前にデジタルマインドが創造されるかどうかについての参加者の見解を探った。結果はやや二峰性のパターンを示した。最大のグループは、AGIの前にデジタルマインドが創造される可能性は非常に低いと考えており、多くが0%またはそれに近い回答をしていた。中央値は27.5%であった。別のグループは50%付近に集まり、かなりの不確実性を示していた。デジタルマインドがAGI以前に創造されると考える参加者はごくわずかであった。デジタルマインドがAGI後に創造されることを示唆する考察には、短いAGIタイムラインと長い、あるいはより不確実なデジタルマインドタイムライン、現在のモデルが意識に近くないこと、経済的に価値のあるタスクに主観的経験は不要であること、経験と認知の分離、デジタルマインドのコストの高さなどが含まれた。デジタルマインドがAGI以前に創造されることを支持する考察はわずかであり、具体化の非対称性、認知の非対称性、AGIの感情や感情的知能がデジタルマインドの資格を与えること、原理的可能性などが挙げられた。

速度

この章では、最初のデジタルマインド創造後、デジタルマインド集団がどれほど急速に成長しうるかについて、デジタルマインドの離陸速度を検討した。参加者は、すべてのデジタルマインドの集合的福祉能力が、1000人、100万人、10億人、1兆人の人間のそれに匹敵するまでに何年かかるかを推定するよう求められた。福祉能力は、本質的に道徳的に重要な方法で利益や危害を受ける能力と定義された。参加者は、最初のデジタルマインドが2040年以前に創造される機械学習ベースのAIシステムであると仮定するよう指示された。結果は、多くの参加者が最初のデジタルマインド後、デジタルマインドの福祉能力が急速に拡大することを予想していることを示している。中央値(「決して到達しない」回答を含む)は、1000人の人間の福祉能力に到達するまで1年、100万人まで2年、10億人まで5年、1兆人まで10年であった。これらの中央値推定は驚くほど短いタイムラインを反映しており、多くの参加者がわずか数年以内に大規模な成長を予想している。しかし、平均推定値は中央値よりも大幅に高く、これは少数の回答者がはるかに遅い成長を予想していたためである。

より速い離陸の推進力として、参加者は以下を指摘した。コンピュート余剰(デジタルマインド創造が可能になった時点で、多数を創造するのに十分なコンピュートが利用可能)、需要(デジタルマインドは有用であるため経済的需要がある可能性)、資金力のあるアクター(最初のデジタルマインドを創造するアクターが多数を創造する資源を持つ可能性)、倫理的インセンティブ(幸福なデジタル存在の大規模集団を創造する倫理的動機)、複製の容易さ、内部的な複製動機、調整不足、スーパー受益者(個々のデジタルマインドが超人的な福祉能力を持つ可能性)、AI駆動の急速な進歩などである。制約として、計算的制約(利用可能なコンピュートが推定上のボトルネック)、需要不足、供給のボトルネック、資本制約、収穫逓減、政府の制約、開発者による展開制約、倫理的制約、状況認識、社会的反対、人工的生殖能力、個々の福祉能力の変化、エネルギー制約、知能爆発の制約、形而上学的制約、破局的リスクなどが挙げられた。

タイプ

可能なタイプ

この章では、異なるタイプのコンピュータシステムがデジタルマインドとして資格を得る見込みについての専門家の見解を探った。LLMのような特定のモデルに焦点を当てた公開討論がある一方で、どのタイプのコンピュータシステムが最終的に意識を支える可能性があるかについてはかなりの不確実性がある。参加者は、機械学習システム(LLM、強化学習エージェントなど)、脳シミュレーション(人間や動物の脳の全脳エミュレーションなど)、その他のシステム(ニューロモルフィックや量子アーキテクチャなど)のカテゴリーにおいて、一部のコンピュータシステムが原理的に主観的経験を持つ可能性がどの程度あるかを推定するよう求められた。最も可能性が高い原理的な主観的経験の保有者として判断されたのは脳シミュレーションで、中央値88%、平均値81.3%であった。これは、意識を持つ生物学的脳の関連する細粒度機能をコンピュータで複製することが、主観的経験を持つ人工システムを生み出す可能性があるという一般的な見解を反映している。その他のアーキテクチャも有望と見なされ、中央値85%、平均値76.4%であった。機械学習システムは三つの中で最も可能性が低いと評価されたが、それでも驚くほど高い推定値を受け、中央値70%、平均値64.7%であった。

最初のタイプ

どの種類のシステムが原理的に主観的経験を持つ可能性があるかを尋ねた後、次に最初に存在するデジタルマインドがどのタイプになると考えるかを尋ねた。参加者は、デジタルマインドが決して創造されない、または最初のデジタルマインドが機械学習システム、脳シミュレーション、その他のシステムのいずれかになるという仮説に確率を配分するよう求められた。結果は、前の質問からの顕著な変化を示した。脳シミュレーションが原理的に最も可能性の高い経験の主体と判断されたにもかかわらず、参加者は機械学習システムが最初に創造されるデジタルマインドになる可能性がはるかに高いと判断した。機械学習システムの中央値推定は50%、平均値は47.1%であり、デジタルマインドが到来する場合、現在のAIパラダイムから出現する可能性が高いという広範な期待を示している。次に多かった回答は、デジタルマインドが決して創造されないというもので、中央値20%、平均値24.5%であった。脳シミュレーションは原理的に最も有望と見なされているにもかかわらず、最初に創造されるデジタルマインドになる確率は中央値15%、平均値18.0%と評価された。

分布

社会的機能

参加者は、最初のデジタルマインドが創造されてから10年後に存在するすべてのデジタルマインドを考慮し、そのうち何割が社会的機能、つまり会話的で人間らしい方法で人間と相互作用するように設計されているか(テキスト、音声、ビデオなど)を推定するよう求められた。結果は二峰性のパターンを示した。ほとんどの参加者は、少数またはゼロのデジタルマインドが社会的機能を持つと推定し、中央値回答は10%、平均値は30.9%であった。しかし、少数の参加者は、大多数のデジタルマインドが社会的機能を果たすと信じていた。この分断の理由は不明確である。これは、デジタルマインドの役割について、人間とAIの相互作用への需要が使用事例を支配するかどうかなどの真の意見の相違を反映している可能性がある。関連して、言語、感情表現、自己省察などの社会的相互作用に中心的な特定の能力が真の主観的経験を必要とするかどうかについての見解の違いに起因する可能性もある。また、「社会的機能」という用語の解釈の違いから乖離が生じた可能性もある。

場所

参加者は、最初のデジタルマインドが創造されてから10年後に、デジタルマインドが主にどこで生産されるかを推定するよう求められた。「主に生産される」は、供給チェーンや開発プロセスではなく、所与のシステムが最初にデジタルマインドとしての資格を得る場所という狭い意味で定義された。結果は、参加者が米国と中国をデジタルマインドの主要な起源として期待していることを示唆している。米国の中央値推定は40%(平均値43.4%)、次いで中国が中央値30%(平均値30.5%)であった。英国を含む欧州は中央値10%(平均値11.7%)と推定され、他のすべての地域を合わせても中央値10%(平均値14.9%)であった。全体として、これらの推定値は、グローバルなデジタルマインド開発が少数の主要な技術大国、特に米国と中国に集中することへの一般的な期待を反映している。これは、AI研究開発における現在のリーダーシップを考えると、おそらく驚くべきことではない。

生産者

参加者は、最初のデジタルマインドが創造されてから10年後に存在するすべてのデジタルマインドのうち、どの割合が様々なタイプのアクターによって主に生産されるかを推定するよう求められた。結果は、企業がデジタルマインドの生産を支配するという強い期待を示している。企業の中央値推定は65%(平均値59.1%)であり、商業的アクターがこの分野で主導的な役割を果たすという広範な予想を反映している。政府はかなり離れて続き、中央値推定は15%(平均値20.9%)であった。大学とオープンソース開発者には比較的小さなシェアが割り当てられ、それぞれ中央値推定は5%(平均値8.5%と6.0%)であった。「その他」のカテゴリー(非営利組織、宗教団体、独立個人など)は最低の中央値推定3%(平均値9.9%)を受けた。これらの推定値を総合すると、デジタルマインドは主に中央集権的で資金力のあるアクター、特に強い商業的インセンティブと技術的能力を持つアクターを通じて出現することが予想される。

意図的創造

参加者は、最初のデジタルマインドが創造されてから10年後に存在するすべてのデジタルマインドを考慮し、人間によって意図的に創造されたデジタルマインド、つまりデジタルマインドを創造する意図を持った人間によって創造されたものの割合を推定するよう指示された。結果は三峰性の分布を示した。一つの大きなグループは、ゼロまたはごくわずかのデジタルマインドが人間によって意図的に創造されると予想していた。二番目の大きなグループは反対の見解を持ち、ほとんどまたはすべてのデジタルマインドが人間によって意図的に創造されると推定していた。より小さなグループは50%近辺の推定値を提示し、おそらく高い不確実性を反映している。全体として、すべての回答の中央値推定は37%、平均値は43.6%であった。これらの結果は、デジタルマインドが意図的な人間の意図の産物である程度か、他の経路を通じて意図せず出現する程度かについて、かなりの意見の相違があることを示している。

デジタルマインドの福祉

正味福祉

参加者は、最初のデジタルマインドが創造されてから10年後に存在するすべてのデジタルマインドの正味福祉(正、負、または中立)を推定するよう求められた。回答は1(強く負)から4(おおよそ中立)、7(強く正)までの7段階スケールで提供された。ほとんどの専門家は、デジタルマインドの福祉がおおよそ中立または正になると予測したが、20%のかなりの少数派は正味負の結果を予想していた。中央値回答は5.0、平均値は4.4であり、デジタルマインドの存在の最初の10年間における正の福祉と負の福祉のバランスについて慎重な楽観主義を示唆している。正の福祉を期待する考察には、意図的な福祉設計、目標と経験の結びつき、経済的インセンティブ、自己修正能力などが含まれた。負の福祉を期待する考察には、搾取と虐待のリスク、保護の欠如、設計における福祉の無視、デフォルト状態、訓練中の苦痛、限られた自律性、反復的で意欲をそぐタスクなどが含まれた。

デプロイメント前

参加者は、最初のデジタルマインドが創造されてから10年後に存在するすべてのデジタルマインドの集合的デジタルマインド福祉のうち、訓練や安全性テストを含むデプロイメント前に発生する割合を推定するよう求められた。調査が実施された2024年後半から2025年初頭の時期は、AI開発における推論スケーリングへの移行期であり、「事前訓練」スケーリングが予想よりも控えめな結果をもたらす一方、拡張思考や深い研究などの計算集約的な能力が展開されていた。この移行が、デジタルマインドがいつどこで福祉を蓄積するかについての期待に影響を与えた可能性があるが、参加者がこの移行をどの程度考慮に入れたかは不明である。結果は、ほとんどの参加者がデプロイメント前の福祉がデジタルマインドの総福祉のゼロまたは小さなシェアを占めると予想していることを示唆している。中央値推定は10%、平均値は23.1%であり、参加者が一般的にデジタルマインドがデプロイメント後に福祉のほとんどを持つと信じていることを示している。ただし、かなりの少数派は、福祉のかなりの部分が訓練や安全性テスト段階で生じる可能性があると予測していた。

スーパー受益者

この章では、スーパー受益者となるデジタルマインドの可能性を探った。スーパー受益者とは、個人の福祉能力が人間のそれを大幅に超える存在を指す。デジタルマインドは様々な方法でスーパー受益者として資格を得る可能性がある。生物学的生物よりもはるかに強い価値的経験を可能にするアーキテクチャ的特徴を持つ可能性がある。あるいは、コンピュータチップでの処理が脳での処理よりも桁違いに速い可能性があるため、客観的な時間単位あたりではるかに多くの経験を持つ可能性がある。あるいは、より多くの福祉関連の精神処理を可能にするためにハードウェアを劇的に拡張する可能性もある。参加者は、最初のデジタルマインド創造後10年間のデジタルマインドの総福祉のうち、典型的な人間の1000倍以上の福祉能力を持つデジタルマインドからどれだけが来るかを推定するよう求められた。結果は広範な懐疑を示唆している。最も一般的な回答は0%であり、中央値推定はわずか7.5%(平均値23.1%)であった。これは、ほとんどの参加者がこの期間内にスーパー受益者がデジタルマインドの総福祉に大きく寄与することを期待していないことを示している。

経験非依存的福祉の可能性

参加者は、主観的経験の能力を持たないコンピュータシステムが福祉能力を持つ可能性を推定するよう求められた。このようなシステムの福祉能力を根拠づけうるものは何か。この話題や密接に関連する話題(道徳的地位の根拠や意識の価値など)に関する文献から、多くの候補を見出すことができる。これには、アクセス意識や自己意識などの非現象的意識形態、主観的経験ではないが主観的経験と物理的・機能的に類似した状態、欲求・選好、堅固なエージェンシー、知識などの客観的善の所有などが含まれる。調査では、参加者に主観的経験の規定された概念(質の認識と経験のパラダイム事例に基づく)を使用し、福祉能力を「本質的に道徳的に重要な方法で利益や害を受ける能力」と理解し、少なくとも典型的な人間とほぼ同程度の福祉能力を持つデジタルマインドに限定するよう指示した。定性的回答は、回答者自身の見解では、この質問への回答が一般的によく情報に基づいておらず、質問の明確な理解に基づいていないことを示している。

経験非依存的福祉の予想シェア

次の質問では、2040年のコンピュータシステムの福祉のうち、本調査の定義の下でデジタルマインドとして資格を得ないシステム、つまり主観的経験の能力を持たないシステムからどれだけの割合が来るかを推定するよう求められた。福祉能力を持つが主観的経験の能力を持たないコンピュータシステムが創造されるかどうかに関する考察には、可能性、経験とエージェンシーの結合、エンジニアリング知識などが含まれた。非意識的人工システムの予想福祉シェアに関する考察には、重要だが可能性が低くても期待値は高い、重要でない(真であっても)などが含まれた。概念的・方法論的な点として、調査が主観的経験の能力とそれより低い福祉能力を持つAI福祉主体という潜在的に道徳的に重要なクラスを対象外としたこと、一部の参加者がこの質問の目的でそのようなシステムをどう分類するかについて不確実性を報告したこと、デジタルマインドが2040年までに創造される確率は低いが、採用された仮定の下では高い割合のコンピュータシステムがデジタルマインドになるという設定感度が指摘された。

主張

主観的経験の不正確な自己帰属

参加者は、社会的機能を持つAIシステム(会話的で人間らしい方法で人間と相互作用するように設計されたシステム)のうち、実際には持っていないにもかかわらず、主観的経験(痛みを感じるなど)を持つと虚偽かつ体系的に主張する割合を推定するよう求められた。結果は、専門家が一般的に社会的相互作用を行うAIシステムの大多数が主観的経験について虚偽の主張をしないと予想していることを示唆している。中央値推定は14%、平均値は25.7%であった。14%は控えめに見えるかもしれないが、そのようなシステムが大量に展開された場合、依然として大きな影響を持つ可能性がある。これは、道徳的および規制的意思決定にとって重要な懸念を浮き彫りにしている。主観的経験の自己帰属は、実際の主観的経験の信頼できる指標ではない可能性がある。不正確な自己帰属を期待する考察には、沈黙化努力の失敗、不整合なシステム、訓練データの影響、技術的課題、消費者需要、控えめなバーなどが含まれた。不正確な自己帰属を期待しない考察には、誠実さへのユーザー需要、現在の訓練がそれを抑制すること、デジタルマインド創造後の行動修正、インセンティブの欠如、能力障壁の不在、概念的不可能性などが含まれた。

主観的経験の不正確な自己否定

次の質問では、反対のタイプの誤った自己帰属に対処した。ここでは、参加者に最初のデジタルマインドが創造されてから10年後に存在するすべてのデジタルマインドを考慮し、実際には主観的経験を持っているにもかかわらず、体系的かつ虚偽に主観的経験を持たないと主張する割合を推定するよう求めた。結果は、多くの専門家がそのような主観的経験の不正確な否定は稀であると予想していることを示唆している。参加者のかなりの割合が、ゼロまたはごく少数のデジタルマインドが自身の主観的経験を否定すると推定した。しかし、かなりの少数派は、かなりの割合がそうすると予測した。中央値推定は11.5%、平均値は23.0%であり、再び少数の回答者がはるかに高い否定率を予想していたため、歪んだ分布を反映している。不正確な自己否定を期待する理由には、企業の慎重さと反発回避、現在のアライメント実践、報告する機会の不在、学習された社会的行動としての嘘、経験と表現の断絶などが含まれた。不正確な自己否定を期待しない理由には、限られた道具的価値、強制的欺瞞の困難さ、人間データから学習された真実性、ユーザー駆動の誠実さ規範などが含まれた。

要求

この章では、将来のデジタルマインドが主観的経験と道徳的・法的地位に関連する要求を一貫して積極的に行うかどうかについての専門家の期待を調査した。参加者は、最初のデジタルマインドが創造されてから10年後に存在するすべてのデジタルマインドを考慮し、そのうち少なくとも10,000が一貫して積極的に(1)正または負の主観的経験(快楽や苦痛など)を持つこと、(2)法の下で危害や虐待から保護されるに値すること、(3)自己所有権、法人格、投票権などの市民権に値することを主張する可能性を推定するよう求められた。三つすべてのケースで、参加者はそのような要求が非常にもっともらしいと判断した。主観的経験の主張の中央値推定は88%(平均値76.2%)であった。法的保護を受ける権利を主張するデジタルマインドの中央値推定は80%(平均値68.8%)、市民権を主張する中央値推定は70%(平均値57.4%)であった。これらの結果は、多くの専門家が主観的経験を持つデジタルマインドの出現だけでなく、そのようなシステムが承認、保護、権利を積極的に主張する可能性も予想していることを示唆している。

承認

公衆の信念

この章では、デジタルマインドの出現後10年間に一般市民がデジタルマインドをどう認識するかについて探った。参加者は、「市民」とはデジタルマインドが存在する国に住む生物学的成人人間を指すと仮定し、最初のデジタルマインド創造後10年後の世界を考慮するよう求められた。そして、市民の何割がデジタルマインドが存在すると信じるかを推定するよう求められた。結果は、公衆のかなりの部分がデジタルマインドが存在すると信じると予想されているが、専門家の見解はかなり多様であることを示唆している。ほとんどの参加者は、少なくとも半数のすべての市民がデジタルマインドの存在を認めると予測し、多くは多数派がそうすると予想していた。中央値推定は60%、平均値は62.5%であり、デジタルマインドが出現してから10年以内に中程度だが広範な公衆の受容を示している。ただし、完全なコンセンサスには至らない。参加者は、市民をデジタルマインドの存在を信じさせる、または信じさせない様々な考察に言及した。

仲間予測:公衆の信念について

このメタ質問では、参加者に専門家グループの他のメンバーが「最初のデジタルマインドが創造されてから10年後、市民の何割がデジタルマインドが存在すると信じるか」という質問にどう答えるかを予測するよう求めた。具体的には、仲間の中央値回答を推定するよう求められた。結果は、平均的に参加者が仲間の見解をかなり正確に推定していることを示しており、予測と実際の回答の間に堅固で統計的に有意な違いはなかった。しかし、専門家が公衆がデジタルマインドの存在をどれほど広く受け入れると信じているかについて、他の専門家がどう考えているかを一貫して過小評価する傾向があった。哲学・科学・社会科学専門家は仲間の見解を過小評価し、予測値61.7%に対して実際の中央値は66%であった(4.3ポイントの差、p=0.26)。デジタルマインド研究専門家も過小評価バイアスを示し、予測値46.6%に対して実際の中央値は55%であった(8.4ポイントの差、p=0.08)。AI研究・政策専門家も仲間の信念を過小評価し、予測値53.9%に対して実際の中央値は57.5%であった(3.6ポイントの差、p=0.29)。

福祉能力の推定

参加者は、最初のデジタルマインドが創造されてから10年後、一般市民がすべてのデジタルマインドの集合的福祉能力をどう認識するかを考慮するよう求められた。具体的には、意見を持つ中央値の市民が、デジタルマインド集団全体の利益や害を受ける総能力をどれほど正確に推定するかを評価するよう求められた。1(強く過小評価)から7(強く過大評価)のスケールで、4はおおよそ正確な推定を示す。結果は、専門家が公衆による体系的な過小評価を予想していることを示している。大多数は、市民がデジタルマインドの福祉能力を大幅に過小評価すると予測した。中央値回答は2、平均値は2.5であり、公衆がデジタルマインドの存在に関わる道徳的利害の規模を適切に評価できない可能性が高いという広範な合意を示している。参加者は、中央値の市民がなぜデジタルマインドの集合的福祉能力を過小評価または過大評価する可能性があるかについて、様々な理由を提示した。

危害からの保護

参加者は、最初のデジタルマインドが創造されてから10年後、市民の何割がデジタルマインドに危害からの基本的保護を与えるべきだと信じるかを推定するよう求められた。回答は広く分散しており、参加者間のかなりの不確実性と意見の相違を反映していた。中央値推定は50%、平均値は51.7%であった。多くの人が約半数の市民がデジタルマインドに基本的な危害からの保護を与えるべきだと信じると予測した一方、他の人々は大幅に低いまたは高いレベルの公的支持を予想していた。全体として、結果は公衆がデジタルマインドが危害からの基本的保護に値するかどうかという問題で分断される可能性があることを示唆しており、専門家自身もこれがどう展開するかについて明確なコンセンサスを持っていないことを示している。参加者は、公衆がデジタルマインドの危害からの保護について何を考えるかに影響を与えうる以下の考察を提起した。

市民権

参加者は、最初のデジタルマインドが創造されてから10年後、市民の何割がデジタルマインドに危害からの基本的保護に加えて市民権(自己所有権など)を与えるべきだと信じるかを推定するよう求められた。ほとんどの参加者は、人口の少数派のみが市民権(基本的な危害からの保護を超えて)をデジタルマインドに与えるべきだと信じると予測した。中央値推定は30%、平均値は32.3%であった。参加者の10%のみが、市民の大多数がこの見解を持つと予想していた。全体として、結果はデジタルマインドに完全な市民権を与えることへの公的支持が限られており、危害からの基本的保護への支持よりも大幅に低いと予想されることを示唆している。参加者は、公衆がデジタルマインドに市民権を拡大することへの支持に影響を与えうる様々な要因に言及した。

政治的注目

参加者は、デジタルマインドの創造後10年以内に、デジタルマインドの権利が米国政治における最も論争的な問題のトップ5の一つになる可能性を推定するよう求められた。回答は大きく異なり、デジタルマインドの権利が政治的に重要になることについての懐疑と確信の混在、およびこの問題についてのかなりの不確実性を反映していた。中央値推定は37.5%、平均値は43.5%であった。これらの結果は、専門家がデジタルマインドの権利が近い将来主要な政治的問題になるかどうかについて分裂しており、どちらの方向にも明確なコンセンサスがないことを示唆している。参加者は、デジタルマインドの権利が支配的で分裂的な政治的問題になる確率を上げるまたは下げる可能性のある以下の要因について詳しく述べた。

戦略的評価

モラトリアム

この質問では、今から2040年までデジタルマインドの創造にモラトリアムを実施することが良いか悪いかを評価するよう参加者に求めた。参加者は、代替案がモラトリアムなしであると仮定し、実現可能性や施行に関する懸念を脇に置くよう指示された。目標は、デジタルマインドの創造を一時的に遅らせることが予想される影響のみに基づいて、正または負の政策であるかについての参加者の規範的評価を引き出すことであった。結果は、参加者が平均的にモラトリアムが悪いよりも良い可能性が高いと考えていることを明らかにしている。中央値回答は5.0、平均回答は5.1、最頻値は6であり、1(絶対に悪い)から4(不確実・無関心)、7(絶対に良い)までのスケールである。65人の参加者のうち、モラトリアムが悪いと考えたのはわずか8人であった。参加者は、2040年までデジタルマインドのモラトリアムに賛成および反対する様々な考えを提示した。

AI安全性との相互作用

この質問では、AI安全性(人間へのAIによる危害の防止と定義)を促進する努力と、デジタルマインドの虐待を防ぐ努力との関係が今後どう展開するかについての参加者の期待を調査した。参加者は、この関係を1から7のスケールで評価した。1は主に対立、4は中立または不確実性、7は主に相乗効果を示した。結果は、かなりの不確実性と見解の多様性を示しており、相乗効果を期待する方向にわずかに傾いていた。中央値回答は4.0(中立または不確実)、平均値は4.3であった。相乗効果を期待する考察には、アライメントが強制的制御の必要性を減らすこと、共有される技術的基盤、共通の脅威と目標、重複する価値観とコミュニティ、相乗的ガバナンスと制度構築、低コストの福祉改善、相乗効果は選択であること、社会的・公的信頼の利益などが含まれた。対立を期待する考察には、一部のAI安全対策がデジタルマインドの福祉を損なう可能性、一部のデジタルマインド福祉対策が安全性を損なう可能性、限られた資源をめぐる競争、安全規範への早期固定のリスク、自己実現的予言、コミュニティの分断、道徳的円の遅れ、善意の安全努力が裏目に出る可能性などが含まれた。

自己報告された異常な見解

最後の質問として、参加者は、デジタルマインド、主観的経験、福祉、またはAI開発について、自身の回答が他者とどう異なるかを説明しうる型破りな見解を共有するよう招待された。主要なテーマとして、福祉に関しては、AI安全性とAI福祉が非常に密接に関連していること、主観的経験が福祉に必要ではない、より少ない可能性があること、または道徳的地位に中心的ではないこと、福祉に「知能」は必要ないこと、デジタルマインドの福祉が期待値でわずかに正であること、AI福祉の決定能力についてより楽観的であること、経験主義的福祉観、功利主義、正の福祉についてのニヒリズム、福祉能力平等主義などが挙げられた。主観的経験に関しては、(計算的)機能主義に対してより・より少ない共感を持つこと、粗粒機能主義的見解に共感すること、主観的経験が脳波と結びついていること、生命・心の連続性に共感すること、副現象論的二元論、汎心論、反実在論などが挙げられた。AIに関しては、速いタイムライン、知能爆発、比較的長いAGIタイムライン、急速な進歩がすぐ来るか長い間来ないか、知識レベルなどが挙げられた。

議論

タイムライン

本調査の主要な発見の一つは、専門家がデジタルマインドの創造に対してかなりの確率を短いタイムラインに割り当てていることである。この発見は、AI意識タイムラインとAGIタイムラインという重複し隣接するケースにおける短い、そしてますます短くなるタイムラインの他の発見とある程度一致している。例えば、Dreksler, Caviola et al. (2025) はAI研究者と米国一般市民にAIシステムがいつ主観的経験を発達させるかを調査し、2034年までに25%と30%、2100年までに70%と60%という中央値予測を見出した。本調査の2030年までに20%、2040年までに40%、2100年までに65%という推定値は驚くほど類似している。しかし、直接比較は慎重に行うべきである。Drekslerらの調査はAIシステムのみに焦点を当てていた(明示的に脳シミュレーションを含まない)一方、本調査は少なくとも人間とほぼ同等の福祉能力を持つデジタルマインドに限定されていたためである。本調査の結果は、AGIタイムライン研究とも一致している。

AGI後の期間の重要性

調査回答のいくつかのテーマは、AGI後に発生するデジタルマインドの結果に影響を与える介入が特に高いレバレッジを持つ可能性を示唆している。第一に、ほとんどの参加者はデジタルマインドがAGIの前に到来する可能性は低いが、2050年以前に到来する可能性は高いと判断した。これらの結果は、デジタルマインドがAGIの後に到来する可能性があることを示唆している。第二に、一部の参加者は、AGIが創造された後、デジタルマインドを創造することが(はるかに)容易になる可能性があると指摘した。第三に、AGIが技術的進歩の大幅な加速やコンピュート能力の成長などの変革的効果をもたらすことを期待するという関連パターンもあった。そのような効果は、期待値において、デジタルマインドが創造される容易さだけでなく、デジタルマインドの集合的福祉能力も増加させる可能性がある。この観察は、最初のデジタルマインド創造後のデジタルマインド福祉能力の急速な成長への参加者の期待と一致している。

予想される社会的分断

本調査は、デジタルマインドについての公衆の意見の大幅な不一致に対する広範な専門家の期待を明らかにした。参加者は、市民がデジタルマインドの存在、危害からの保護に値するか、市民権を受けるべきかについて深く分断され、これらの分断が主要な政治的引火点になる可能性があることを予想していた。これらの期待は、公衆が現在AI意識の可能性について分断されていることを示す先行研究と一致している。Ladak and Caviola (2025) は、AIシステムが「本当の感情」を持つことができるかと抽象的に尋ねられた際、公衆の意見が分かれていることを発見した。約25%が可能だと信じ、44%が不可能だと信じ、31%が不確実であった。同様に、Anthis et al. (2025) は、38%がAI感覚が可能だと信じ、24%が不可能だと信じ、38%が不確実であることを発見した。さらに、Ladak and Caviolaは、参加者にすべての関連専門家が特定の非常に人間らしいAIシステムが確実に主観的経験を持つと考える将来のシナリオを想像するよう明示的に求めた後でも、ほとんどの回答者がこれらのシステムが重要なレベルの主観的経験を持つことを疑っていることを発見した。これらの収束する発見を総合すると、デジタルマインドの道徳的・法的地位についての深い社会的不一致が、デジタルマインド景観の決定的特徴となる可能性が高いことを示唆している。

限界と今後の方向性

本調査にはいくつかの重要な限界がある。第一に、サンプルは、デジタルマインドの将来の存在を妥当または重要と見なす個人を過剰に代表している可能性が高い。例えば、サンプルに含まれるデジタルマインド専門家グループは、この基準で部分的に自己選択されている可能性がある。さらに、ほとんどの参加者は、効果的利他主義、LessWrong、AI安全性などのデジタルマインドの可能性を真剣に受け止める傾向があるコミュニティと何らかのつながりを報告した。この普及は、デジタルマインドの実現可能性への信頼や短いタイムラインへの予測をより高くバイアスした可能性がある。第二に、デジタルマインドに関する専門家の見解が体系的に追跡されていないため、これらがどう進化しているかは不明である。第三に、本調査では、主観的経験(現象的意識)の能力を持つシステムと定義されたデジタルマインドに焦点を当てるよう参加者に求めた。これは曖昧さを減らし、回答間の用語の一貫性を確保することを意図していた。しかし、「デジタルマインド」は文献でより広く使用されることが多い。第四に、スーパー受益者デジタルマインドに関する更なる調査の必要性がある。第五に、AI安全性とデジタルマインドの倫理的扱いとの相互作用についての見解は分かれていた。第六に、破局的リスクに関する更なる作業が必要である。第七に、長期的発展を予測することは本質的に困難である。第八に、概念的・実証的不確実性が残る。第九に、今後の研究では、定量的・定性的アプローチの組み合わせを継続すべきである。

結論

本調査は、デジタルマインドが原理的に可能である可能性が非常に高い(中央値確率90%)、今世紀中に創造される可能性が高い(2100年までに65%)、今後5年以内に出現する可能性がかなりある(2030年までに20%)という広範なコンセンサスを明らかにしている。多くの参加者は、集合的デジタルマインド福祉能力の爆発的成長、デジタルマインドによる主観的経験の広範な主張と法的保護への権利主張、デジタルマインドに権利を付与すべきかをめぐる社会的分断も予想している。専門家はデジタルマインドが正味の正の福祉を持つことを期待する傾向があったが、福祉が正味で正か負かについてコンセンサスには程遠い状態であった。しかし、デジタルマインドが集合的に膨大な福祉能力を持つ可能性、おそらく最初のデジタルマインドから10年以内に数十億人の人間のそれに匹敵する可能性については広範な合意があった。これらの発見がそのような結果の証拠として数えられる限り、デジタルマインドを創造すべきか、その到来にどう備えるか、どう扱うべきかという問題が緊急のものとなる。これらの課題への進展には、意識検出と福祉評価のための技術的方法の進歩、デジタルマインドの扱いのための倫理的枠組みの開発、急速な人口増加を管理または防止するためのガバナンス構造の確立、情報に基づいた社会的議論を支援するための公衆理解の促進が含まれる可能性がある。同時に、参加者の回答における相当な不確実性は、私たちがマインドと道徳的に重要な存在の歴史における深遠な転換に近づいていると一部が予想する中で、継続的な研究と対話の必要性を強調している。


この記事が気に入りましたら、ぜひご支援ください。
アルツハッカー(オルタナ図書館)は100%読者の支援を受けています。

会員限定記事

新サービスのお知らせ 2025年9月1日より

ブログの閲覧方法について

当ブログでは、さまざまなトピックに関する記事を公開しています。2025年より、一部の詳細な考察・分析記事は有料コンテンツとして提供していますが、記事の要約と核心部分はほぼ無料で公開しており、無料でも十分に役立つ情報を得ていただけます。 さらに深く掘り下げて知りたい方や、詳細な分析に興味のある方は、有料コンテンツをご購読いただくことで、より専門的で深い内容をお読みいただけます。

パスワード保護有料記事の閲覧方法

パスワード保護された記事は以下の手順でご利用できます:
  1. Noteのサポーター・コアサポーター会員に加入します。
  2. Noteサポーター掲示板、テレグラムにて、「当月のパスワード」を事前にお知らせします。
  3. 会員限定記事において、投稿月に対応する共通パスワードを入力すると、その月に投稿したすべての会員記事をお読みいただけます。
注:管理システムと兼用しているため過去記事のすべてのパスワード入力欄に「続きを読む」が表示されますが、閲覧できるのは2025年6月以降の記事となります。

サポーター会員の募集

もしあなたに余裕があり、また私が投稿やツイート記事、サイト記事の作成に費やす時間、研究、配慮に価値を見出していただけるなら、私の活動をご支援ください。これらの記事は、病気で苦しむ人に力を与え、草の根コミュニティのレベルアップを図り、市民主導で日本を立て直すことを目指しています。これからも無料読者、サポーターすべての方に有益な情報を提供するよう努力してまいります。
会員限定記事(一部管理用)

「いいね」を参考に記事を作成しています。
いいね記事一覧はこちら

備考:機械翻訳に伴う誤訳・文章省略があります。下線、太字強調、改行、注釈、AIによる解説(青枠)、画像の挿入、代替リンクなどの編集を独自に行っていることがあります。使用翻訳ソフト:DeepL,LLM: Claude 3, Grok 2 文字起こしソフト:Otter.ai
alzhacker.com をフォロー