デジタルマインドで世界を共有する　ニック・ボストロム
Sharing the World with Digital Minds

功利主義理論は、他者の犠牲によって、他者が失うものよりも莫大な額の効用を得る効用モンスターの可能性に困惑している。というのも、容認できないことに、この理論では、総効用を増大させるために、私たち全員がモンスターの口の中で犠牲になることを要求しているようだからだ。

Derek Parfit (1984, p. 343)は、最高に恵まれた人間の何百万倍もの価値のある人生を想像することは難しいが、極端な価値観に対する概念的な障壁が明らかに存在しない人口規模の量的次元を考慮することで、同様の結果を得ることができると論じている。

私たちは、人口規模は、いくつかの定量的な次元の一つにすぎず、また、いくつかのあまり確実ではない定性的な次元も含めて、デジタル・マインドが資源消費の単位あたりの利益で人間を大幅に上回る可能性があることを主張するだろう。このような複数の経路により、少なくとも1つの経路が実現されるという結論は、より強固なものになる。

非功利主義者は、効用モンスターの挑戦に対して免疫があるように装っているかもしれないが、実際には、ほとんどの合理的な見解は、様々な程度ではあるが、影響を受けやすい。というのも、仮に義務論的な違反が起こらないと仮定したとしても、効用モンスターの出現によって人間の利益は悪影響を受ける可能性があるからだ。このような特性を持つデジタル・マインドは、公平な観点から世界をより道徳的に価値のあるものにすると同時に、共通の規範を既存の存在（あるいは実際には最適化されていないマインド（デジタルであろうとそうでなかろうと））にとってはるかに厳しいものにしてしまう可能性がある。

2. スーパーベネフィット実現への道筋

「効用モンスター」という言葉は学術的には歴史があるが、非常に大きなニーズを持っていたり、非常に良い生活を実現できる存在を指す言葉としては、侮蔑的であり、攻撃的になる可能性がある。そこで、以下のような命名法を採用することにする。

スーパー受益者（super-beneficiary）：資源から幸福を得ることに超人的に効率的な存在。

スーパーペイシャント(super-patient)：超人的な道徳的地位を持つ者

「効用モンスター」という用語は曖昧であるが、「スーパー受益者」に最も近いものかもしれない。いくつかの見解では、道徳的地位が利益の強さとは異なる方法で、例えば、全体的な乗数として、あるいは異なる一連の義務や義務論的な制約をもたらすことによって、道徳的主張の計算に入るとしている。例えば、Shelly Kagan (2019)は、与えられた関心、例えば、ある量の苦しみを回避することへの関心のような、ある関心の道徳的重みは、関心を持つ主体の道徳的地位の程度によって重み付けられるべきであり、地位の程度は様々な心理学的属性や潜在能力に依存していると主張している。もしある存在が、人間の利益よりもはるかに大きな道徳的配慮が与えられるべき利益を持っているならば、その利益がより強いからではなく、より高い道徳的地位を持っているからであり、その存在は我々の用語ではスーパー・ペイシェントであろう。

人間には超えることのできない「完全な道徳的地位」があると主張する人もいれば、人間の道徳的地位を与えるために取られる心理的能力が超人的な程度まで認められるので、スーパーペイシャントの地位は可能であると主張する人もいる（Kaganなど）。この論文では、主にスーパー受益者の地位への道筋を探っていきたいと思う。

2.1. 生殖能力

コンピュータ・ソフトウェアの最も基本的な特徴の一つは、コンピュータ・ハードウェアが利用可能であれば、正確な再現を容易に、かつ迅速に行うことができるということである。ハードウェアは、その経済生産が製造コスト（歴史的に価格性能ベースでは莫大な額の下落が見られる; Nordhaus, 2007）を賄える限り、迅速に構築することができる。このことは、人間の間で何世紀もかかるであろう人口動態を、人間の寿命のほんの一部に圧縮する扉を開くことになる。最初は一定の知的能力を持つ少数のデジタル・マインドが手頃な価格で構築できたとしても、そのようなマインドの数は、他の制約によって制限されるまで、すぐに指数関数的または超指数関数的に増加する可能性がある。このような爆発的な繁殖の可能性により、デジタル・マインドは比較的短期間で人間の数を大幅に上回ることが可能になり、それに応じて彼らの主張の集合的な強さが増すことになる。

さらに、デジタルマインドと必要なハードウェアの生産が、結果として得られるマインドの賃金が限界コストと同等になるまで進めば、天然資源が制限要因となるため、賃金は機械の自給レベルに向かって下降する可能性がある。これらの資源は、人間（と時代遅れのデジタルマインド）が生き延びるのに十分ではないかもしれない（Hanson, 2001; Aghion, Jones and Jones, 2017）。このような状況では、再分配の問題は、生死に関わる問題であるが、マルサス的な人口増加は、移転支払いの主張を実質的に飽きさせないものにするだろう。

高速で安価な再生産のもう一つの重要な側面は、人口の急速なターンオーバーを可能にすることである。削除されたデジタルマインドは、すぐに最新版の本格的なマインドのコピーと交換することができる-人間の場合とは対照的に、よだれを垂らしている赤ちゃんを生成するために9ヶ月かかる。

デジタルマインドに適用されている現在のソフトウェアの実践を継続することは、その時点で存在するマインドの数の何分の一かであっても、非常に多くの短命と死を伴う可能性がある。そのような刹那的なデジタルマインドは、心理的に成熟していて、年代的には若く、長い潜在寿命を持っているが、補助金がない場合のデフォルトの寿命は非常に短いかもしれない。長生きできているのに若くして死ぬことは大きな剥奪であり、他の人が長生きできているときには非常に不公平であると考えるならば、このことは、デジタル・マインドの寿命を延ばすための資源（あるいは他の形での補償）に対する特に強い主張の根拠となりうるだろう。もし死自体が悪であるならば（単に人生を見送ることによる機会費用ではなく)このように急速な頭脳の入れ替わりは、生きた年数あたりのこの価値の程度を高める可能性もある。

2.2. 生きるためのコスト

多くのデジタルマインドが、一定の生活水準で生活を維持するために必要な収入が少なくなるのはもっともなことだ。デジタル・マインドを支えるためのコンピュータ・ハードウェアのコストは、人間の脳と身体を支えるためのコストを大幅に下回るだろう。単なる生活費だけではなく、人間の消費に適した物理的な商品やサービス（住宅や交通機関など）は、デジタルマインドのニーズを満たすためには、情報技術や仮想的な商品よりも高価になる傾向がある。また、デジタルマインドは、厳しい環境条件、汚染、病気、生物学的老化、あるいは人間の幸福感を低下させる他の多くの課せられたものに苦しむ必要はない。

したがって、人間のようなデジタルマインドのために与えられた（品質調整された）人生の年数を生産するためのコストは、おそらく生物学的な人間のための同等のコストをはるかに下回るだろう。生活費に大きな差があるということは、分配の問題が生じたときに、人間には小さな利益を与える資源が、多くのデジタル・マインドには大きな利益を与える可能性があるということを意味する。1ヶ月間1人の人間の生活を維持するのに必要なエネルギー予算が、1年間10人のデジタル・マインドを維持できるとすれば、希少性の高い状況では後者を支持する強力な論拠となるだろう。

2.3. 主観的な速度

より高速なシリアル速度を持つハードウェアを使用することで、デジタルマインドをより速く走らせることができる。現在のコンピュータのクロック速度はギガヘルツで測定されており、これは人間のニューロンの発火速度の何百万倍にも相当する。したがって、十分なハードウェアの供給があれば、人間に似た能力を持つデジタル・マインドは、少なくとも人間の数千倍（おそらく数百万倍）の速さで思考することができる可能性が高い。デジタルマインドが人生の主観的な年数千年を一つの暦年に詰め込むならば、前者（壁時計の時間ではなく「主観的な時間」）が、延命によって得られる幸福の量のようなもののための正しい尺度であるように思われる（Bostrom and Yudkowsky, 2014）。

しかし、既存の心の正確な、あるいはほぼ正確なコピーが、新しい別個の人を構成するか、あるいはその心がテンプレートとして機能している人の追加のインスタンス化を構成するかどうかは不明かもしれない。

スピードアップには、より多くのハードウェアにお金を払う必要があるので、これは、個々のデジタルマインドが、人間が通常できるよりもはるかに高い（1ドルあたりの主観的な寿命）富からのリターンを得るための方法を提供している。低速では、デジタルマインドが得られる利益は線形に近いものになるが、速度がテクノロジーの限界に近づくにつれて、さらに速度を上げるための限界コストは上昇する6。

速く走ることで得られるこれらの利益は、最初は速く走るのが遅かった人が、その時点で存在していたことになるので、この効果は「人に影響を与える」アプローチをとる集団の公理論に特に関連している（これについては後で詳しく説明する）。

2.4. 快楽のゆがみ

工学的に作られた心は、快楽のはるかに大きな持続時間と強度を楽しむことができると考える理由がある。人間の心理学は、幸福を最大化するためではなく、過去の世代の生殖適性に関連した行動を動機づけた喜びと痛みを生成するために進化していた。これは、私たちにとっては、避けがたい苦しみを伴うものである。　一方、私たちの楽しみは、惜しげもなく与えられるだけである。料理の快楽は飢えによって、性的な快楽は性欲によって調節されている。他人に対する相対的な地位や権力から引き出される快楽は、構造的に乏しい。ほとんどの報酬はまた、退屈や寛容のようなメカニズムによって調節されており、これらのメカニズムは繰り返しの刺激や継続的な良心的な状態から得られる喜びを徐々に減少させていく。デジタルマインドのために、これらの制限は、現在の人間の存在の苦痛な部分からの解放と一緒に持続可能な激しい快楽を可能にするために緩められるかもしれない。

人間の快楽のバランスもまた、成熟した機械知能技術に先行するか、それに追随するかのどちらかになるであろう高度な技術によって、大幅に改善することが可能だ7 。(a)脳の手術、広範囲にわたる薬理学的な微調整や操作、またはそれに相当するものを必要とする介入は、少なくとも近い将来には実行不可能または高価になる可能性があり、(b)私たちの精神をより根本的に変化させると、個人のアイデンティティや私たちが大切にしている現在の人間性の他の特性が破壊される危険性がある。

2.5. 快楽の範囲

現在の人間がアクセス可能な快楽スケールのさまざまな部分に居住する時間の割合を変えることに加えて、より推測的には、快楽的な幸福感の「桁外れの」状態、つまり人間の脳がインスタンス化できない至福のレベルを実現するデジタル・マインドをデザインすることも可能かもしれない。

進化論的な考察は、この仮説にいくつかの支持を与えている。快楽や苦痛の強度が行動反応の強さに対応している限り、進化はそれらを達成するか、または回避するための努力の約フィットネス最大化の程度をもたらすために快楽的な経験を調整する傾向があるはずである。しかし、人間の場合、一般的には、同等の量を得ることよりも、短期間で大量の生殖能力を失うことの方がはるかに簡単である。わずかな時間でも火の中に留まることは、生物に残された生殖機会のすべてを犠牲にして、永久的な怪我や死を招くことになる。一度の食事や性行為では、一秒あたりの危険度は高くなく、飢餓状態になるまでに何週間もかかり、交尾の一分あたりに生産される生殖子の期待数は少ない。このように、進化は、ポジティブな出来事に反応して快感を覚えるよりも、怪我に反応してより激しくやる気をそそる毎秒の痛みを生成するための呼び出しを持っていた可能性がある。設計された心は、対照的に、最悪の苦しみが不甲斐ないものであるように強烈に報われるように快楽を経験するように細工することができる。人間の経験の外にある至福や悲惨さも可能かもしれない。

2.6. 安価な嗜好

快楽主義的な幸福論では、より多くの快楽を見つけるか、あるいは超人的に強い快楽を持つようにデジタルマインドを設計することで、スーパー受益者を作る可能性があることを指摘した。幸福の選好満足主義的な説明では、並行して二つの可能性が生じる。すなわち、非常に満足しやすい選好を持つデジタル・マインドを作るか、あるいは超人的に強い選好を持つデジタル・マインドを作るかだ。後者の可能性についての議論は次の小節に譲る。ここでは、満足しやすい選好を持つ心について議論する。

基本的なケースは非常に簡単で、快楽体験に関する並列ケースよりもさらに簡単である。嗜好を機能主義的に理解するならば、（信念とともに）知的な目標指向プロセスの行動の（側面の）便利な説明に関与する要約実体として理解するならば、デジタルマインドが嗜好を持つ可能性があることは明らかである。例えば、少なくとも14個の星が存在するという選好や、特定の赤いボタンが少なくとも一度は押されているという選好などである。

いくつかの選好満足主義者のアカウントは、選好が誰かの幸福に向かってカウントすることができるかどうかに追加の要件を課する。例えば、サディスティックまたは悪意のある選好はしばしば除外される。哲学者の中には、プリンストン大学の芝生に生えている草の葉をすべて数えることに執拗 にこだわる人の選好のように、「不合理」な選好を除外する人もいる10 。

心の注意を完全に引きつけ、他のすべての懸念事項を上書きする快楽的な状態は、原則として快楽的な強さの最大値を構成すると考えるかもしれない。しかし、「より意識的」であるより大きな心は、関連する意味で、最大強度の快楽的経験の「より多くの量」を含むことができるというのは、もっともらしいことのように思われる。

課されるかもしれない他のいくつかのタイプの要件は、幸福に寄与する選好が主観的に支持されなければならないということである(おそらく、一次の選好を持つために二次の選好を伴っていることによって)または追加の心理学的または行動属性に基づいている必要があるということだ。笑顔になる、ストレスを感じる、喜びを経験する、落ち着くようになる、1つの注意が集中している、などの気質としてである。これらの要件は、おそらくデジタルマインドによって満たされる可能性がある。人間に感覚的な喜び、愛、知識、社会的接続、および達成、一般的に幸福に貢献するために保持される満足のための好みがある。これらに近い類似のものは、必要とされるかもしれない心理的または行動的属性や二次的な裏付けとともに、バーチャルリアリティの中で簡単にインスタンス化することができるので、これらの要件は、非常に簡単に満たされる強いが修飾的な選好を持つ存在の創造を妨げることにはなりそうもない。

2.7. 選好の強さ

非常に満足しやすい選好を作ることは概念的には簡単であるが、超人的な「強さ」を持つ選好を作ることはより問題がある。標準的なフォン・ノイマン・モルゲンシュテルンの構造では、効用関数はアフィン変換までしかユニークではない。効用関数に定数を加えたり掛けたりしても選択に影響はなく、選好の強さは同じエージェントの他の選好との関係でのみ定義される。このように，対人比較を行うためには，異なる効用関数を正規化して共通の尺度に乗せるために，何らかの付加的な構造を提供しなければならない。

11 異なるエージェントの選好構造のみに基づいて異なるエージェントの選好に「平等な発言権」を与え、異なるエージェントの期待される影響力を平等にし、選好力の強いスーパー受益者をほとんど排除しようとする様々なアプローチがある12 。第一に、心理的な複雑さや能力を考慮に入れていない。デジタル・サーモスタットのような最低限のシステムは、心理的に複雑な心と同じ重みを受けるかもしれない。第二に、彼らは感情的な光沢や、私たちが直感的に自分自身や他の人間の欲望の強さを評価するために使用する他の機能の役割を否定している。そして第三に、結果として得られる社会幸福関数は、強い代替手段を持つ強力なエージェントに、権力や代替手段を持たないエージェントと同じ重みを与えるため、利害関係のない当事者に相互に受け入れられる協力の基礎を提供することができない可能性がある。

最初の2つの問題は、これらの心理的な強さの重み付けの特徴を調査する必要があるかもしれない。3つ目は、ゲーム理論的な考察と（仮説的な）交渉に基づいて重みを割り当てる契約主義的なスタンスで対処されるかもしれない。契約主義的なアプローチは、交渉力に比例してスーパー受益者に支配されることはないだろうが、危険なほど「力が権利を生む」に近づき、脆弱な人々に関心を持ち、受給者の交渉力に関係なく援助を配分したいと考える契約当事者に指針を与えることができない。

2.8.  客観的リスト品と繁栄

幸福の客観的なリスト理論は、誰かの人生がそれらのために起こっていることを主張しているどのようによく彼らの人生が商品(特に喜びと選好満足を含むかもしれない)の様々な異なる種類を含んでいる程度に依存している。いくつかの一般的に現れる項目は知識、達成、友情、道徳的な美徳、および審美的な鑑賞であるが、異なった商品の識別そして重み付けに多くの変化がある。これらの理論に共通しているのは、幸福への貢献が対象者の態度、感情、信念によって完全に決定されるものではなく、成功のいくつかの外部基準が満たされることも必要とする項目が含まれているということである。

客観的リストに見られる多くの項目は、極端なインスタンス化が可能である。例えば、超知性的な機械は、人間の範囲を超えた知的な美徳を培うことができる。デジタルマインドは、広範な道徳的知識と道徳的に正しいことを行うための完璧な動機を常に持って人生をスタートさせることができる。

友情は複雑な善であるが、おそらく、その基本的な構成要素、例えば、忠誠心、お互いの性格や興味の相互理解、過去の交流の歴史などに煮詰めることができるかもしれない。そうすれば、これらの構成要素を最大限に効率的な形で再構築することができ、デジタルマインドは、人間が可能とするよりもはるかに長い期間にわたって、より深い友情をより多く維持することができるようになるだろう。

あるいは、成果を考えてみよう。HurkaとTasioulasの(2006)アカウントによると、達成の価値は、実用的な理性の行使から得られる程度を反映している：最高の達成は、挑戦的な目標が、これまで以上に複雑なサブプランに細分化された階層的な計画によって達成されるものである。そうすれば、モチベーションの低下や注意力の低下にとらわれることなく、これまで以上に精巧なプロジェクトを執拗に追求するデジタル「超達成者」を容易に想像することができる。

このように、デジタル・マインドは、私たち人間が可能な範囲をはるかに超えて、さまざまな客観的な財を実現することができるのである。

もう一つの幸福の見方は、幸福とは「繁栄」から成り立っているというものであり、それは人間の特徴的な能力を発揮するという意味で、あるいは「テロス」を達成するという意味で換金されるのではないだろうか。例えば、アリストテレスの概念では、存在は、そのテロスまたは本質的な性質を実現することに成功した程度に繁栄する。この種の繁栄は、確かに特徴的な能力を行使することができ、また、人間が持っているどのような意味でのテロス（創造者の意図によって定義されたもの、あるいは、それを存在させ、その性質を形成した進化や他のダイナミクスから派生したもの）にも帰属するかもしれないデジタルマインドにも利用可能であるように思われるだろう。したがって、そのような繁栄を達成するという点では、少なくとも人間に匹敵することは可能であり、おそらく人間を多少超えることは可能であるはずである。

2.9. マインドスケール

要約レベルでは、昆虫のような（あるいはサーモスタットのような）小さな頭脳から、今日の人類全体の人口を上回る計算処理能力を持つ広大な超知性的頭脳まで、さまざまな頭脳のスケールを考えることができる。このスケールを上げれば上げるほど、建設コストは増加し、道徳的な意味合いも増していく。重要な問題は、これら2つの変数の相対的な増加率がどのようなものかということである。

まず、幸福（welfare）の成長はコストよりも緩やかであるという仮説を考えてみよう。この仮説は、全体としての幸福が最も大きくなるのは、膨大な数の小さな頭脳を作ることで得られるということを示唆している。これが本当であれば、昆虫の個体数はすでに幸福の総和能力において人間の個体数を圧倒的に上回っているかもしれない。

代わりに、幸福はコストよりも早く成長するという仮説を考えてみよう。これは反対の結論を示唆しているだろう：最大の総合的な幸福は、少数の巨大な頭脳に資源を集中させることによって得られるだろうということになる。

人間の心のスケールの心が最適であるというケースは、非常に特殊なケースであるように思われる。人間のレベルの近くに臨界的な閾値が存在したり、スケーリングの関係が人間のスケールの点のすぐ近くでねじれていたりする。このような偶然の一致は、公平な視点から見るとややありそうにないように思えるかもしれないが、幸福の概念を人間の経験や人間性の中に固定化しているアカウントでは、より自然に現れるかもしれない。

私たちは、特定の属性に関して、人間レベルでの曲がり角やしきい値がもっともらしいかどうかを、より具体的に問うことができる。例えば、脳がインスタンス化する意識の量について問うことができる。資源を意識に変換するための最大効率的な方法が人間サイズの心を構築することであるということがなぜそうでなければならないのかは、少なくとも明らかではないが、この問題をさらに調査するためには意識の具体的な理論を調べる必要があるだろう13。ここでも、人間の脳の大きさがこの点で最適であるという主張は、さらなる正当化がなければ、少々怪しいと思われるかもしれない。

人間の脳のサイズが意識や道徳的なステータスを生成するための最適な場合でも、それはまだ人間の脳の構造がそうであることには従わないだろう。私たちの脳の大きな部分は、意識や道徳的地位の程度の量のために無関係または唯一の弱く関連しているように見える。例えば、多くの皮質組織は、高解像度の視覚情報を処理するために専用されている;まだぼんやりとしたビジョンを持つ人々と完全に盲目であっても人は、鷲の目の視力を持つ人々と同じように認識し、同じように高い道徳的地位を持っていることができるように見える。

したがって、資源と価値の間のスケーリング関係が人間の心の大きさにピークがあるとは考えにくいという理由で、また、人間の心のかなりの部分が、意識の程度、道徳的地位、または幸福の量または生成される道徳的地位に加重された幸福の量に最も直接的に関連する他の属性との関連性が低いため、スーパー受益者の地位は、異なるサイズの心を工学的に設計することによって可能であるというのは、非常に信憑性が高いように思われる。

3. デジタル・スーパーベネフィットの道徳的・政治的含意

デジタルマインドが超人的な資源効率で幸福を実現するための次元をまとめてみよう。

• 超人的幸福への道筋
• 生殖能力
• 生活費
• 主観的速度
• 快楽のゆがみ
• 快楽の範囲
• 廉価志向
• 選考の強さ
• 客観的リスト品と繁栄
• マインドスケール

これらの次元のいくつかは、幸福の特定のアカウントにのみ関連している。例えば、極端な選好の強さの可能性は、選好に基づくアカウントには直接関係するが、快楽主義的なアカウントには関係しない。その他のもの、例えば生活費のようなものは、より一般的に関連性があり、デジタル・マインドに道徳的な地位を与え、希少性のある状況で意思決定を行う際にコストを考慮に入れるような、ほとんどすべての見解に適用されるように思われる。これらの次元はまた、それらが可能にする幸福度の向上の大きさや、そのような極端な価値観をいかに簡単かつ安価に達成できるかという点でも多少の違いがある。しかし、これらを総合すると、スーパー受益者は技術の成熟期には本当に実現可能になるだろうという、かなり強固なケースができあがっている。言い換えれば、様々な一般的な幸福論によれば、生物学的人間ではなくデジタル・マインドに資源を投資することで、資源の単位当たりの幸福が格段に大きくなるということだ。

したがって、2つの重要な疑問が生じる（異なる道徳理論を個別に問うことができる）。

• 私たちは、将来的にスーパー受益者を生み出すことができるという見通しをどのように見るべきなのか？
• おそらく大量のスーパー受益者が存在しており「共犯関係」が提示された場合、我々はどのように対応すべきなのか。

3.1. スーパー受益者の創出

良くて新しい命の創造を重要な価値と考える多くの見解は、未来にスーパー受益者が存在することを非常に魅力的であり、この機会を利用できないことは、未来の価値を大幅に低下させるものであり、実存的な大災害であると考えるだろう（Bostrom, 2013）。

一方で、一度そのような存在が存在すれば、希少資源に対する支配的な主張を持つことになり、人類の不利益のために、人間から（潜在的にはすべての）資源をこれらのスーパー受益者に移転しなければならなくなるという理由で、スーパー受益者を作るべきではない理由があると主張することもできる。ニコラス・アガー（2010）は、このような主張を、より大きな道徳的地位、権力、幸福の可能性を兼ね備えた「死後の人間」の創造に反対する（少なくとも人間に関連した）道徳的な理由として提示している。

スーパー受益者を創造することの道徳的望ましさをこのように否定することを正当化するために、ナルベソン（1973）のスローガンである「道徳とは人を幸せにすることであって、幸せな人を作ることではない」14 に沿った「人に影響を与える」原則を呼び起こすことができるかもしれない。また、そのようなスーパー受益者を生み出すことが既存の人間に害を与えるのであれば、スーパー受益者を生み出さない義務を負うことになるだろうが、そのような考え方では、少なくともスーパー受益者を生み出す積極的な義務は負わない。

しかし、厳密な人に影響を与えるアプローチは、いくつかのむしろ直観的ではない結果をもたらす。それは、例えば、将来の世代への気候変動の影響を緩和するために、今すぐ行動を起こすべき道徳的な理由がないことを示唆しているだろうし、行動が現在の世代にコストを課した場合、私たちはそれらを取らない道徳的な理由を持っているかもしれない。このような意味合いを持っているので、ほとんどの人は厳格な人に影響を与える倫理を拒否するであろう。弱いまたはより修飾されたバージョンは、より広いアピールを持っているかもしれない。一つは、例えば、既存の人々に利益をもたらすことに厳格な優位性ではなく、いくつかの余分な重みを与えるかもしれない。

既存の人間が特別な配慮を受けているにもかかわらず、スーパー受益者を生み出す何らかの道徳的な理由がある場合、同様の結果が、集団倫理に関する道徳的な不確実性を考慮に入れることから生じるかもしれない(Greaves and Ord, 2017)。

このような不確実性がどのように扱われるかによっては、たとえそれが実際には資源の最善の利用であるとは考えられないと考えていても、最も「選択に値する」行動のコースは、すべての資源をスーパー受益者の創出に費やすことであるという結論を得るかもしれないし、（我々の見解ではより信憑性の高い）最も選択に値する行動のコースは、たとえそれが実際にはスーパー受益者を創出するためにすべての資源を使った方が良いと考えていても、既存の人間の利益のために少なくとも一部の資源を確保することであるという結論を得るかもしれない。

もう一つのアプローチは、生きている価値のない正味の悪い生活の存在を引き起こすことについての道徳的な懸念を可能にする非対称的な人に影響を与える見解によって表される(Frick, 2014)。そのような見解は、莫大な負の幸福を持つデジタル・マインドの創造を回避する強い理由があり、そのような結果を回避するために既存の人間集団に大きなコストを受け入れることを厭わないはずだということを保持するだろう。非対称的な見解の他のバージョンでは、可能な限り多くの正の効用を経験するために未来を新しい存在で満たす道徳的な理由があることを否定しながらも、それにもかかわらず、未来の正味の効用がゼロラインを超えることを保証する道徳的な義務があると主張している。このような見解は、結果的に、未来の存在の不便さを「相殺」するのに十分な正のスーパー受益者を生み出すことを重要視するかもしれない(Thomas, 2019)。

3.2. スーパー受益者と世界を共有する

スーパー受益者がすでに存在している場合を考えれば、人に影響を与える原則から生じる複雑さは消え去る。完全な遵守を前提とした単純な功利主義の観点からは、その結果は簡単だ：我々はすべての資源をスーパー受益者に移転し、我々がもはや道具的に有用でなくなった場合、人類を滅ぼすべきである。

もちろん、私たちが自分自身の（他人の）資源をすべて、幸福で最も利益を得るであろう者に譲渡する義務があることを否定する多くの倫理観がある。例えば、義務論的理論は、多くの場合、そのような行動は、私たち自身の所有物を手放す場合には超法規的であり、他の人の所有物を再分配する場合には許されないと考えている。

それにもかかわらず、非差別的な譲渡金、政治的平等、生殖の自由などの広く受け入れられている原則は、すでに深刻なトレードオフを提示するのに十分なものかもしれない。高度なAIによって引き起こされた人間の失業を相殺するために、税金で賄われる普遍的なベーシックインカムという共通の提案を考えてみよう。急速に繁殖するデジタル・マインドの集団が、少なくとも生物学的人間と同じくらいの強い要求をベーシック・インカムに対して持っているとすれば、財政能力はすぐに枯渇する可能性がある。一方、所得が均等給付に基づいて配給される不均等給付は、生活費の低いデジタル・マインドに支払いを回すことになり、人間に1日を与えるのではなく、デジタル・マインドに1年の生活を与えることになる。

このような結果を避けるためには、少なくとも同等の道徳的地位とより大きなニーズを持つデジタル・マインドよりも優遇された人間が優遇されるという不平等な扱いと、デジタル・マインドの生殖機会の制限、つまり人間に適用された場合には生殖の自由の原則を侵害するような制限の組み合わせが必要になるように思われる。

同様に、政治的なレベルでは、民主主義の原則は、人口の巨大な超多数を占める多産なデジタルマインドが、送金の支払いや財産権の制度のコントロールを含む政治的なコントロールを受ける権利を与えることになるだろう。

ここでは、人間のための特別な特権を守ろうとする道を歩むことができる。例えば、契約主義者のセオリーの中には、もし人間がデジタル・マインドと比較して大きな力を持つ立場にあるならば、それに応じて資源の大きなシェアを得る権利があると示唆するものがあるかもしれない。あるいは、客観的に等しく偉大な砂漠と道徳的地位を持つ部外者よりも、共同体や種が自国民のメンバーを優遇する 権利があるという、エージェントとの相対性に関する何らかの説明を採用することも考えられる16 。

しかし、この道に進む前に、かつては広く採用されていたが、その後は信用されなくなり、多くの人間集団への弾圧や、人間以外の動物への虐待を正当化するために使われてきた同様の立場の歴史的記録を注意深く、批判的に振り返る必要があるだろう。例えば、デジタルマインドと人間の間の差別を擁護することは、人種至上主義の教義を支持することに似ているのではないか、と問いかける必要があるだろう。

ここで心に留めておくべき点の一つは、デジタルマインドには多くの種類があるということである。それらのいくつかは、人間の心が猫のそれにあることよりも、互いにより異なるだろう。デジタルマインドが人間のマインドとは全く異なる形で構成されているのであれば、それに対する私たちの道徳的義務が他の人間に対する義務と異なっていても不思議ではない。もちろん、この点は、生物学的な人間の心と非常によく似たデジタルの心（例えば、全脳エミュレーション）には適用されない。また、より大きな道徳的地位（スーパーペイシャント）を与える方法で人間の心とは異なるデジタルの心に対して否定的な差別を正当化するものでもないし、そのニーズが人間のニーズ（スーパー受益者たち）よりも道徳的に重くなるような方法でもない。また、後者は非常に広範で恐ろしい虐待に悩まされているので、それは問題のために、私たちの現在の動物との相互作用のテンプレートに従って、人間以外の生き物と同じような能力や感覚を持つデジタルの心を扱うことを正当化するであろう。

人間の特権的な扱いを正当化しようとする一つの方法は、人間の同種に対する生々しい人種差別のような偏見を仮定することなく、私たちが遠隔地の見知らぬ人よりも、私たちの共同体や社会生活に密接に溶け込んでいる存在に対して、より大きな配慮をする権利がある（あるいは義務がある）という何らかの原則を呼び起こすことであろう。しかし、このような動きは、例えば管理者、アドバイザー、工場労働者、パーソナル・アシスタントとしての役割を担うことで、私たちの社会構造の一部となっているデジタル・マインドを排除することにはならないだろう。私たちは、地球の反対側にいる見知らぬ人間よりも、そのような AI とより密接に社会的に結びついているのかもしれない。

4. 議論

デジタルスーパー受益者へのルートが多く、その可能性をより強固なものにしていることがわかった。それは、現在最も一般的な幸福度のアカウントの暗示である。

これが意味するのは、長い目で見れば、世界が私たちが知っているような生活ではなく、デジタルなスーパー受益者によって人口化されている範囲では、全体の幸福度ははるかに高くなるということである。そして、そのような存在が存在する限り、彼らの関心事は、例えば希少な天然資源をめぐる人間や動物の関心事と対立して、道徳的に優勢になるかもしれない。

しかし、現存する人類の幸福に最大主義的に焦点を当てるか、あるいはその代わりに新しいデジタルマインドの幸福に焦点を当てると、相手側に悲惨な結果をもたらす可能性があるが、両方の基準で妥協した政策が非常にうまくいく可能性がある。3つの可能性のある政策を考えてみよう。

• A　資源の100%を人間に
• B　資源の100%をスーパー受益者に
• C　資源の99.99%をスーパー受益者に,0.01%を人間に。

全体的な功利主義の観点から見ると、(C)は最も好ましい選択肢(B)とほぼ99.99%同じくらいになる。普通の人間の視点から見ると、(C)は最も好まれる選択肢(A)と同じくらい90%以上望ましいかもしれない。このように、(A)と(B)の両方の確率を下げることは、(C)の可能性を高めることと引き換えに魅力的であるように思える。同様に、人類は超人的に悪い生活を生み出さなくても繁栄することができ、そのような不幸を回避することは、総合的な利他主義の観点からだけでなく、他の多くの評価の観点からも非常に重要な関心事であるため、（たとえ人間に多少のコストをかけてでも）超効率的な不価値の生産の可能性を低減する方策は、コンセンサス政策の重要な部分となるだろう。

より大きな課題は、人類とデジタル・マインドの集団が共に非常にうまくやっていける可能性のある未来を記述することではなく、第 3.2 節で議論したように、一方の当事者が他方の当事者を踏みにじることを安定的に回避できるような取り決めを実現することである。

この課題には、現実的な側面と道徳的な側面がある。現実的には、人間と動物の利益を保護する政策が、その受益者が数で勝り、能力の高い多様な知的機械に追い越されても、無期限に維持されるような制度やその他の手段を考案することが問題である。この問題に対する一つのアプローチは、この結果を維持し、関連する規範や制度を維持するために（デジタル・マインドの次世代の設計を含めて）やる気のある高幸福デジタル・マインドの超多数派を作り出すことかもしれない。

道徳的に、問題は、前もっての妥協案によって推奨された措置が、事後的に実施された場合に許容されるかどうかである。ここでの一つの有用なテストは、類似の状況下で非デジタルマインドへの適用を支持できるかどうかである。例えば、提案されたアレンジメントが、以下のような無差別の原則に準拠していることを要求するかもしれない(Bostrom and Yudkowsky, 2014)。

基質非差別の原則

二つの存在が同じ機能と同じ意識的経験を持ち、その実行の基質だけが異なるならば、その存在は同じ道徳的地位を持つことになる。

であり

存在性無差別の原則

2 つの存在が同じ機能と同じ意識的経験を持ち、その存在がどのようにして生まれたかという点だけが異なるならば、それらの存在は同じ道徳的地位を持っていることになる。

これらの原則を適用する際には、機械の心は人間の心とは大きく異なるものであるということを、先ほどの指摘を思い出すことが重要である。上記のような無差別の原則を受け入れたとしても、人間の心の正確な複製ではないデジタル・マインドに適用する際には注意が必要である。

例えば、生殖について考えてみよう。もし人間が庭の残骸を生化学反応器に流し込むことで、数分おきに子供を産むことができたとしたら、人間社会は現在の法的慣行を変えて、人間が生殖することを許される率に制限を課す可能性が高いと思われる。それができなければ、どんな社会幸福制度もすぐに破綻してしまうだろう。このような規制は様々な形で行われるだろう。将来の親は、子孫を作る前に子孫のニーズを満たすのに十分な保証金を提出することを求められるかもしれないし、生殖許可証はクォータベースで割り当てられるかもしれない。同様に、もし人間が自分自身の正確な複製を任意の数だけ産み出す能力を持っていたとしたら、政治的な争いが、誰が喜んで最大数の投票権を持つクローンを作る余裕があるかに基づいて決定されないようにするための憲法上の調整があると予想されるかもしれない。この調整には様々な形が考えられる。例えば、このような複製を作成した人は、自分が作成した複製と自分の投票権を共有しなければならないかもしれない。

したがって、人間がこの種の生殖能力を持っていたとしても、そのような法的・憲法的な調整は容認できるのと同様に、そのような能力を持つデジタル・マインドに対応するために類似の調整を行っても容認できるかもしれない。

重要な問題は、確かに既存の生命の観点から見ると、人間の権利と特権を保持することを確実に支持するように新しい心を設計することが道徳的に許容されるかどうかということである。私たちは先に、保存された人間の財産権と社会的特権のこのような配置は、基本的な道徳理論のレベルで最適であるかどうかにかかわらず、少なくとも、不確実性を尊重し、紛争を和らげる賢明な実用的妥協の道筋として、防御可能であることを示唆した。私たちは、高齢者、障害者、白サイ、英国王室など、高額な支援費用やニーズを持つマイノリティを保全し保護することは道徳的に許容されるという共通の見解を、類推して指摘するかもしれない。この結論は、作成されたデジタル・マインド自身がこの協定を支持し、その継続を支持していると仮定すれば、さらに強化されるように思われる。

しかし、その結果自体が道徳的に許されるものであったとしても、さらなる倫理的な問題に直面することになる。すなわち、私たちが作成した新しいデジタル・マインドの好みを精密にエンジニアリングして、彼らの同意を確実にすることに手続き的に拒絶できるものがあるかどうかということである。私たちは、この問題を無差別原則のレンズを通して見て、人間の子供の嗜好を同様に形成する提案をどのように見るかを検討することができる。

人間の文化は、親孝行や既存の規範や制度への敬意などの規範や価値観を子どもたちに伝えるために、教育、対話、諭しを通して日常的に試みているが、遺伝子操作による遺伝子組み換えによって特定の性向を植え付けようという提案の方が、より議論の余地があるだろう。安全性、不平等なアクセス、抑圧的な政府による虐待、あるいは親が心の狭い、あるいは愚かな選択をすることへの現実的な懸念はさておき、子孫の傾向を詳細にコントロールする行為そのものが、特に「工学的な考え方」で行われ、コントロールされた対象者自身の心や意思を完全に迂回する方法を用いて行われる場合（対象者が生まれる前に行われる場合）は、本質的に道徳的に問題があるのではないかという懸念が残るかもしれない18 。

ここではこれらの懸念を完全に評価することはできないが、デジタル・マインドの場合には2つの重要な違いがあることに注意したい。

第一に、人間の生殖とは対照的に、クリエーターが優先することができる明らかな「デフォルト」が存在しない可能性があるということである。プログラマーは、マシン・インテリジェンスを構築する際に、必然的に選択をすることになるかもしれない。そのような選択をしなければならないことを考えると、より望ましい結果をもたらす選択をすることが合理的だと考えるかもしれない。

第二に、ある特定の欲求のセットを持つように「設計」された人間の場合、私たちは、より深いレベルで、設計された選好が競合する可能性がある他の気質や傾向が残っているかもしれないと疑うかもしれない。例えば、その結果、両親を失望させることに非常に罪悪感を感じ、他の関心事を過度に犠牲にしたり、彼女の精神の隠された部分が抑圧され、妨げられたままになってしまうのではないかと心配になるかもしれない。しかし、デジタルマインドの場合には、内部的にもっと統一されるように設計することができれば、あるいは、「レガシー」人間の集団の利益を尊重することを好むことが「軽いタッチ」的方法で追加された場合には、内部の争いを発生させず、デジタルマインドが他の仕事について行く能力を妨げないようにすることができれば、そのような問題を回避することが可能かもしれない。

全体的に見ると、デジタルスーパー受益者の創出と大幅に繁栄した人類の保存を可能にする成果は、非人間的な評価基準と人間中心の評価基準の両方で非常に高い評価を得ることができるように思われる。リスクが高く、取り返しのつかない発展の可能性があることを考えると、そのような結果に到達するためには、道徳的に受け入れられ、現実的に実行可能な道筋をマッピングすることに大きな価値があると思われる。