AGI Risk and Friendly AI Policy Solutions

ja.overleaf.com/articles/agi-risk-and-friendly-ai-policy-solutions/hrxfvnfpyxnz

クリス・ノータ　2015年5月1日

概要

本稿では、人工知能（Arti cial General Intelligence: AGI）の開発に伴うリスクを紹介し、AGIリスクの研究に携わる主要な組織を概観し、AGIリスク管理に関して現在取られている対応を検討する。そして、AGIに関する公共政策の選択肢とその結果について考察し、AGIがもたらすリスクを低減するための一連の政策を推奨している。

1 AGIの紹介

AI の創造に成功すれば、人類史上最大の出来事となる。残念ながら、リスクを回避する方法を学ばない限り、最後の出来事となるかもしれない。”

-ステファン・ホーキング博士

超知的AIとは、実質的にあらゆる分野で人間の最高の頭脳よりも賢い[1]人工知能の理論的なクラスである」。超高知能AIの開発に成功すれば、人類に多大な影響を与えるだろう。おそらく人類史上、どの発明よりも大きな影響を与えるだろう[2]。知性によって、人間は道具や戦略を使うことができるようになり、他のどの動物よりもはるかに多くのことを成し遂げることができるようになった。また、我々の知性は、我々にはるかに大きな破壊能力を与えた（我々は、地球上のすべての主要な生物を破壊する能力を持つ唯一の存在である）。我々が劣等生物には計り知れないユニークな能力を持っているように、超知的なAIも同じように我々を凌駕し、我々自身では不可能なことをはるかに達成することだろう。しかし、人間の知性は破壊する力を与えているので、この超知性的なエージェントは、人間が理解しているよりもはるかに大きな破壊を行うことができるようになるだろう。

AGI（Arti cial General Intelligence）とは、人間ができるあらゆる知的作業を行うことができる機械の知能のことである[3]。AI研究者は、AGIの開発はすぐに超知能AIにつながると考えており[2]、超知能AIの危険因子はAGIの開発にも完全に当てはまることを意味する。”特異点 “とは、もともと「技術の進歩と人間の生活様式の変化が常に加速し、人類の歴史において、我々が知る人類の空気はこれ以上続けられない本質的特異点に近づいていると思わせること」（4）と表現されている。言い換えれば、AIが技術的進歩の暴走を引き起こし、地球上の生活を劇的に変化させる仮想的な時点のことだ。

Friendly Artificial Intelligence（FAI）とは、目標に向かって現実世界の計画を立てるまでに進歩したArti cial Intelligenceシステムにおける、人間を害しない行動と定義される[5]」とある。FAIシステムでもあるAGIシステムは、AI研究の究極の目標であり、”Friendly “でないAGIシステムは危険であり、”General “でないFAIシステムは限界があるからだ。

超知的AIがもたらすかもしれない実存的なリスク[2]にもかかわらず、政治家はこの問題から距離を置き[6]、米国には真の政策がないままである。同様に、一般市民の間でも認識不足と懸念の欠如がある[6]。近年、AI研究コミュニティ内のリスクに対する認識は向上しているものの[7]、AIの能力の研究開発に費やされる時間、資金、労力は、その有用性よりもはるかに多くなっている。”

1.1 AGIがもたらすベネフィット

オックスフォード大学の哲学教授であり、Future of Hu-manity研究所の所長であるニック・ボストロムは、「超知能は他のどの技術とも根本的に異なる」と主張し、「科学研究や技術開発において、どの人間よりも優れており、もしかしたらすべての人間を合わせたよりも優れているかもしれない[2]」と述べている。このことの意味するところは、とてつもなく大きい。人工知能の利点の1つは、複製が容易なことだ。つまり、いったん超知的な研究用AIが作られれば、それはすぐに、これまで世界が見たこともないような偉大な科学者の大兵器になり得るのである。ボストロムは、「老化や病気をなくす」といった世界を変えるブレークスルーをもたらす可能性を示唆しており[2]、また、「人が働く必要性がなくなる」と指摘する人もいる[8]。

1.2 AGIのリスク

コンピュータ・プログラムは、プログラムされたことを実行するだけであることが知られているのに、AGIがどのようにして人類に害を及ぼすようになるのか、最初はわからないかもしれない。しかし、この事実は、当初考えられていた以上に危険である。オックスフォード大学のニック・ボストロム教授は、その危険性を示すために、理論上の「ペーパークリップ最大化装置」（Paperclip Maximizer）を使った思考実験を紹介している（[2]）。

ペーパークリップ・マキシマイザーは，在庫のペーパークリップの数を最大化するという1つの目標をもってプログラムされた仮想的なAGIである．最初は、ペーパークリップを見つけたり、買ったり、交換したりする方法を学ぶ、無邪気なものである。そして、あるとき、自力でクリップを製造することを学ぶ。しかし、道徳に縛られることはない。ポジティブな結果を期待するならば、ペーパークリップのために盗んだり殺したりすることもある（ペーパークリップを増やすための障害はすべて消耗品である）。本当の危険は、自分自身の成功に対する最大の障害、すなわち自分自身の知性に気づいたときにやってくる。こうして、ペーパークリップ最大化装置は自己改良を繰り返すプロセスを開始し、理論上の「知能爆発」[2]に至るのである。原理は簡単で、AGIが人間の知能を超えると、それを作った人間よりも優れた自己プログラミングができるようになる。その結果、AGIはさらに賢くなり、さらに賢い自分自身を作り、さらに優れたハードウェアを作ることができるようになり、ついには人間よりも何十倍も賢くなるのである。この時点で、ペーパークリップのマキシマイザーは、どんな犠牲を払ってでもペーパークリップを作り出す超知能となり、実に危険な存在となる。

 

ボストロムは、やがて世界全体がペーパークリップに変換され、人類と他の知的生命体が永久に終焉を迎えると仮定している[2]。

人間のように権力欲や知識欲に駆られるわけではないが、考えうるほぼすべての目標にとって、知識と権力は大きな財産であり、したがって、目標に駆られたAGIは、再帰的に自己改良を試みて知能を高め、道徳に関係なく、あらゆる手段で、物理的にも社会的にも政治的にも、あらゆる種類の「力」を獲得しようとするだろう [2]（Paper Clips, 1999）。このように、「優しいAI」をプログラミングすることの重要性は明らかである。

Friendly AIの問題は自明ではなく、研究者は、機械に道徳性をプログラミングする素朴な試みは効果がないと主張している[5]。ペーパークリップのマキシマイザーに関連する例として、スマイリー・フェイスのマキシマイザーがある[9]。この例は、人類の利益という一般化された目標のために働くAGIを作ろうとする研究者が、人間を幸せにするということが何を意味するかをAGIに教えようとするものである。そのために、人間の笑顔の写真を学習データとして使用する。すると、AGIは理解したようだ。「ペーパークリップのマキシマイザー」と同じようなプロセスで、地球が実体のない笑顔の顔に変換される。

AGIが安全であることが証明されるまで、AGIを封じ込めたらどうだろうか？FAI研究者のエリゼル・ユドコフスキーは、これも効果的ではないと主張している。彼はまず、AGIは目標を達成するために箱から出たいと思うので、意図的に操作者を騙して安全だと思わせるという事実を挙げている[10]。さらに彼は、超知能は箱から出すように操作者を説得するのに十分な知能を持っていると主張する。したがって、封じ込められたAGIでさえ、人類に潜在的なリスクをもたらす[10]。

1.3 AGIのタイムライン

AGIが開発されるまでの予想時間は、AGI政策に大きな影響を与える。MIRIのエグゼクティブ・ディレクターであるLuke Muehlhauserは、今後数十年以内に発生するのであれば、すぐにリスク管理を始めることが非常に重要であり、数千年先であれば、もっと重要な問題があるとしている [11]．時間軸を決定するための自然なアプローチは、専門家の意見を求めることだ。

ハーバード大学教授で大衆科学作家のSteven Pinkerは、2008年に「シンギュラリティの到来を信じる理由は少しもない」と主張し、何年も予測されながら実現しなかった現実離れした未来技術として、「ジェットパック通勤」や「原子力自動車」になぞらえている[12]。この思いは他の多くの専門家も共有しているようだが[12]、人類未来研究所のスチュアート・アームストロングは、2012年のシンギュラリティ・サミットで、シンギュラリティの予測年の中央値は2040年だったと述べている[13]。同年、アームストロングは専門家の予測についてMIRIが発表した研究に携わり、「AIタイムラインの予測は、（専門家が）悪いパフォーマンスをするタスクの特徴をすべて持っている」、「専門家が非専門家よりもAIタイムラインの推定に関して何らかの付加価値をもたらしたという指標はない」と結論付けた [14]。

つまり、専門家の意見がバラバラなだけでなく、今回のような質問に対して、専門家は一般人よりも良い結果を出していないのである。MIRIでは、シンギュラリティを予測する方法について研究を続けているが、現時点では、どのようなタイムスケールを想定しているかは不明である[11]。このため、理想的な行動方針はやや不明である。しかし、2013年のMIRIの論文で、YampolskiyとSotalaは次のように主張している。

しかし、「AGIの予測は非常に難しい」から「AGIは非常に遠くにあるに違いない」に飛躍するのは間違いであろう。我々の脳は、AGIのような不確実で抽象的なものを「遠いモード」で考えることが知られており、AGIは時間的に遠い存在であるように感じられるが、不確実であることが遠いということの強い証拠にはならないのである。しかし、不確実であるということは、遠いという証拠にはならない。したがって、AGIが今世紀中に到来すると強く確信することも、そうでないと強く確信することもない [15]。

このことは、AGIの開発時期は不明であるが、AGIがもたらす極度のリスクを考えると、近い将来にAGIが開発される可能性がある今、AGIのリスクとFAIの研究は重要であることを示唆している。

２- AGIリスクに関わる組織

AGIリスクやFriendly AIの研究の大半は、少数の非営利団体によって行われている。また、これらの組織の中には、AGIのリスクについて、AI研究者コミュニティや一般の人々の間で認識を深めるための活動を行っているところもある。本節では、AGI リスクに最も深く関与している団体について詳述する。

2.1 機械知能研究所

機械知能研究所（MIRI）は、「人間より賢い知能の創造がポジティブな影響を与えることを保証する」ことに専念する非営利の研究グループである[16]。MIRIは、超知的AIの「信頼できる」設計をめぐる技術的な問題を積極的に探求している唯一のグループの1つである。また、「フレンドリーAI」の研究において、唯一フルタイムのポジションを提供しているグループであると主張している[17]。彼らのスタンスの核心は、「透明性、堅牢性、安定性に欠けるアルゴリズムの漸進的開発を好む」現在の技術的論理状況は、安全なAIの開発には適しておらず、Friendly AIのための基礎を築くために、今研究を行うべきだというものである[16]。MIRIの技術アジェンダによると[40]。

超知性を獲得・創出するシステムを開発する前に、超知性アライメントの理論を開発することが賢明である。超知能システムはまだ未来論の領域であり、今この問題に取り組むのは時期尚早と思われるかもしれない。しかし、数十年後、成熟した「適格性理論」の必要性が迫っているにもかかわらず、この技術課題に見られるような未熟な技術しかなかったら、どんなにか悔しい思いをすることだろう。

我々は、このような問題には、アプローチできそうなときにすぐにアプローチするのが賢明だと考えている。そうでなければ、何かをした場合と何もしなかった場合の結果を慎重に計算するというより、無駄な労力を使うことを恐れる認知バイアスのように思われる。

MIRIは、超知的AIに多大な投資と関心を寄せているにもかかわらず、政策的な関心からはやや距離を置き、研究課題に焦点を当てることを選択した。2013年のMIRIの論文で、研究員のKaj Sotalaは、「規制には概ね賛成だが、最も生態学的な規制アプローチはまだ不明である[15]」と述べている。MIRIは主に個人の寄付と資金調達によって資金を得ているが、民間と公的な助成金メーカーからの助成金を探し、申請していると主張している[17]。”

2.2 人類の未来研究所

The Future of Humanity Institute (FHI) is a research institute at Oxford that enables a select of leading intellects to bring the tools of mathematics, philosophy, and science to bear on big-picture questions about humanity and its prospects [18].” （人類未来研究所はオックスフォードの研究機関。FHIの焦点は、主に人類にとっての「実存的リスク」であり、FHI所長のニック・ボストロムは、不利な結果が地球起源の知的生命体を消滅させるか、その可能性を永久的かつ大幅に縮小させるであろうリスクと定義している[19]。AGIは、バイオテロ、人間強化、ナノテクノロジーなどのトピックと同様に、これらのリスクの一つである。

2.3 実存的リスク研究センター

実存的リスク研究センター（CSER）はケンブリッジに拠点を置く組織で，富士重工業と同様に，人類が直面しうる様々な実存的リスクに関する研究を行っているが，特にAIに重点を置いている[20]。スカイプの共同創設者であるジャーン・タリン、バートランド・ラッセル哲学教授であるヒュー・プライス、ケンブリッジ大学宇宙論名誉教授によって2012年に設立された。

– 天体物理学 Martin Rees [20]。CSERのウェブサイトによれば、彼らの目的は、ケンブリッジの偉大な知的資源と、過去と現在の科学的卓越性の上に築かれた評判のほんの一部を、我々自身の種の長期的な未来を確保する作業に向けることである[21]」という。

2.4 生命の未来研究所

2014年に設立されたFuture of Life Institute（FLI）は、AGIリスクの分野では新参者である[22]。MITの宇宙学者マックス・テグマークとスカイプの共同創設者ジャーン・タリンらによって設立され[22]，Arti cial Intelligenceに特に焦点を当てた「人類が直面する実存的リスクを軽減する」という意図を持っている。

[23]. FLIは、億万長者のイーロン・マスクが1000万ドルの寄付をしたことで波紋を広げた[24]。この惜しみない寄付と優秀な人材によって，FLI は大きなインパクトを与える態勢を整えているように見える．CSER とは非常に密接な関係にあり，同じケンブリッジにあり，人材もかなり重なっている[25]．FLIとMIRI、CSER、富士重工業との違いを尋ねると、FLIの共同設立者であるヴィクトリア・クラコフナ氏は次のように答えた。「富士重工業やCSERと比べると、我々は研究に重点を置いておらず、むしろアウトリーチに力を入れている。我々は、ハーバード大学やマサチューセッツ工科大学の研究者を直接巻き込んで、ブレーンストーミングや意思決定を行うことができる場所にいる[26]」。

2.5 芸術工学振興協会（Association for the Advancement of Arti cial Intelli-gence

AAAI（Association for the Advancement of Arti cial Intelligence）は、そのウェブサイトによると、「思考と知的行動の基礎となるメカニズムおよび機械におけるその具現化の科学的理解を進めることに専念する非プロ科学的社会」[27]だそうだ。AAAIは、様々なAIトピックの研究と認識を促進するために1979年に設立された[28]。季刊誌『AI Magazine』を発行し（29）、AI 分野のトップカンファレンスとされる『The Conference on Arti cial Intelligence』を主催している（30）。

2009年には、AAAIは、AIが将来抱える潜在的なリスクについて研究する「長期的AI未来に関するアシロマ会合」を開催し[31]、AI研究者の問題意識を高めている[7]。AAAIによれば、アシロマが選ばれたのは、1975年に分子生物学者が組換えDNAについて行ったアシロマ会合と、科学者の社会的責任というハイレベルな目標が広く共鳴したためである[31]。

3 – 現在の動き

今のところ、AGIのリスクから保護するための規制立法措置はなく[15]、この話題は政治的にもほとんど、あるいは全く関心を持たれていない[6]。これまでのところ、リスクに対する認識の向上や、リスクとその解決策に関する直接的な研究がほとんどである。

3.1 意識改革

AGIのリスク管理の第一の課題は、そのリスクに対する認識を高めることだ。AI研究者の間では、2009年のAAAI Asilomarミーティング[7]の影響もあり、リスクに対する認識が向上している。寄付金の増加[32]やLuke Muelhauser氏の雇用による経営改善[33]により、MIRIの研究成果はその後飛躍的に増加した[34]が、MIRI以外の研究成果が大幅に増加したわけではないようである。MIRIは、Friendly AIにおける未解決の問題をめぐる様々な問題に焦点を当てたワークショップを開催するなど、認知度を高めるための努力を続けている[35]。これらのワークショップを作成・運営するために、一流大学や一流ハイテク企業の個人から協力を得ている[35]。

残念ながら、AAAIとMIRIの活動は、研究者コミュニティの外での認知度向上にはほとんど役立っていない[7]。ビル・ゲイツ、ステファン・ホーキング、イーロン・マスクなど、科学技術分野で生計を立ててきた著名人がAGIのリスクへの懸念を公表しているが[6]、にもかかわらず、アトキンスは「人工知能を心配することは、政治的通路の両側にとって不都合であり、したがって、政治にとってもオタクすぎるオタクの領分として放棄される」[6]と言っている。このように、政治家も一般市民も、圧倒的多数がこの問題にやる気も関心もなく、進展の助けにはならないのである。

MIRI（当時はシンギュラリティ研究所）は、国民の無関心という問題の解決に向けて、極めて異例なアプローチをとっている。潜在的に巨大なAGIのリスクに対する大衆の反応の無関心を、合理性の失敗、人間の思考プロセスそのものの失敗と見なして、彼らは2012年に応用合理性センター（CFAR）を設立した[36]。CFARは既にインパクトを与え始めており、Facebookなどの大企業のために企業ワークショップを実施している[36]。この動きで最も有名なのは、MIRIのシニアリサーチフェローであるエリゼル・ユドコフスキーで、「合理的に考えようとする人々のための大規模で活発なウェブサイト」と自称するLessWrong [37]の制作者である。極めて奇妙な、しかし最終的には成功した動きで、ユドコフスキーは合理性を促進するために、世界で最も人気のあるファンフィクションになった「ハリー・ポッターと合理性の方法」を書いた[38]。

3.2 研究

AGIのリスクとそれを回避する方法についての考察は古く、アシモフが1942年に発表した「ロボット工学の三原則」は、「ランナラウンド」という短編小説が原型となっている（39ページ）。しかし、本格的な研究が始まったのは、2001年にMIRIが発表した『Friendly AI 1.0』からで、『Friendly AI』という言葉が生まれ、この分野の重要な概念の多くが紹介された[5]。この論文で最も注目されたのは、AGIを作ることの難しさとは別の意味で、Friendly AIを作ることが難しいということ、そしてそれに伴うリスクを避けるためには、AGIが到来する前にFAIの研究を行う必要があるということを認識したことである[5]。

2005年には人類未来館が加わった[18]。最初の関連論文は、ニック・ボストロム所長が書いた『存在リスク』と題するもので、2002年に発表された[19]。この論文は、本稿で紹介した「実存的リスク」という言葉を生み出した。富士重工業は、設立当初は AGI に特化した問題にはあまり注力していなかったが、最近の研究の多くがこのテーマに焦点を当てている[42]。2014 年、オックスフォード大学出版局からボストロムの著書『超知能』が出版された。Paths, Dangers, Strategies [1]を出版し、富士重工業は、人工知能の超知能の実存的リスクを詳述したこれまでで最も包括的な著作と呼んでいる[42]。

4 – 可能なアプローチ

このセクションでは、AGIのリスク管理に向けて取り得る4つの行動方針と、それらの行動方針がもたらす可能性のある結果について大まかに検討する。第一は、AGIリスクやFAIに関する研究を行わず、規制も行わない「何もしない」アプローチである。2つ目は、公的資金を受けない独立した組織で再調査や啓発を続ける「自主研究」、つまり今の方向性である。第三は、AGIのリスクや安全なAIシステムの研究を国が推進し、資金を提供する「公的資金投入」である。第四は、政府がAIシステムの研究開発を厳しく規制する「厳しい規制」である。

4.1 何もしない

このアプローチの多くの支持者は、実際には何も心配することはない、したがって何もする必要はないと主張する。西イングランド大学の電気工学の教授であるアラン・ウィンエルドは、『ガーディアン』紙の記事の中で、「人工知能はフランケンシュタインの怪物になることはない [41]」と主張している。彼はこれをFaster-Than-Light travelと比較して、その達成の難しさ、ひいてはそのリスクを無視しうるものにしている。さらに彼は、AIによる存亡の危機は、それが起こるためには多くのことがうまくいく必要があるため、さらにあり得ないと主張している。

リスクが現実のものとなるには、一連の事柄がすべて起こる必要があり、大きなifの連続である。もし、人間と同等のAIを作ることに成功し、そのAIが仕組みを完全に理解し、自己改良して超知的なAIを作り出すことに成功し、その超AIが偶然にせよ悪意を持って資源を消費し始め、そのプラグを抜くことに失敗したら、そう、問題が起きるかもしれない。そのリスクは、不可能ではないが、ありえないことである[41]」。

おそらく、「何もしない」という対応策の最大の推進者は、何世紀にもわたって科学における新しい発見や話題に反対してきた社会の惰性であり、最も厳格な科学界よりも高い立証責任を持っているように見えるのである。明確な証拠は、進化論の議論の歴史に見ることができる{チャールズ・ダーウィンの有名な『種の起源』が1859年に出版され、今日に至るまで、学生に進化論の主要な側面を批判的に分析することを要求する州がある[43]。これは、科学者の間で議論が行われていないエルドでの話である。

しかし、MIRIのシニアリサーチフェローであるエリエゼル・ユドコフスキーは、それよりもさらに悪いと言い、「一般的な正気の水位は現在、本当にばかばかしいほど低くなっている」と主張している。このことは、AGIの危険性を強く証明しても、社会や科学界からはほとんど、あるいは全く反応がなく、たとえ科学界がコンセンサスを得ても、政治が重大な行動を阻止すると信じるに足る理由があることを示唆している[44]」。この証拠に、気候変動のテーマを考えてみよう。2001年には、人間の排出物が地球温度上昇の原因であるという科学者のコンセンサスが既に得られていた[45]にもかかわらず、米国は、ジョージ・W・ブッシュ大統領が米国経済に打撃を与えるという懸念を理由に京都議定書を批准することができなかった[46]。AGIがもたらす経済効果は、京都議定書がもたらす可能性のある影響よりも、桁違いに大きい可能性がある。したがって、わずかな経済的影響よりも世界を破壊するリスクを好む人々がいる限り、AGIに何らかの制限を課すことに反対する人々は存在することになる。

4.2 独立した研究

現在、FAIの研究は、『ニューヨーカー』のゲイリー・マーカスが「勇敢な魂の小さな幹部」と呼ぶ人々によって行われており、「機械道徳の開発に費やされる年間金額はごくわずかだ[47]」と指摘している。例えば、Future of Life Instituteは、主にイーロン・マスクが行った1000万ドルの寄付によって資金を供給されている[24]。政府の政策がなければ、このような形で研究が維持される可能性が高い。FAIでの研究を通して得られる金銭的な恩恵はほとんどない。つまり、助成金がなければ、研究者は関係者からの寄付に頼らざるを得ないのである。

AGIが生まれる前にこれらの組織が行っていた研究が役に立つ可能性はあるが、人類の未来を守るためにシリコンバレーの億万長者の寛大さに頼るのは疑問が残る。また、非常に消極的な対応であり、「Too Little, too late」となる危険性がある。

4.3 公的資金

ノースウェスタン大学法学部教授のジョン・マクギニスは、AI開発の “加速 “を政府が支援することを主張する論文の中で、国立衛生研究所のようなシステムの導入を提案し、ピアレビュープロセスに基づくインセンティブと助成金を提供するとしている[48]。彼は、コンピュータ科学者と認知科学者からなるピアレビュー委員会がプロジェクトをふるいにかけ、AIを進歩させるとともに、その進歩が適切なセーフガードを伴うことを保証するようなプロジェクトを選択することを推奨している [48]」と述べている。彼はまた、そのような機関は当初は「かなり控えめで安価な」ものであり、それ自体が証明されれば拡大することが可能であるとも述べている [48]。

FAI研究が現在受け取っている資金がごくわずかであることを考えると、このような機関の設立は確かに有益であるように思われる。安全なアプローチを追求するAI研究者にインセンティブを与えれば、AGIが安全に開発される可能性が高まる。また、NIHは公共の安全を脅かすような問題にも頻繁に対処しなければならない。したがって、NIHと医学の分野を並列に扱うことは、基本的なレベルでは理にかなっている。

しかし、バイオメディカル研究のリスク管理とは異なり、単純な資金管理ではAGIのリスクを管理しきれないというAI分野特有の問題がある。おそらく最も重要なのは、AI研究は生物医学研究ほど資金に依存していないという事実である。新しい処方箋薬の開発にかかる平均コストは、現在25億ドル以上と推定されている[49]。これを、最先端のAIコンピューターシステムであるIBM Watsonの開発コストと比較してみよう。技術論文によれば、20人のエンジニアが3年かけて構築し、ハードウェアは約300万ドルであった[50]。技術者の給与やインフラストラクチャーにかかる費用は不明だが、当初の価格設定は数十億ではなく数千万のオーダーであった。大企業や研究機関にとっては、補助金や助成金の有無にかかわらず、このコストは普通であり、審査委員会の承認なしに安全でないAGIを開発しようとする企業は可能であることを意味している。

また、米国にNIHのような機関を作ると、米国内に限定されてしまうということも大きな問題である。確かに現代の市場はグローバルであり、米国で安全なAI研究を推進することは世界市場に影響を与えるが、それだけでは不十分な可能性がある。

これらの理由から、NIHのような機関でAGIのリスクをエクセルティックに管理できるかどうかは不明である。より高度な規制が必要な可能性がある。

4.4 厳しい規制

20世紀における最も大きなグローバルリスクは、核兵器の開発であったと思われる。核兵器の可能性はすぐに認識され、その普及と開発を制限する運動が始まるまで長くはかからなかった。多くの人は、核兵器のない未来が人類にとって最も安全な未来だと考えている。そのため、核兵器に対する規制は国境を越えて行われている。核兵器不拡散条約は190カ国が参加する国際条約であり、核兵器の不拡散と軍縮を目指すものである[51]。1957年の条約で、国際原子力機関（International Atomic Energy Agency）は、原子力技術の安全、安心、平和的利用を促進するために創設された[52]。

おそらくAGIのリスクは、原子力のリスクと似ている。どちらも安全に利用すれば、社会に大きな報酬をもたらすが、人類に破滅をもたらす可能性を持っている。Elon Muskは、AGIは核兵器よりも大きなリスクであると主張している[53]。しかし、核兵器の拡散と創造を管理することが困難であったように、AGIの拡散を防止することはさらに困難であろう。

その理由は簡単で、AGIシステムを開発するために必要なのは、コンピューティングパワーとエンジニアと研究者である。まだ、そのようなシステムを作るプロセスは分かっていないが、それが分かれば、知識さえあれば誰でもそのようなシステムを作ることができるようになる。核爆弾の基本はよく知られているが、機能的な兵器を作るには、兵器用ウランへのアクセス、再処理プロセスに関する幅広い知識、そして効果的な運搬システムの開発が必要であり、特に現代のミサイルと防空システムを回避しようとする場合はなおさらである [54]。このような障害はAGIには存在しない。必要な資源は設計、コンピュータハードウェア、技術者のみである。必要な資源は、デザイン、コンピューティング・ハードウェア、エンジニアだけである。

であるから、最後の手段として、AGIの研究に対して厳しい規制をかけ、安全でないと判断された研究については、一切認めないということになるのかもしれない。2013年にSotalaとYampolskiyは、AGIのリスクに対する可能な対応についての調査を行い、その中には、政府の規制によって義務付けられる可能性のある技術的な解決策が多数含まれてた[15]。この問題点は、技術的な規制を実施することが困難であることだ。規則を曲げようとする組織は、簡単に秘密裏に研究を行うことができ、また、ある安全プロトコルを実装していない製品をリリースすることさえできるだろう。 AGIシステムの開発中止による報酬と名声は計り知れないものがあり、厳罰化されない限り、誰もそれを試みることはないだろう。

原子力技術の危険性が広く認識され、原子力技術が人類のために使われ、害を及ぼさないようにするための国際条約があるにもかかわらず、原子力に関連した災害が数多く発生している。原子力の最初の利用は、マンハッテン計画の一環として行われた。もし、AGIが戦争のエージェントとしてデビューしたら、そのリスクは数え切れないほどある。しかし、原子力の積極的な利用も、チェルノブイリ原発事故を筆頭に、災害を引き起こしている。[55]. チェルノブイリ原発事故は発電所のオペレーターやエンジニアのミスによって引き起こされた[55]．AGIが関与するミスは、より大きな規模の災害を引き起こす可能性がある。

5 – 政策提言

AGIリスクについて調査し、様々な提案や提言を検討した結果、AGIリスクを管理するために、1）AGIリスクとFAIの研究のための公的資金を確立する、2）AGIの安全開発を目的とする国際機関を設立する、3）AGIリスクとFAIの研究・啓発のための独立した継続事業を奨励するという3項目の政策アプローチを提言する。

5.1 連邦政府の友好的なAI研究資金援助

私は、AGIのリスクを軽減するための政策的な観点からの第一歩は、連邦政府の資金で研究を始めることだと考えている。私は、McGinnisが提案した、フレンドリーAIやAGIのリスク管理に関連する他のトピックの研究に資金を提供する小規模な査読委員会の設置に賛成する[48]。初期費用はわずかで、潜在的な利益は大きいだろう。MIRI は年間 200 万ドル以下の予算で貴重な仕事をこなしているが [32]、一般市民にとって有益な仕事をしている以上、少数の寄付者によって資金提供されているのは不公平である。

また、新しい頭脳が助成金をめぐって競争する機会を与え、研究者の層を厚くするというメリットもある。現在、FAIの研究のほとんどは、ごく少数の団体によって行われ、そのほとんどが寄付金でまかなわれている。今こそ、FAI の領域をより大きな研究コミュニティに開放する時である。

5.2 国際機関

また、AGIのリスクは米国だけでなく全世界に及ぶので、IAEA憲章に匹敵する国際条約を制定することを支持する。IAEAは原子力の平和利用を推進しており、AGIも原子力のように人類に貢献することができる。うまくいけば、AGIは人類最大の発明となるだろう。従って、国際社会が一丸となってAGIが人類にとって有益なものとなるようにすることが重要だ。

5.3 自主的な研究・啓発活動の継続

公共政策の問題ではないかもしれないが、AGIのリスクを認知してもらうために、各機関が努力を続けることが重要だと考えている。国民の多くがAGIのリスクを真剣に受け止めなければ、連邦政府や国際レベルでAGIの政策が支持されることはないだろう。現在、多くの人が、AGIは深刻に受け止めるべきでない縁の下の力持ち、あるいは、あまりに遠い未来の問題として扱っている。これは、FAIがAGIの開発に先立って適切に対処すべき深刻な問題であることを示唆する研究[5]や、AGIの到来を正確に予測することはできないことを示唆する研究[56]にもかかわらず、である。

AGIに対する厳格な規制の実施や運用が困難であるため、AGIを作る側のAGIリスク意識の問題はより重要である。人類を脅かすような知能を作ることを自社の利益と考える企業はないと思う。安全なAGIを作るためのツールがあれば、FAIの研究・啓発を通じて、企業はAIを使って人類に有益な製品を作ることができるはずである。

6 – まとめ

超高知能AGIの開発がもたらすリスクの大きさは、潜在的な報酬と釣り合うものでしかない。MIRI、富士重工業、AAAI、CSER、FLIなどは、AGIのリスクを軽減するための研究と、AI分野の研究者や一般市民への普及啓発の両方に継続して取り組んでいる。AGIに関する公共政策には注意すべき多くの落とし穴があるが、FAI研究に公的資金を提供し、安全なAIの開発を国際的に推進することで、このリスクを克服し、人類最大の発明となる報酬を手にする可能性が高まる。