エーアイ・バイ・デザイン | 人工知能と暮らすための計画 -1

Contents

内容紹介
著者紹介
謝辞
- 読んでくれて、ありがとう。
1 「夢遊スリープウォーキング・イントゥ・シンギュラリティ」 (Sleepwalking into Singularity）

チャップマン＆ホール/CRC 人工知能・ロボット工学シリーズ

キャトリオナ・キャンベル

2022年初版発行

内容紹介

著者紹介
謝辞
1 「夢遊病者のシンギュラリティ」 (Sleepwalking into Singularity）
2 AI by Designとフューチャーバックの方法論
3 AIの現状を恐れるべきか？
4 AIのガバナンスと規制の現状
5 AI倫理の現状
6 AIと私たちの未来への選択肢
7 ロードマップの作成 – 人工知能と共存するための計画
8 人工知能の新たな希望
おわりに
目次

著者紹介

カトリオナ・キャンベルは現在、世界最大級のプロフェッショナルサービス企業で、英国企業初のクライアントテクノロジー＆イノベーション担当として勤務している。心理学の学位を持ち、特にヒューマンコンピュータインタラクション（心理学とテクノロジーがより良いシステムを設計するための学問）の分野に関心を持っている。大学卒業後、バークレイズに入社し、同社初のデジタル部門責任者となる。2000年のドットコムバブル崩壊の直前に、ロンドンでUXとエクスペリエンスデザインのスタートアップを設立し、驚異的なタイミングの良さを発揮した。その後、生き残り、繁栄した後、2015年に世界最大の経営コンサルタントの1社に売却された。20年以上にわたり、顧客と協力して新しいデジタル・イノベーションを創造してきた。ストーリーテリングと優れた顧客体験の提供に情熱を傾け、Barclays、Sky、Vodafone、Skype、Dell、Heineken、Microsoftなどの企業と仕事をしてきた幸運な人だ。

キャトリオナは、世界各地に住んで働いた経験があり、6大陸すべてでプロジェクトチームを率いてきた。3人のすばらしい子供と2匹の犬、1人の夫、そして小さなニワトリの群れがいる。2005年、英国政府から最初のユーザビリティ・アクセシビリティ基準の策定を依頼される。2012年、ティム・バーナーズ=リー卿、ジョニー・アイブス卿とともにBIMAデジタル殿堂入りを果たす。現在、スコットランド政府のAI戦略を支援している。

謝辞

AI by Designへようこそ。人工知能と暮らすための計画-私の最初の本だ。この本を読んで、何か新しいことを学んだり、楽しんでもらえたらと思う。私は約25年間、テクノロジーの分野で仕事をしてきた。初期の頃は、自分の経験から深く知っていることについて記事を書いたり、カンファレンスで発表したりしていた。5年ほど前、私はAIに関心を持ち、興奮し、それについて書き始めた。比較的新参の私にとって、これは異なる経験だった。専門家でないことに違和感を覚え、偽者症候群に陥ってしまった。AI研究のブラックホールに入っていくうちに、理解すればするほど、自分が知らないことが増えていくことを知った。そのことが、さらに事態を悪化させた。しかしその後、AIは誰もが完全に把握するには大きすぎることに気づき、デザイン、心理学、ビジネス変革の経験が役に立っていることに気づいた。私は、大きなテクノロジーの変化を実現した人の視点から、課題を見つめることができた。私は自分の声を見つけた。それで、 (Netflixの素晴らしいドキュメンタリーから）「AIについて話す必要がある」というフレーズで子供たちを困らせた後、私は話すことにした。だから、そうした

この本の目的は、深刻なテーマについて、私の考えや経験を共有することだ。私はいつも、退屈になりがちなテーマに命を吹き込むストーリーテリングが好きなので、最近の過去の話も盛り込んだ。人間の歴史は同じ行動パターンを繰り返す習性があり、耳を傾ければ、失敗から学ぶことができる。私は人が好きなので、役に立つと思えば、人の話をした。また、AIがもたらす未来のシナリオを描いた5つのフィクションもあるので、ぜひ楽しんでほしい。

さて、長い旅路の末、私たちはここに印刷され、あなたのキンドル（他のデバイスも利用可能）に載り、すでに次のことを考え始めている。しかし、その前に、これまで私を助けてくれた人たちに感謝の気持ちを伝えたいと思う。一冊の本を書き上げ、出版するまでには長い時間がかかるが、それはまさにチームワークによるものである。スティーブン・アリソンには、リサーチと原稿作成を手伝ってもらい、彼の素晴らしいアイデアと物語を見る目に感謝している。夫のシオンは、歴史的な知識、編集、忍耐、そして出版社を探し出してくれたことで、勲章に値する。彼らはつかみどころのない獲物だ。1年経った今でも、何人かのエージェントからの返事を待っている。この本を信じてくれた編集者のエリオット・モーシアと、出版してくれたCRCプレス／テイラー＆フランシス・グループに感謝する。両親のマリーとコリンには、私に素晴らしい子供時代を与え、世界を旅し、私の目を開かせてくれたことに感謝する。兄のグラントは、私の最初のマーケティング・マネージャーで、現在は素晴らしいクリエイティブ・ディレクターとして活躍している。私の話に耳を傾けてくれた子供たちに感謝する。

読んでくれて、ありがとう。

カトリーナ・キャンベル

1 「夢遊スリープウォーキング・イントゥ・シンギュラリティ」 (Sleepwalking into Singularity）

大切なのは、疑問を持つことをやめないことだ。好奇心にはそれ自身の存在理由がある。

アルバート・アインシュタイン、1955年、『ライフ』誌

人工知能とは？

人工知能 (AI）は毎日、世界中で使われているが、おそらく皆さんはその量に気づいていないだろう。AIは、Netflixで次に見るべき作品を推薦したり、チャットボックスでカスタマーサービスの質問に答えたり、Tinderにアップロードしたばかりの露出度の高い写真にフラグを立てたりするために使われている。SiriのAIはあなたの声を聞き、Facebookのアルゴリズムはあなたが見るストーリーを決定し、AIはあなたの年金ファンドを管理するかもしれない。

つまり、意識的・無意識的に、私たちは毎日AI駆動のソフトウェアやアプリを使っている。しかし、AIの理解は不十分で、一般の人たちの間だけではない。AIが最も破壊的なテクノロジーのいくつかを支えているビジネスの世界でさえ、AIについて深くしっかりと理解している人はほとんどいない。しかし、AIはソーシャルメディアの時代よりもはるかに長い間存在している。1956年、AI創始者の一人であるジョン・マッカーシーは、機械が自ら考えることを意味する「人工知能」という言葉を生み出した提言を共同執筆している。彼はAIを次のように定義した。AIとは、「知的な機械、特に知的なコンピュータープログラムを作るための科学と工学」である。

ムーアの法則が証明するように、1960年以来、計算能力は毎年2倍になっている（ただし、これは減速しているようだ）。そのため、ハードウェアとクラウドコンピューティングの能力はパワーアップし、AIが必要とする膨大な計算能力への準備が整っている。現代のAIの第一世代は、Netflixのレコメンデーションや自動チャットボットなど、「Narrow-AI」と呼ばれるものである。機械学習 (ML）を使って、1つのタスクに関する情報をたくさん与えて自己学習することで、ナローAIはその精度を継続的に磨いていくる。人間のような一般的な知能は持たず、その特定のタスクにしか取り組めない。

コーダーはナローAIを温和にデザインしており、すべてがSiriのようにフレンドリーというわけではないが、それでも片目を開けて寝ることを考えたほうがいいかもしれない。それはなぜか？世界初のAIサイコパス、ノーマンが夜中にあなたの寝室に忍び込んでくるかもしれないからだ。幸いなことに、ノーマンがあなたを捕まえに来るというのは冗談で、彼は他の狭いAIと同じように、ひとつの仕事しかできないからだ。この場合、ノーマンができるのは画像キャプションだけだ。.画像の説明をテキストで作成する一般的な方法だ。MITのメディアラボの研究者たちは、ノーマン（ノーマン・「サイコ」・ベイツにちなんで命名）にたくさんの写真を見せて訓練し、ノーマン自身が説明文を覚えるようにした。インターネット上の陰惨で暴力的なコンテンツにノーマンをさらすことで、研究者たちはAIのアルゴリズムがいかに簡単に偏ったものになってしまうかを実証した。例えば、標準的なAIはあるインクブロット画像を「花瓶のクローズアップ」と表現するのに対し、ノーマンは「人が撃ち殺されている」あるいは下のような例だと言うのである。

インクブロット。(MITメディアラボ”NORMAN: World’s first psychopath AI」Pinar Yanardag, Manuel Cebrian, & Iyad Rahwan.) 狭義のAIをより邪悪なものに捻じ曲げるのに、それほど時間はかからないことはおわかりだろう。顔認識技術やDeepfakesは、発展途上の強力なnarrow-AI技術の2つの例に過ぎない。ここでは、一般人の偽物を作るためにすでに容易に利用できるディープフェイク技術について見てみよう。ディープフェイクは、オリジナルの動画や写真の画像をオンライン上のダミーに適用し、MLがオリジナルと比較してディープフェイクがどのように見えるかを完璧になるまで継続的にテストすることで作成される。2020年のイギリス代替女王演説では、エリザベス女王のディープフェイクが紹介された。ナローAI技術は、彼女の声、動き、周囲をコピーしたため、一部の視聴者は、女王がテーブルの上で踊り始めるまで、おそらく本物だと思ったかもしれない。

製品の偽造は、世界では何も新しいことではない。偽物のハンドバッグ、ウイスキー、海賊版ソフトなどは、21世紀のビッグビジネスである。もし、街角で売られているルイ・ヴィトンのバッグがすべて本物だったら、それは主流のブランドになっていただろうね。企業は、セキュリティチームやデジタルツールを使って知的財産を保護し、ブランドを取り締まるコストと利益のバランスを取っている。物理的なレプリカ商品を大量に生産しているのは、犯罪組織であることがよくある。このような犯罪は見過ごされがちで、地元警察の取り締まりが行われたり、大量の出荷が発覚したりしたときに初めて取り組まれる。それでも、物理的な製品を販売するリスクと、偽物の製造または「調達」のコストがある。デジタル偽造は、この町の新しいゲームである。

ソフトウェアのデジタル・コピー、映画や音楽の海賊版は 2000年代に入ってから存在していた。大企業が技術に追いつき、コンテンツ・プロバイダーがこの問題をうまくコントロールできるようになった。しかし、最新のトレンドであるディープフェイクソフトウェアと大量入手による潜在的な影響は甚大だ。例えば、有名人の偽の推薦を利用したインチキ製品の偽広告は、すでにBitCoin詐欺で大混乱を起こしているにもかかわらず、比較的無害に思える。しかし、反対意見や暴力を煽るようなフェイクニュースの報道を共有すれば、簡単に暴動や死者を出す可能性がある。Deepfakeの発行者は、偽の広告やストーリーでソーシャルメディアを氾濫させ、信奉者を自分たちの目的に引き込むことができる。あなたが別の場所にいたことを証明する写真やビデオを作成する新しい影のDeepfake産業は、あなたの犯罪の「無実」を証明することができる。2025年までには、政府もメディアも、厳然たる事実が虚構化されるのを避けるために、新しいツールやアプローチを考え出す必要がありそうである。そして、これはナローAIが持つ力と、それがどのように悪用されるかを示すほんの一例に過ぎない。

人工知能 (AGI）

さらに心配なのは、人工知能 (AGI）が、ナローAIよりも指数関数的に強力であるため、別のゲームになることだ。AGIはまだ存在しないが、役に立つことに、AGIが登場したときに私たちに教えてくれるかもしれない。1950年代、イギリスの数学者であり論理学者であるアラン・チューリングは、人間レベルの理性を持つ「思考機械」について語り、「人工知能」という言葉を使わずにこの概念を導入した。有名な「チューリング・テスト」や「イミテーション・ゲーム」は、機械が人とほぼ同じように物事に反応できるかどうかを判定するものである。毎年開催されるローブナー賞では、人間の審査員がチューリングテストを使い、AIチャットボットが審査員を騙して人間だと思わせることができるかどうかを判断する。現代のAIの要件には単純すぎるとみなされ、ローブナー賞はAI業界から様々な報道を受けている。実際、チューリングテストは狭い範囲のAI機能しかテストしないため、AGIをテストするのに十分洗練されているとは言えない。しかし、ローブナー賞が自然言語処理 (NLP）開発の旗振り役となったことは間違いない。NLPとは、コンピュータが音声を識別し、適切な応答をする方法だが、それ自体、言語のあらゆるニュアンスを考慮すると、難しい作業だ。

余談だが、あなたはおそらくほとんど毎日、気づかないうちにチューリング・テストを行っていることだろう。新しいウェブサイトに登録しようとしたり、パスワードをリセットしたりするときにあなたをイライラさせるCAPTCHAも、チューリング・テストの一つである。CAPTCHAは、”Completely Automated Public Turing test to tell Computers and Humans Apart”の略で、ボットを阻止するためにソフトウェアの登録プロセスに含まれるものである。ありがとう、チューリング! 悲しいことに、CAPTCHAは現在、ますます強力になるAIツールによって絶え間なくハッキングされ、サイバーセキュリティチームから嫌われはじめている。

AI by Design CAPTCHA。(With Thanks to fakecaptcha.com.) 研究者たちは現在、NLPのチューリングテストを越えて、より幅広いAIの特性を評価するテストを開発している。視覚チューリングテスト（視覚をテスト）やリバースチューリングテスト（人間がAIのふりをする）は、AGIが人類に気づかれずに私たちと共存するために必要な、より厳密なテストの一部なのである。私が個人的に好きなAGIのテストは、スティーブ・ウォズニアックの「コーヒーカップのテスト」である。これは、私の民族誌（人間の行動を観察する学問）のバックグラウンドと、「AIが知らない人の家に入ってコーヒーを淹れることができるか」という単純なことが好きなことにアピールしている。このテストは、物理的なロボット、ドアの操作、コーヒーメーカーの操作、食器棚の開閉など、幅広いAI分野が必要とされるため、それ自体がテストの集合体となっている。個人的には、AGIのタスクリストに不法侵入を追加するのは賢明とは思えないが、彼の言いたいことはわかる。

複数のAI能力テストに合格することは、AGIが、現在のナローAIが行っているような単一機能ではなく、様々なタスクを実行できることを示すことになる。このような複合的なタスクに合格することは、非常に大きな仕事であり、今のところ、どのAIもはるかに及ばないものである。最終的には、コミュニケーション、営業、交渉、そして共感など、より複雑な人間の仕事をAGIが引き受けるようになるかもしれない。SF映画のロボットはこのカテゴリーに入るが、より現実的なAGIの応用として、パイロット、会計士、不動産業者、セラピストなどのAGIが誕生する可能性がある。

AI分野のマップ

世界を再構築するAGIの可能性

AGIは生産性や生活の質を向上させ、地球上にブレイクスルー変化をもたらす可能性がある。例えば、世界の最大の死因の一つは飢餓だ。私たちはまだこれを解決していないが、AGIなら解決できるだろうか？世界の飢餓には多くの原因があるが、農業がその解決策の一部であることは誰もが認めるところである。農業は世界最大の産業の1つであり、一見するとAGIを導入できる産業には見えないかもしれない。ある100億ドルのグローバル食品科学企業は、すでに農学者よりもドローンパイロットを多く雇用している。なぜか？それは、データの質と量が重要だからだ。一般的に利用可能なデータセットでは競争上の優位性がほとんどないため、企業はデータを照合して差別化を図り、うまくいけば新製品を提供する新技術を試行している。50億ドル規模の伝統的な農業機械メーカーも、最近社内で「農業におけるテクノロジー企業」となるべく、その位置付けを変更した。例えば、トラクターはドライバーレスになる。GPSと気象データを使って、トラクターが耕し、種をまき、収穫し、同時に機械と燃料の効率を最適化することができる。このようなプロセスは、すべてナローAIである。このような新しいテクノロジーのエコシステムには、人間がその断片をつなぎ合わせ、潜在的なリスクを考え、段階的な改良を加えていくことが必要だ。

しかし、AGIはそれよりもはるかに大きな変革をもたらす。例えば、ドローンや衛星、地上の探査機で集めたデータを分析し、作物の収穫量や天候のパターンを予測し、それを消費者の需要と照らし合わせて、AGI駆動の機械を使ってリアルタイムで国ごとの生産を自動的に変更することが可能になる。そして、最適化された新品種の種子が設計され、栽培され、その土地に適した状態で出荷される。そして、AGIが自己最適化し、非効率な部分を取り除いていくのである。このAGIは、世界の飢餓を解決できるのだろうか？

AGIからASI (Artificial Super Intelligence)へと進化することが、AIの進化の次の段階であり、最終段階であるかもしれない。[余談だが、私は、ASIよりもADI (Artificial Dominant Intelligence)の方が、この段階の現実と重要性をより正確に表現できるため、より適切な用語だと考えている。しかし、一般に受け入れられている用語であるため、ASIにこだわることにします]。それは、AGIの後、非常に早く起こる可能性が高い。AIが人間レベルの知能を獲得すると、AI自身の急峻な進化成長曲線によって、進化の遅い人間からAIが加速度的に離れていく。その瞬間は「シンギュラリティ」と呼ばれる。

AIの進化 – 猿からAIへ

シンギュラリティ

シンギュラリティについてすでに存知の方は、SF作家のヴァーナー・ヴィンジ教授、作家・発明家・未来学者のレイ・カーツワイル、あるいは『ターミネーター』のアーノルド・シュワルツェネッガーの影響で知った可能性が高いだろう。あるいは、サンフランシスコにあるシンギュラリティ大学（2008年にレイ・カーツワイルが共同設立）の名前を聞いたことがあるかもしれない。しかし、この「シンギュラリティ」という言葉が、AIにおいて最も重要で、議論を呼び、そして恐ろしい言葉であることは存知ないだろう。

では、シンギュラリティとは何だろうか？それは、機械が自分で考えることができ、人間を必要としなくなることだ。機械が非常に強力になり、人間の知能を超え、知能を向上させる能力を身につけたとき、そのような状態になる。シンギュラリティというと奇想天外に聞こえるかもしれないが、歴史上最も優れた科学者の一人であるスティーブン・ホーキング博士は、著作やインタビューの中で、ロボットが人間より優位にあることを私たちに気づかせてくれる。彼はAIにますます興味を持ち、この分野について幅広く執筆している。彼は、人間は進化の速度が遅いために足止めされていると考えている。私たちが有意義に変化するためには、非常に長い時間が必要だ。私たちの脳は900万年前から成熟している。しかし、機械の進化はもっと早く、しかもそれは今だけで、将来はどうだろうか？ホーキング博士は、シンギュラリティ（特異点）の到来はそう遠くない、と考えている。それに伴い、ロボットが人間の知能を「われわれ（の知能）がカタツムリの知能を超える以上の知能爆発」を起こすだろうと言うのである。

現在、シンギュラリティが流行っているが、アラン・チューリングは、AIがいずれ人間を超える可能性があることを考慮していた。1951年、彼はこう言っている。

いったん機械による思考法が始まれば、われわれの弱々しい力を凌駕するのにそう時間はかからないだろう。

人類の進化を考えれば、シンギュラリティには必然性がある。道具の創造と開発は、人類の進化の成功に密接に関係している。初期の人間は、狩猟や食事のための技術を開発した。例えば、槍の穂先は部族の狩猟能力を高め、部族が生き残り、より強く成長するための助けとなった。この技術的な偉業は、時代が変わっても変わることはない。人間は、発展し、革新し、成長するようにできている。私たちの経済的、社会的な成長は、しばしば軍事的な成功の後にもたらされた。歴史上、最高の軍事技術を持つ民族や国が戦いに勝ち、戦争もたいてい勝利した。現代の技術的優位の最も顕著な例は、1500年から1918年までのヨーロッパ列強の帝国的拡大である。ヨーロッパの鎧、訓練、そして後には銃が、南米、アフリカ、アジアの現地の軍隊を何度も壊滅させた。優れた軍事技術は、大規模な地理的・経済的成長を可能にした。槍を振り回す部族が、銃を持った専門的な訓練を受けた兵士と対決している姿は、シンギュラリティが人類にどのように導入されるかを最もよく表している悲痛なイメージかもしれない。

面白いアイデアではないだろう？ある日突然、私たち人類が「食物連鎖」の頂点に立たなくなるかもしれないなんて？タイムトラベルが可能で、それを確かめるためにごまかすことができるのでなければ、この心の交流で何が起こるかについての証拠はない。スティーブン・ホーキンスは2009年にこの答えを出したつもりで、「タイムトラベルは不可能であるという実験的証拠」を見つけたと主張している。どうやって？彼はタイムトラベラーのためのパーティーを主催したが、そのパーティーが終わるまで招待状を送らなかった。そして、誰も参加しなかったので、導かれる合理的な結論は1つだけだった。その結論は、あなたに委ねる。

もちろん、未来はまだ描かれていない。シンギュラリティは起きないかもしれない。事態はまだ別の方向に進むかもしれない。高度に訓練されたペットのように、人間がAIをコントロールすることになるかもしれない。でも、飼い慣らされ、可愛がられる。いずれにせよ、私はAIが人間の能力を超えるまで成長すると信じている。その道のりをどのように管理するかが、これからの世代で私たちがAIとどのように共存し、仕事をしていくかを決めることになる。つまり、AI技術が今後も進歩し続けるという必然性があると仮定すれば、次の問題は、AIがいつ人間の能力の閾値を超える可能性があるかということだ。ヴァーナー・ヴィンジの『来るべき技術的特異点』（1993）に登場する超知能は、理解不能な速度で自己をアップグレードし、技術的に進歩することができた。ヴィンジは、この現象が2005年から20-30年の間に起こると考えており、その時期については、コンピューティングパワーが毎年2倍になっていることに基づいている。未来学者のレイ・カーツワイルは、著書『The Singularity Is Near』（2005）の中で、人間と機械が融合する時点は2045年であると書いている。

専門家の間では、変化のスピードを過大評価することはよくあることだ。これは、人生のあらゆる場面で言えることだ。地震学の会社を通じて、75年後に火山の絶滅レベルの出来事が起こると言っても、10年以上同じ会社で資金を得ることはまずないだろう。AIの専門家はシンギュラリティの時間軸について果てしない議論を楽しんでおり、一般的に合意された日付はない。しかし、「正確な」タイムラインはあまり意味がないのだろうか？20-30年、2050年、2070年に起こるとしても、いつ起こるかが重要なのだろうか。歴史的な出来事の連鎖が一つの明白な出発点にまで遡れることはほとんどないからだ。歴史上の重要な出来事は、それにつながる多くの小さな出来事に根ざしている。時には激変することもあるが、多くの場合、平凡な出来事だ。AIの研究は世界中に広がっている。つまり、異なる時期に異なる国でライバルとなるAGIが誕生する可能性がある。中国、北朝鮮、ロシアなどの国々が独自のデジタルウォールディングガーデンを構築していることから、その可能性は最も論理的な意味を持つ。しかし、時間があれば、シンギュラリティに向けた計画を立て、行動を共にすることができる。

では、AIが自我を持つようになり、シンギュラリティが起こる運命の瞬間には何が起こるのだろうか？人間の主人が設定したタスク、目的、ルールに従い続けるのだろうか？私は、映画「ターミネーター」のフランチャイズを参考に、その状況を説明する。スカイネットのAIが世界の戦争マシンをコントロールし、真の敵である人類を根絶やしにすることを決定する。この結果は古典的なSFであるが、私たち人類の歴史と経験から見て、支配的な「一つの知性」が劣等種と喜んで力を共有する可能性はあるだろうか。人類の歴史上、経済的・軍事的に強力な国家が、劣等な国家に積極的に屈服した例はない。ある国が一時的に条約を交渉し、それが後に間違いであったことが判明することはあっても、弱小国家に永久に権力を譲り渡すということは起こらない。政治的、経済的な支配権を人間の劣位に譲り渡すには、異常に賢明なAIの支配者が必要だろう。では、超知能はどのような方向に進むのだろうか。その優先順位はどこにあり、どのように人類と関わっていくのだろうか？スーパーインテリジェンスの選択は、SF作家が黙示録的な物語や殺人ロボットでギャップを埋めるところであるが、リアルワールドの専門家はどう考えているのだろうか。

スティーブン・ホーキング博士とイーロン・マスクは、シンギュラリティが人類の終焉をもたらすと考えている。ホーキング博士の見解は明快だ。

あなたはおそらく悪意を持ってアリを踏むようなアリ嫌いではないだろうが、もしあなたが水力発電のグリーンエネルギープロジェクトの責任者で、水没する地域に蟻塚があったら、アリには残念なことだ。人類をその蟻の立場に置くのはやめよう。

マスク氏は、デジタル時代の最も優れた技術者の一人である。彼はオンライン決済、電気自動車、商業宇宙飛行のパイオニアである。急速に発展する分野に影響を与える努力と並行して、マスクはAIによる破壊から人類を救おうとしていると考えている。先に見たように、AIが脅威となりうると信じない人は「自分が思っているよりもずっと頭が悪い」と感じている。2014年にTwitterに投稿して、彼はこう言った。「われわれはAIに超注意する必要がある核兵器よりも危険な可能性がある」

その後、MITのシンポジウムで、マスクは自分の恐怖を拡大解釈し、AIはおそらく人類最大の実存的脅威を表していると主張した。

人工知能によって、私たちは悪魔を呼び寄せている。人工知能によって、私たちは悪魔を呼び出している。五芒星と聖水を持った男がいて、彼は悪魔をコントロールできると確信しているような、そんな物語がある。うまくはいかないが。

いずれにせよ、このような大胆な主張をする大物は、マスクとホーキングだけではない。2017年、ロシアのウラジーミル・プーチン大統領は、学生たちに科学について語りかけ、こう言った。

人工知能は、ロシアだけでなく全人類の未来だ。それは巨大な機会をもたらすが、同時に予測困難な脅威ももたらす。この分野のリーダーになる者は、世界の支配者になる。

マスクはAIを警戒しているからこそ、AIを単に強力にするという目標だけでなく、研究者にその先を見据えるよう求める公開書簡に37人目の署名者として名を連ねたのである。UCバークレー校の教授で世界有数のAI専門家であるスチュアート・ラッセルが起草したこの書簡は、ますます高性能になるAIシステムが堅牢で有益であることを保証するために研究を拡大することを推奨している。AIシステムは、私たちが望むことをしなければならない。このような手紙は珍しく、AIの学界や企業の偉い人たちが署名しており、AIがどこに向かっているのか、世界の専門家の関心が大きく高まっていることがうかがえる。

AIに関するオープンレター、Future of Life、2015年。GoogleはAIで世界をリードしており、現在進行中のAIショッピングの一環として、2014年にDeepMindを買収した。DeepMindはAIの代名詞であり、チェスと囲碁の両方で人間の世界チャンピオンを破ったことで最も有名である。イーロン・マスクは、グーグルの買収前からDeepMindの既存投資家であった。2017年、彼はDeepMindへの関与はお金というより、AIの軌跡を監督できるようにするためだったと説明している。

私は、AIは本当に加速度的に、人々が思っているよりもずっと速いスピードで進歩していると思う。というのも、日常生活でロボットが歩き回っているのを目にすることはほとんどない。ルンバとかならあるかもしれませんが。でも、ルンバが世界を席巻することはないだろう。

同じ頃、Googleのラリー・ペイジは、善意かもしれないが、「人類を滅ぼすことができる人工知能を搭載したロボットの艦隊」のような悪意のある力を意図せず生み出す可能性があると述べ、私たちは自滅を画策していると公言し、この業界への不支持を明らかにした。

すべてのAI評論家がそう懸念しているわけではない。マーク・ザッカーバーグは、イーロン・マスクがシンギュラリティの危険性を指摘したことを「かなり無責任」と評している。DeepMindのCEOであるDemis Hassibisは、特異な才能を持つ人物であり、おそらく世界一のAI実践者でありチャンピオンである。チェスの天才少年からゲームデザイナー、そして認知神経科学博士となり、DeepMindを創設（そしてGoogleに売却）するまでの道のりは驚くべきものだった。彼は、AGIは人類に利益をもたらすと信じており、われわれが慎重に考えれば、悪者がAI技術を悪用する問題を最小限に抑えることができると考えている。

もしあなたがドラゴンの近くに住んでいるのなら、生きているドラゴンを計算から外すことはできない。

J.R.R.トールキン『ホビット』。1932.

シンギュラリティ（特異点）現象は、私たちの最大の挑戦となるかもしれない。気候変動が管理されなければ、私たちは水浸しの世界で暮らすことになるかもしれない。しかし、管理されず、解決されない特異点によって、人類は疎外され、絶滅する可能性もある。世界で最も優れた科学者、世界のリーダー、未来学者たちの中には、シンギュラリティを信じている人たちがいる。テクノロジーとイノベーションは社会の進化をもたらすものであり、シンギュラリティは次の論理的な飛躍をもたらすものである。人類がどのようにシンギュラリティに対応するのがベストなのかは、後で研究されるだろう。私たちはシンギュラリティ、またはそれに似たものが来ることを受け入れ、それとともに生きていくための計画を立てなければならない。