Contents
THE DOOMSDAY INVENTION
Will artificial intelligence bring us utopia or destruction?
www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom
2015年11月23日号
ラフィ・カチャドゥリアン著
A.I.のリスクに焦点を当てている哲学者のニック・ボストロムは、「人類の超長期的な未来は、比較的簡単に予測できるかもしれない 」言っている。
I. OMENS
昨年、不思議なノンフィクションがタイムズ紙のベストセラーになった。オックスフォード大学に籍を置く哲学者、ニック・ボストロムによる人工知能についての濃密な瞑想録である。タイトルは「Superintelligence: 真の人工知能が実現すれば、これまでのテクノロジーの脅威を超えて、核兵器をも凌駕する危険性があり、その開発を慎重に管理しなければ、人類は自らの絶滅を招いてしまう危険性があると主張している。この懸念の中心となるのは、「知能の爆発」という予測である。これは、AIが自らを改良する能力を獲得し、短期間のうちに人間の脳の知的可能性を何桁も上回るようになる、という推測のイベントである。
このようなシステムは、事実上、新しい種類の生命体であり、ボストロムが恐れているのは、最も単純な形では、人類が予期せず、より賢い競争相手に負けてしまうという進化論的なものである。同じ霊長類でありながら、一方の種が地球を支配し、他方の種が絶滅の危機に瀕しているという、人間とゴリラの軌跡を比較の対象として挙げることがある。「知能が爆発するという見通しが立つ前は、我々人間は爆弾で遊ぶ小さな子供のようなものである」と彼は結論づけている。「爆弾を耳に当てるとカチカチという音がするが、いつ爆発するかはほとんどわからない」。
ボストロムは42歳にして、驚くべき影響力を持つ哲学者となった。「彼は20年前にトランスヒューマニストとなり、テクノロジーの加速的な進歩が、社会的、経済的、そして最も顕著なのは生物学的にも劇的な変化をもたらし、それが「シンギュラリティ」と呼ばれる画期的な変革の瞬間に収束するだろうという期待で結ばれた、分裂した準ユートピア的な運動に参加した。ボストロムは、今日のトランスヒューマニスト哲学の第一人者と言っても過言ではない。その地位は、半ば狂気に満ちたインターネットのエコシステムの外では生き延びることができなかったかもしれないアイデアに秩序を与えることで得られたものである。彼は具体的な予測をすることはほとんどないが、確率論に基づいて、不可能と思われるような洞察を導き出そうとする。
ボストロムの最も賢い議論は、スイスのアーミーナイフに似ている。カラフルな外見と正確に調整されたメカニズムを持つ、シンプルでおもちゃのような、考えるのが楽しいものだ。彼はかつて、医学的に作られた不老不死の道徳的な主張を、貪欲なドラゴンに脅かされた王国の寓話になぞらえていた。また、パスカルの賭けの再定式化は、17世紀の哲学者と異次元の強盗との対話になった。
ボストロムの貢献は、学術的な思考の端に現れた雑然としたアイデアに、分析的な哲学の厳格さを課すことである。最近、A.I.の分野が目覚ましい発展を遂げ、日常のテクノロジーが知的推論のようなものを示すようになってきたこともあって、この本は神経を逆なでするような内容になっている。ボストロムの支持者は、この本を『沈黙の春』と比較している。道徳哲学の分野では、ピーター・シンガーやデレク・パーフィットがこの本を重要な著作として評価し、スティーブン・ホーキングなどの著名な物理学者がその警告を繰り返し唱えている。また、シリコンバレーのカーストの高い人々の間では、ボストロムは賢者の地位を得ている。テスラのC.E.O.であるイーロン・マスクは、ツイッターでこの本を宣伝し、「AIには細心の注意を払う必要がある。核兵器よりも危険な可能性がある」と述べている。ビル・ゲイツもこの本を推薦している。ゲイツは中国での講演で、AIが人類を脅かす可能性を示唆し、「人々が問題ないと言ったとき、私は本当に意見の相違を感じるようになった。これがどんなに大きな挑戦であるか、どうして彼らはわからないのであろうか？」
人工知能が問題ではないと言う人は、人工知能の分野で働いている人が多い。著名な研究者の多くは、ボストロムの基本的な見解をありえないものとみなし、また、人工知能技術がもたらす短期的な利益や道徳的なジレンマから目をそらすものとみなしている-少なくとも、今日の人工知能システムはロボットにドアを開けるように誘導するのがやっとしたがって。昨年の夏、シアトルにあるアレン人工知能研究所のC.E.O.であるオレン・エツィオーニは、機械知能の恐怖を「フランケンシュタイン・コンプレックス」と呼んだ。また、別の著名な研究者は、「火星の人口過剰を心配しないのと同じ理由で、私はそのことを心配していない」と断言している。マイクロソフトの研究者であり、技術系コメンテーターでもあるジャロン・ラニアーは、意見の違いを議論の対象とすること自体が間違いであると語っている。「これは正直な会話ではない」と彼は言う。「人々はこれをテクノロジーの話だと思っているが、本当は宗教の話であり、人々が人間の状態に対処するために形而上学に目を向けている。彼らは終末のシナリオを使って自分の信念を演出する方法を持っている。」
この議論は、査読付き雑誌の枠を超えて、ブログや一般紙で展開されてきたため、両者の主張は風刺画のように登場し、破滅を示唆する見出し（「超知能マシンが我々を殺すのか」）や、破滅からの救済を示唆する見出し（「人工知能は『人類を終わらせない』」）が付けられている。この議論の最も地に足のついたバージョンでさえ、ほとんど明らかになっていない哲学的な領域を占めている。しかし、ボストロムは、もし人工知能が実現すれば、それは比類のない結果をもたらす出来事であり、おそらくは歴史の布石になるだろうと主張している。ちょっとした長期的な先見性は、我々の種に対する道徳的な義務かもしれない。
オックスフォード大学でのボストロムの唯一の仕事は、10年前に未来学者で技術系の大富豪であるジェームズ・マーティンの資金援助を受けて設立した「人類の未来研究所」という組織を指揮することである。ボストロムは、この研究所を哲学的なレーダーステーションとして運営している。つまり、可能性のある未来の霞の中に、ナビゲーションパルスを発信するバンカーである。少し前に、F.H.I.のある研究員が「ダークファイア・シナリオ」の可能性を研究した。これは、ある種の高エネルギー条件の下で起こる可能性のある宇宙現象で、日常的な物質がダークマターに変異し、既知の宇宙の大部分を消し去ってしまう暴走プロセスであると仮定した。F.H.I.では、妥協とは何かといった従来の哲学的な話題から、宇宙帝国の最適な構造についてまで、さまざまな議論が交わされている。たとえば、何百万ものデジタル頭脳を抱えた宇宙帝国よりも、膨大な数の探査機に支えられた単一の銀河系機械知能のほうが、より倫理的な未来を提示できるのではないか、といったことが議論されている。
今年初め、私はこの研究所を訪れた。この研究所は、オックスフォードの千年の歴史を持つ地域の曲がりくねった通りに位置している。ボストロムのオフィスに行くには、ちょっとした工夫が必要だ。ボストロムの講演需要は高く、毎月のように海外を訪れ、グーグル本社やワシントンの大統領委員会など、さまざまな場所で技術的な予兆を伝えている。オックスフォードでも、夜中の2時までオフィスにいて、翌日の午後には帰ってくるという特異なスケジュールをこなしている。
私は彼より先に到着し、2つの会議室の間の廊下で待っていた。2つの会議室の間の廊下で待っていると、そのうちの1つが「アルクヒポフルーム」であることがプレートで示されていた。キューバのミサイル危機の際、アルキポフはカリブ海で潜水艦に乗っていたが、米軍の駆逐艦が近くで深度爆弾を仕掛けた。モスクワとの無線連絡が取れない艦長は、事態の拡大を恐れて核攻撃を命じた。しかし、アルキポフの説得により、全面的な核戦争は回避されたのである。廊下を挟んで向かい側にある「ペトロフの部屋」は、世界的な核の大惨事を防いだもう一人のソ連軍将校の名前である。後にボストロムは、「彼らは、我々が切手で祝っている政治家のほとんどよりも多くの命を救ったかもしれない」と語っている。
F.H.I.では、コンセンサスに反して無名で働く技術志向の人々の前衛が、世界を自動消滅から救うかもしれないという感覚が、電荷のように大気中を駆け巡っている。本棚の上には電球、ランプシェード、ケーブル、予備のマグカップなどが入った箱が置かれている。本棚には電球、ランプシェード、ケーブル、予備のマグカップなどが入った箱があり、厚手のニットのカーディガンを羽織った痩せた哲学博士が、メモ書きで埋め尽くされたホワイトボードの前を歩き回っていたが、彼はそのメモ書きを一気に攻撃した。発作が終わるたびに、彼は手を後ろに回し、頭を下に向けて歩いていた。ある時、彼は自分の作品のパネルを消してしまった。これを機に、私は「何をしているのか」と尋ねた。「A.I.の “プランニング “と呼ばれる部分に関わる問題です」と彼は言った。彼の態度は苛立っていた。私は彼を一人にした。
ボストロムは午後2時に到着した。少年のような顔立ちで、ヨガのインストラクターのような引き締まった体格をしているが、決してヨガのインストラクターとは思えない。オフィスの外を歩くときの慌ただしい足取り（彼は車を運転しない)オーディオブックの大量消費（効率を上げるために通常の2〜3倍の速度で再生する)病気に対する徹底した予防（握手を避け、銀食器をテーブルクロスの下で拭く）など、彼の強さはあまりにも雑然としている。ボストロムは、オフィスの観葉植物の配置やフォントの選択には頑固なところがある。しかし、自分の主張に異議が唱えられると、彼は注意深く耳を傾け、検討のメカニズムを肌で感じ取ることができる。そして、冷静に、素早く、一つのアイデアを連動させて回答を出していく。
彼は私に「市場に行きないか？私が万能薬を作るところを見てほしい」と言った。彼はここ1年ほど、果物、野菜、たんぱく質、脂肪などが入ったスムージーを昼食として飲んでいる（これも効率化）。彼は肘を使ってボタンを押し、電子的に玄関のドアを開けた。そして、急いで外に出た。
ボストロムは、人間の失われた時間に対する感覚を再構築した人物である。一人っ子の彼は、ニクラス・ボストロムとして、スウェーデンの南岸にあるヘルシングボリで育った。多くの優秀な子供たちがそうであるように、彼も学校が嫌いで、10代の頃は無気力でロマンチックな性格になっていた。1989年、ふらりと立ち寄った図書館で、ニーチェやショーペンハウアーなどが収録された19世紀ドイツ哲学のアンソロジーを手にした。詩を書いたり、考え事をしたりするためによく訪れていた近くの森の中でこの本を読み、学問や達成感の可能性について多幸感を味わった。その時の様子を言葉で伝えるのは難しいのだが、ボストロムはその直後に描いた油絵の写真を送ってくれた。それは、半具象の風景画で、うっそうとした下草の中に奇妙な人物が詰め込まれており、その向こうには燦々と輝く太陽の下を飛ぶ鷹が描かれていた。タイトルは “The First Day”。
人生を無駄にしたと思った彼は、自己啓発に励んだ。アンソロジーに掲載されている文献を読み漁り、芸術、文学、科学にまで手を広げていった。好奇心だけではなく、生きていくために必要な知識を得たいという気持ちが強かったという。両親の反対を押し切って、ボストロムは高校の最終学年を自宅で特別な試験を受けて終えることにし、それを10週間でやり遂げた。旧友とも疎遠になっていった。「私は非常に狂信的になり、しばらくの間、孤独を感じてた」。
ストックホルムの大学院生だったボストロムは、言語と現実の間の難しい関係を探求した分析哲学者W.V.クワインの研究をしていた。指導教官は、論文の余白に “not clear “と書き込んで、正確さを叩き込んでくれた。「それが彼の唯一のフィードバックだった」とボストロムは語っている。「それでも効果はあったと思う」。それまで心理学や数学に興味を持っていた彼は、今度は理論物理学に取り組んだ。彼はテクノロジーに魅了されていた。ウェブが登場したばかりの頃、彼は自分を奮い立たせていた英雄的な哲学が時代遅れになっているのではないかと感じ始めてた。1995年、ボストロムは “Requiem “という詩を書いた。その詩はスウェーデン語で書かれたもので、あらすじを教えてくれた。「寝坊した勇敢な将軍が、軍隊が野営地を離れたことに気づく。彼は彼らに追いつくために馬を限界まで走らせる。そして彼は、空を駆け抜ける近代的なジェット機の雷鳴を聞き、自分が時代遅れであること、そして勇気と精神的な高貴さは機械にはかなわないことを悟るのである。」
“他のスタートアップの立ち上げを支援するスタートアップを始める”
本人は気づいていなかったが、テクノロジーが変革をもたらすというボストロムの直感に共感する人たちが、カリフォルニア州のExtropy Instituteという組織が運営するオンラインの考察グループで、世界中に増えてた。「エクストロピー」とは、1967年に作られた造語で、時空を超えて広がるエントロピーを元に戻すことができる生命の能力を表す言葉である。エクストロピアニズムとは、トランスヒューマニズムの中でもリバタリアン的な考え方で、「人類の進化を導く」ことを目的とし、病気や苦しみ、さらには死をなくそうとするものである。その手段としては、遺伝子組み換えや、まだ発明されていないナノテクノロジー、あるいは肉体を完全に排除して心をスーパーコンピューターにアップロードすることも考えられる。これらの目標を達成するために人工的な超知能を開発することを提唱し、人類が宇宙を植民地化し、不活性な物質を文明のエンジンに変えることを構想していた。その議論は、オタク的で、狂気的で、想像力に富み、示唆に富むものであった。「イタリアの未来派や初期のシュルレアリスムの議論を想像してみてほしい」と、かつてのメンバーで現在はボストロムの研究所で働いているアンダース・サンドバーグは私に言った。
1996年、ロンドン・スクール・オブ・エコノミクスの大学院で研究を続けていたボストロムは、考察グループ「Extropy」の存在を知り、積極的に参加した。その1年後、ボストロムは自らの組織であるWorld Transhumanist Associationを共同設立した。彼はトランスヒューマニストの価値観について親しみやすい声明を作り、BBCのインタビューに答えた。博士論文では、確率論に基づいて人類の寿命を推論する「終末論」の研究を中心に発表した。博士論文は、確率論に基づいて人類の文明の寿命を推論する「終末論」の研究を中心としていた。しかし、ほとんどの場合、彼らは彼を放置していた。
なぜなら、生物学的に強化されたものであれ、デジタル化されたものであれ、超知的な知性が哲学を陳腐化させると予想していたからでもある。「例えば、新しい地下鉄を建設しなければならないとしたら、それは人類が取り組む世代を超えた壮大な事業であり、誰もが小さな役割を持っていたとする。あなたは小さなシャベルを持っている。しかし、もし明日、巨大なブルドーザーが現場に到着することがわかっているのなら、今日、シャベルで大きな穴を掘ることに本当に意味があるのだろうか？もしかしたら、他にできることがあるかもしれない。偉大なるシャベルのために道標を立て、正しい場所から掘り始めることができるかもしれない」。そして、現代社会における哲学者の重要な役割は、多能工としての知識を身につけ、それを使って人類を次の段階に導くことだと考え、「技術予測の哲学」と名づけたのである。彼はそのような予知能力者になろうとしていたのである。
「ロンドンの大学院生時代にボストロムと親交のあった英国の哲学者、ダニエル・ヒルは、「彼は非常に一貫性があった」と語っている。「彼の科学への興味は、基本的に永遠に生きたいという理解しやすい願望から自然に生まれたものであった」。
ボストロムはこれまでに100本以上の論文を書いているが、その中には不老不死への憧れが随所に見られる。2008年には、未来のユートピアからの呼びかけとしてエッセイを書いている「死は1つではなく、多数の刺客である」と警告している「早死にの原因である感染症、暴力、栄養不良、心臓発作、がんなどを狙え。早期死亡の原因である感染症、暴力、栄養失調、心臓発作、癌などに狙いを定め、最大の銃を老化に向けて発射する。体内の生化学的プロセスを掌握することで、病気や老化を次々と克服していくのだ。そのうちに、心をより耐久性のあるメディアに移す方法が見つかるだろう」。彼は、心を無垢なコードと見なし、身体を非効率なハードウェアと見なす傾向がある。つまり、限定的なハックには対応できても、おそらく置き換えられる運命にあるのである。
ボストロムの結婚生活も、テクノロジーに大きく影響されている。妻のスーザンは、医学社会学の博士号を持ち、明るくて実直な性格である。二人は13年前に出会い、最近息子が生まれてからも、半年を除いて大西洋を挟んで反対側に住んでいる。彼女はモントリオールを希望し、彼は仕事の関係でオックスフォードにいるため、この関係は任意である。二人は一日に何度もスカイプをし、彼は海外旅行の際にはできるだけカナダを経由するようにして、デジタルではない形で会うことができるようにしている。
オックスフォードでスムージーを買うとき、ボストロムはタバコを吸っている人を指摘した。ボストロムは、オックスフォードでスムージーを買っているときに、タバコを吸っている人を見つけて、「ガムを噛んでニコチンを摂取するという昔ながらの方法もあるよ」と教えてくれた。「私はニコチンガムを噛んでいる。いくつかの論文で、ニコチンガムには向知性を高める効果があると言われている」。彼はコーヒーを飲み、普段はアルコールを控えている。スマートドラッグのモダフィニルを一時的に試してみたが、断念した。
研究所に戻った彼は、工業用ミキサーにレタス、ニンジン、カリフラワー、ブロッコリー、ブルーベリー、ターメリック、バニラ、オートミルク、ホエイパウダーを入れた。サンドバーグは、「ニックが大切にしていることがあるとすれば、それは心です」と話してくれた。毒素XやYが自分の脳に悪い影響を与えるのではないかと心配しているからだ。サンドバーグは、ボストロムも儀式的な展示を楽しんでいるのではないかと考えている。「スウェーデン人は自惚れが強いことで知られている」と彼は冗談を言った。「スウェーデン人は自惚れが強いことで知られているが、ニックも自惚れで生きているのかもしれないね」。
若い従業員が、ミキサーにスイッチを入れるボストラムを見ていた。彼は「ニックがオフィスに来るとわかる。髪の毛が揺れるんですよ」
「ああ、これは3馬力あるんだ 」とボストロムは言った。ボストロムは、丸鋸のような音を立てながらミキサーを回し、背の高いグラスステインに紫緑色の液体を入れた。我々が向かったのは、几帳面な彼のオフィスであった。窓際には木製のデスクが置かれ、iMacが置かれているだけで、他には何も置かれていない。壁際には椅子とキャビネットが置かれ、書類が山積みされている。余分なものは光だけで、ランプは14個あった。
ボストロムの研究所で過ごす時間は、遠い未来への思いを馳せずにはいられない。数百万年後の人類はどうなっているだろうか？地球上で生存できる上限は、50億年後に赤色巨星となって現在の200倍以上の大きさに膨れ上がる太陽の寿命に決まっている。地球の軌道が修正される可能性もあるが、地球が破壊される可能性の方が高いであろう。いずれにしても、そのずっと前に、ほとんどすべての植物が死に、海が沸騰し、地殻が1000度にまで加熱される。5億年後には人が住めない惑星になっているであろう。
ボストロムのオフィスから見た未来は、3つの壮大なパノラマに分けられる。1つは、人類がテクノロジーの助けを借りて、あるいはテクノロジーと融合してソフトウェアになって、ボストロムが「ポストヒューマニティ」と呼ぶ崇高な状態に至るまでの進化の飛躍を経験すること。死は克服され、精神的経験は認識を超えて拡大し、我々の子孫が宇宙を植民地化する。一方、別のパノラマでは、人類は絶滅するか、回復できないほどの大災害に見舞われる。ボストロムはこの両極端の間に、現在と同じように生活し、永遠に「人間の時代」に留まるという現状に近いシナリオを想定している。「スター・トレック」のカーク船長は2233年に生まれたが、異星人のポータルから時空を超えて大恐慌時代のマンハッタンに飛ばされ、すんなりと溶け込んでしまうというSFファンにはおなじみのビジョンだ。
ボストロムはSFが嫌い。スタントや爆発に頼って注目を集める映画作品のように、「すごい アイデアを提示しようとする物語には興味がない」。「問題は、過激なことを考えられるかどうかではなく、信頼関数を更新するための十分な理由を見つけられるかどうかです」。
彼は、未来も過去と同じように綿密に研究することができると信じているが、その結論ははるかに確固たるものではない。「旅人が旅を始めて1時間後にどこにいるかは予測できないかもしれないが、5時間後には目的地にいることは予測できる」と彼はかつて主張した。「人類の超長期的な未来は、比較的簡単に予測できるかもしれない」。例えば、歴史がリセットされたとしたら、産業革命は別の時期や別の場所で起こるかもしれないし、あるいは全く起こらず、何百年もかけて少しずつ革新が起こっていくかもしれない。短期的には反歴史での技術的成果を予測することはできないかもしれないが、例えば10万年後には同じような発明が生まれていたことが容易に想像できる。
これをボストロムは「技術的完成予想」と呼んでいる。「科学技術開発の努力が事実上停止しないのであれば、ある可能な技術によって得られる可能性のある重要な基本的能力は、すべて得られるだろう」。このように考えると、彼は、遠い未来を見れば見るほど、今のままの生活が続く可能性は低くなるのではないかと考える。彼は、人類が超越するか、滅びるかという可能性の最果てを好む。
ボストロムは1990年代に入って、こうした考えが結晶化していく中で、絶滅という問題に注目するようになった。ボストロムは、終末の日が迫っているとは考えていなかった。彼の関心は、保険代理店のようなリスクにあった。絶滅の可能性がどんなに低くても、その結果は限りなく悪いものであり、絶滅の可能性を減らすためのほんの一歩でも、限りなく価値のあるものであると。この点を説明するために、彼は算術的なスケッチを用いることがある。彼の理想的なシナリオの1つを想像してみよう。それは、何十億ものデジタルな心が宇宙に繁栄することである。彼は、もしこのようなことが起こる可能性が1パーセントでもあれば、存在する脅威を10億分の1パーセント減らすことで得られる期待値は、現在の10億人の命の100億倍の価値があると考える。もっと簡単に言えば、ボストロムは自分の研究が他の何よりも道徳的に重要であると信じているのである。
ボストロムは 2002年に「Journal of Evolution and Technology」で、「実存的リスク」という哲学的概念を紹介している。ケンブリッジ大学付属の「Centre for the Study of Existential Risk」やマサチューセッツ工科大学付属の「Future of Life Institute」など、ここ数年、毎年のように新しい組織が設立されている。ホモ・サピエンスは20万年前に誕生して以来、驚異的な回復力を発揮していたが、その存在を脅かす可能性のあるものを見極めるのは容易ではない。気候変動は、環境的にも経済的にも大きなダメージを与える可能性があるが、生き延びることができないわけではない。いわゆる超巨大火山も、これまでのところ種の存続を脅かすものではない。しかし、実際にはなかった。
ボストロムは、明白な存在の脅威がないことを慰めには感じていない。絶滅に2度耐えることは不可能であるため、絶滅が起こる確率を歴史に頼って計算することはできないと主張している。最も心配なのは、地球がこれまでに経験したことのないような危険である。「17世紀の技術で人類を滅亡させるのは難しい」とボストロムは私に言った。しかし、その3世紀後には、技術的な黙示録の予測は緊急に現実味を帯びていた。1942年、ロバート・オッペンハイマーは、十分な威力の原子爆弾を爆発させれば、大気全体が発火するのではないかと懸念した。1942年、ロバート・オッペンハイマーは、十分な威力の原子爆弾が爆発すれば、大気全体が発火するのではないかと懸念した。しかし、冷戦時代の大きな核の悪夢が実現しなかったとしても、それまで不可能だった規模の破壊を引き起こす手段は存在していた。技術革新がさらに複雑になるにつれ、今後の危険性を評価することはますます困難になっている。なぜなら、その答えは、ほとんどが理論として存在しているテクノロジーの効果を予測することによって、あるいはさらに間接的に、要約推論を用いることによってのみ導き出すことができるため、曖昧さをはらんでいるからである。
blob:www.newyorker.com/603021e4-fdb8-4f58-8008-1252344b40c6
ニック・ボストロムは、「我々は自らの絶滅を設計するのだろうか？」
哲学者であるボストロムは、このような問題を大局的に、あるいは宇宙的に捉えている。ある日の午後、彼は私にこう言った。「ある惑星が知的生命体を生み出す確率は、行動に関連する情報でもあるかもしれない」。ここ数年、NASAの探査機は、生命の構成要素が宇宙空間に豊富に存在することを示す証拠を次々と発見している。火星や木星・土星の衛星では多くの水が発見されており、ある科学者は太陽系を「かなり水浸しの場所」と表現している。氷のついた彗星にはアミノ酸があり、遠くの星形成雲には複雑な有機分子がある。この惑星では、酸素なし、光なし、氷点下400度といった想像を絶する過酷な環境下でも生命が育つことが証明されている。2007,欧州宇宙機関は、小さな生物を人工衛星の外装につないだ。彼らは飛行に耐えただけでなく、その後、卵を産んだものもいる。
我々の銀河系には100億個の地球型惑星があり、宇宙には1,000億個の銀河があると言われており、地球外生命体が発見される可能性は十分にあると言える。しかし、ボストロム氏にとって、それは災いのもとだ。「火星が完全に無菌状態の惑星であることがわかったら、素晴らしいニュースになるだろう」と、少し前に彼は主張した。「死んだ岩や生命のない砂は私の気分を高揚させてくれる。その理由は、宇宙の年齢にある。地球のような惑星の多くは、我々よりもはるかに古いと考えられている。最近発見されたケプラー452bという惑星は、15億年も古いと言われている。」ボストロムはこう問いかける。我々と同じような時間軸で生命が誕生したとしたら、それはどのようなものだろうか。何億年も前に生命が誕生したとしたら、その文明はどのようなものになるだろうか。
我々が知っているように、生命は可能な限り拡散する傾向がある。ボストロムは、もし異星人が光速の1パーセントでも移動できる宇宙探査機を設計できたとしたら、2,000万年後には天の川全体が植民地化されるだろうと試算しているが、これはケプラー452bと地球の年齢差のほんのわずかである。これほどの速度で船を走らせる技術はないという意見もあるだろう。あるいは、何百万もの異星人が銀河系外への旅のノウハウを持っていても、興味を示さないのかもしれない。それでも、宇宙は非常に巨大であり、また非常に古いものであるため、地球上の生命と同じように、絶え間なく拡大していくような振る舞いをする文明は、ごく少数でなければ目にすることはできない。しかし、ボストロムは次のように述べている。「何十億もの生命発生の可能性がある場所から始めて、最終的には、地球の観察者に明らかになるほど技術的に発展した異星人の文明はゼロになってしまう。では、何が彼らを止めているのか？
1950年、ロスアラモス研究所で水爆の研究をしていたエンリコ・フェルミは、昼休みにこのパラドックスをスケッチした。それ以来、多くの解決策が提案されていた。中には、地球は惑星間のエイリアンの動物園に収容されているというような、エキゾチックなものもある。ボストロムは、その答えは単純だと考えている。つまり、地球上に知的生命体が存在するのは、天文学的に稀な偶然であるということだ。しかし、もしそうだとしたら、その事故はいつ起こったのであろうか？原始スープの最初の化学反応の時であろうか？それとも、単細胞生物がDNAを使って複製を始めたときであろうか。あるいは、動物が道具を使うようになったとき？ボストロムは、これらのハードルを「グレートフィルター」と呼んでいる。これは、あらゆる場所に存在する生命が知的な種に発展するために通過しなければならない、ありえない可能性の重要な段階である。これを通過できなかった生命は、絶滅するか、進化できない。
ボストロムは、火星の湿った土壌に単細胞生物が生息していることを発見したら、それは不穏な証拠になると考えている。2つの惑星が独立して原始的な生物を進化させたのであれば、宇宙の多くの惑星でこの種の生命が発見される可能性が高いと考えられる。ボストロムは、これはグレート・フィルターが進化の後の段階にあることを示唆していると考えている。脊椎動物の化石が発見された場合は、さらに悪いことに、宇宙に生命がないように見えるのは、複雑な生命が珍しいからではなく、宇宙を植民地化するほど進化する前に、いつも何らかの形で阻止されているからだと考えられる。
ボストロムの考えでは、最も悲惨な可能性は、グレートフィルターが我々の前にあるということである。つまり、進化は頻繁に我々のような文明を達成するが、技術的に成熟する前に滅びてしまうということである。なぜそのようなことが起こるのであろうか？小惑星の衝突や超火山の噴火などの自然災害は、グレートフィルターの候補にはなり得ない。なぜなら、仮にかなりの数の文明が破壊されたとしても、幸運にも災害を免れた文明もあるはずだからだ。グレートフィルターを構成する最も可能性の高いタイプの実存的リスクは、おそらく技術的発見から生じるものであろう。(a)十分に発達した文明のほぼすべてが最終的にそれを発見し、(b)その発見がほとんど普遍的に実存的な災害につながるような技術が存在する可能性は、決して遠い話ではない」。
II. 機械
人工知能の分野は、科学的な楽観主義の中で生まれた。1955年、3人の数学者とI.B.M.のプログラマーからなる少人数の研究者グループが、ダートマス大学でのプロジェクトの提案書を作成した。数学者3人とI.B.M.のプログラマー1人という小さな研究グループが、ダートマス大学でのプロジェクトを提案した。「厳選された科学者のグループがひと夏をかけて取り組めば、これらの問題の1つまたは複数で大きな進歩が得られると考えている」。
彼らの楽観主義は理解できる。20世紀に入ってから、科学は猛烈な勢いで進歩していた。放射能の発見はすぐに原子の内部構造の解明につながり、制御された核エネルギーの開発、そして広島と長崎に投下された核弾頭、さらには水爆へとつながっていった。アイザック・アシモフをはじめとする作家たちは、知能を持ったロボットたちが住む高度な文明を想像していた。科学者たちがダートマス大学で出会った年に、アシモフは「最後の質問」を出版した。この物語は、「自己調整と自己修正」を続ける超知能AIが登場し、知識を得て人類の文明が宇宙に広がるのを助けるというものだ。宇宙の最後の星が消滅し始めたとき、全人類はA.I.に自分自身をアップロードし、神となったA.I.は新たな宇宙を創造する。
科学者たちは、知能の仕組みを、原子の仕組みと同じように、大きな可能性を秘めた、偉大なフロンティアであると考えた。脳が単なる生物学的な機械であるならば、ジェット機がハヤブサを打ち負かすように、複製できない、あるいは超えることができない理論的な理由はなかった。ダートマス会議以前にも、暗号解読のような狭い領域では、機械が人間の能力を上回ってた。1951年、アラン・チューリングは、ある時点でコンピューターは発明者の知的能力を超えてしまうだろうと主張し、「したがって、我々は機械がコントロールすることを期待しなければならない」と述べた。それが良いことなのか悪いことなのか、彼は言わなかった。
“この大きさを気に入ってくれると思ったんだけどね。”
その6年後、ダートマス大学の出席者の1人であるハーバート・サイモンは、機械が人間の知能を獲得するのは「目に見える未来」であると宣言した。しかし、彼は全体的には楽観的であった。「我々は、コンピュータの目標と我々の目標を一致させる必要性に敏感であり続けなければならない」と彼は後に述べたが、「私は、それが困難であるとは確信していない」とも付け加えた。他のコンピュータの先駆者たちにとっても、未来は曖昧なものであった。サイバネティックスの父であるノーバート・ウィーナーは、強力なコンピューターを管理することはもちろん、その行動を正確に予測することも困難であると主張した。「完全な従属と完全な知性は両立しない」と述べている。未来は、人間の知能の限界との戦いであり、ロボットの奴隷に横になって世話をしてもらえる快適なハンモックではない」と、「魔法使いの弟子」のシナリオを想定して予測していた。
このような状況の中で、チューリングと一緒に仕事をしていた統計学者のI.J.グッドが「知能の爆発」という考えを初めて正式に表明した。「超知的な機械は、さらに優れた機械を設計することができる」と彼は書いている。そうなれば、間違いなく 「知能の爆発」が起こり、人間の知能ははるかに取り残されてしまうだろう」。このように、最初の超知的な機械は、人間が作る必要のない最後の発明なのである。ただし、その機械が十分に従順で、どうやってそれをコントロールするかを教えてくれる場合に限る。この点が、SF以外ではほとんど指摘されないのは不思議なことだ。サイエンス・フィクションを真剣に受け止めることは、時に価値のあることだ。
ダートマス大学の科学者たちは、成功のためには基本的な質問に対する答えが必要だと認識していた。知性とは何か？心とは何なのか？1965年までに、この分野ではいくつかの問題解決モデルが実験された。形式的な論理に基づいたもの、ヒューリスティックな推論を用いたもの、脳からヒントを得た「ニューラルネットワーク」と呼ばれるものなどがある。形式論理に基づくもの、ヒューリスティック推論に基づくもの、脳にヒントを得た「ニューラルネットワーク」と呼ばれるものなどである。あるアルゴリズムは、古典的なテキストである「プリンキピア・マトリクス」の多くの定理を証明し、著者よりもエレガントに証明した例もある。チェッカーゲームをするために作られたプログラムは、プログラマーを打ち負かすことができるようになった。しかし、これらの実験には大きな期待が寄せられていたにもかかわらず、AIを作成するための課題は困難なものであった。ボールを拾うという単純な動作に、膨大な数の計算が必要になるからだ。
ボストロムは著書の中で、「学者とその資金提供者の間では、『A.I.』は好ましくない言葉になった」と述べている。やがて研究者たちは、心を作るという目標に疑問を持ち始めた。問題を分割して考えてみてはどうだろうか。そこで研究者たちは、「視覚」「音声」「会話」といった特定の認知機能に興味を持ち始めた。例えば、物体を識別するコンピュータは、AIとは言えないかもしれないが、フォークリフトを誘導するのに役立つかもしれない。研究が細分化されるにつれ、技術的な問題が山積しているため、成功した場合の結果についての疑問は遠く、愚かなものにさえ思えてきた。
意外なことに、A.I.の分野では、創設時の目標を捨てることで、外部の人間がテクノロジーの姿を自由に想像できる空間が生まれた。ボストロムは1990年代に人工超知能に関する最初の論文を書き、人工超知能は潜在的に危険なものだが、商業や政府にとっては抗しがたいものだと考えていた。「優れた人工知能が人間に危害を加えないことを保証する方法があれば、そのような知能が作られるだろう」と彼は主張した。「そのような保証をする方法がなければ、それでも作られるだろう」と主張した。当時の彼の聴衆は、主に他のトランスヒューマニストであった。しかし、この運動は成熟しつつあった。2005年には、シリコンバレーに「Singularity Institute for Artificial Intelligence（人工知能のためのシンギュラリティ研究所）」という組織が設立され、その創設者である元エクストロピアンのメンバーは、人工知能の危険性を説く文献を次々と発表していた。ボストロムは、オックスフォードに研究所を設立した。
この2つのコミュニティは、これ以上ないほど異なってた。科学者たちは、技術的な詳細に精通し、機能するデバイスを作ることに夢中になっていた。一方、トランスヒューマニストたちは、ユートピア的な未来への希望に突き動かされ、「それらのデバイスが最終的にどのような影響を与えるのか」と問いかけていた。2007,人工知能研究者の最も著名な専門組織である人工知能推進協会の会長に、マイクロソフトの科学者であるエリック・ホーヴィッツが就任した。それまでは、研究の倫理的・社会的影響についてはほとんど考慮されなかったが、ホービッツは大きな疑問を投げかけた。「A.I.にとっての成功とは何かを理解するのは難しいことだ。私は、超知能に関する記事を書いたジャック・グッドと親しかった。彼はクリエイティブで面白い人で、自分のアイデアの多くを「P.B.I.（Ply baked ideas）」と呼んでった。彼のアイデアはP.B.I.s……焼き上げられたアイデアと呼ばれてた。私は、たとえあなたがこれらのことをおかしなことだと思っても、可能性の低いシナリオだと思っても、それを調べることは有益ではないかと言った。人類にとって悪い結果になったとしても、我々は先手を打つことができるのではないか」。
この場所は、1975年に生物学者が集まり、近代的な遺伝子工学の時代における研究の危険性について議論した場所であり、その象徴的な場所として選ばれた。彼は研究者たちをいくつかのグループに分けた。あるグループは、AIが犯罪に使われる可能性など、短期的な影響を研究し、別のグループは長期的な影響を検討した。ほとんどの研究者は、未解決の多くの問題に対する答えを前提とした知能爆発のアイデアに懐疑的であった。知能とは何か、そしてそれが機械の中でどのように進化していくのか、誰も完全には理解していないのである。グッドが想像したように、知能が成長し、株価が上昇するように知能指数が上昇することはあるのであろうか。もしそうだとしたら、その上限はどのくらいなのであろうか？また、その成長は、経験によって知識を得るという困難なプロセスを経ることなく、単にソフトウェアの設計を最適化することによってもたらされるのであろうか。ソフトウェアは、致命的な故障のリスクなしに、根本的に自らを書き換えることができるのだろうか。それは誰にもわからない。コンピュータサイエンスの歴史の中で、自分自身を大幅に改良できるコードを作ったプログラマーはいない。
「いや、君はA列車に乗りたいんだ。これはただの列車だよ」
しかし、知性の爆発という概念もまた、反証することができないものであった。理論的には一貫性があり、限られた方法で試みられたこともあった。シカゴ大学付属の豊田工業大学のA.I.研究者であるデビッド・マクアレスターは、長期パネルのリーダーを務めた。彼は、このアイデアを真剣に受け止める価値があると主張した。「50年間安全であることを99%確信していると言うことには抵抗がある」と彼は言った。「私には思い上がりのように感じられる」。A.I.グループは、危険性を評価するためには、さらに技術的な作業が必要であると結論づけたが、一方で、この会議が、主にトランスヒューマニストによって生み出された「緊急性の認識」に基づいており、根拠のない警告を発する危険性があるというパネリストの懸念も示唆した。研究者たちは、A.I.が遠い存在のように思われている以上、目先の関心事に注意を払う方がよいと主張している。パネルを共催したコーネル大学のバート・セルマン教授は、「『これは面白いが、すべて学術的なものであり、実現するものではない』というモードだった」と話してくれた。
A.I.の研究者たちがアシロマで出会った頃、ボストロムは実存的なリスクについての大規模な本に取り組んでいた。バイオエンジニアリングやナノテクノロジーなどの章を構想していたが、A.I.に関する章がどんどん増えていく中で、これらの問題は説得力を失っていいた。最終的には、A.I.の章を新しいファイルに貼り付けて、”Superintelligence “とした。
この本には、独自のエレガントなパラドックスがある。分析的なトーンで、しばしば明快に論じられているが、一方で、メシア的な緊急性を帯びた瞬間もある。分析的な口調で、しばしば明快に論じられているが、一方で救世主のような緊急性を帯びている部分もある。未来のあるAIのIQが6,455であることをどうにかして立証できたとしたら、どうする？しかし、ボストロムは自分の未来学の限界を自覚している。ロンドンの大学院生時代には、自分のコミュニケーション能力を最大限に発揮するためにスタンダップコメディに打ち込んでいた。「この本で述べられていることの多くはおそらく間違っている」と書き、「どれが間違っているかはわからない」という注釈をつけている。
ボストロムは極論者ではなく、地図製作者として行動することを好んでいるが、彼の徹底的なシナリオのマッピングの下には、議論が構築されていることと、それを率直に述べることへの恐れが感じられる。「伝統的に、このテーマの領域は変人たちが占有していた」と彼は私に言った。「ポピュラーメディアやSF、あるいは引退してまじめに仕事ができなくなった物理学者が、人気のある本を書いて偉そうなことを言っているのかもしれない。それが基本的な厳密さのレベルなのである。この分野でもっと本格的な研究が行われていない理由の多くは、学者が、薄っぺらい、クラックポットのようなものと混同されたくないからだと思う。未来派はその一種です」。
この本は、スズメの群れが自分たちを守り、助言してくれるフクロウを育てようと決めたという「未完成」の寓話から始まる。彼らはフクロウの卵を盗んで自分たちの木に持ち帰るために探しに行くが、探すのはとても難しいと考え、フクロウの飼い方の研究は成功するまで先延ばしにする。ボストロムは「この物語がどのように終わるのかはわからない」と締めくくっている。
このたとえ話は、この本の核となる問いを紹介するためのものである。A.I.が実現した場合、その膨大な能力を人間の手に負えない方法で使ってしまうのではないか？この問題を考える一つの方法は、身近なことから始めることである。ボストロムは「人工知能はすでに多くの領域で人間の知能を凌駕している」と書いている。その例は、チェスからスクラブルまで多岐にわたる。1981年に開発された「Eurisko」というプログラムは、海軍のロールプレイングゲームを独学で学ぶように設計されていた。1万回の対戦の後、Euriskoは道徳的にグロテスクな戦略にたどり着いた。それは、何千もの小さくて動かない船を配備し、その大半を大砲の餌にするというものだった。全国大会でユーリスコは人間の対戦相手を打ち負かし、人間はゲームのルールを変更するよう主張した。翌年も、損傷した船を強制的に沈めて勝利した。
このプログラムは決して超知性的ではなかった。しかし、ボストロムの本は本質的に次のように問いかけている。もしそうだったらどうだろう？問題を検討する幅広い能力を持ち、インターネットにアクセスできると仮定する。読書をして一般的な知識を身につけ、オンラインでシームレスに人々とコミュニケーションをとることができる。また、仮想的に、あるいはネットワーク化されたインフラに手を加えて、実験を行うこともできる。このようなシステムは、ゲームに勝つという最も良心的な目的があったとしても、資源を集めたり、技術を発明したり、技術を止められないようにするなどの「道具的な目標」を達成する可能性があるとボストロムは主張している。
人間の場合、知能は意識、感情、社会的認識、心と体の複雑な相互作用と不可分である。A.I.はそのような属性を持つ必要はない。ボストロムは、機械知性がどんなに柔軟な戦術をとったとしても、最終的な目標に固執する可能性が高いと考えている。では、社会的な合図のニュアンスを尊重する機械を作るにはどうすればよいのだろうか。目標を犠牲にしても、倫理的な規範を守るマシンを作るにはどうしたらいいのであろうか。誰も一貫した解決策を持っていない。そのような行動を人間に確実に教え込むことは難しいのである。
SFの世界では、暴走する超知能コンピュータは、土壇場で回避されることが多い。「WarGames」に登場するコンピュータ「WOPR」は、核戦争を引き起こす寸前で阻止されたし、「HAL9000」は、解体されるのを見ながら無力に歌うだけになってしまった。ボストロムは、これを信じられないと言う。リスクの極限を考えたいという思いからか、あるいはトランスヒューマニストへの憧れからか、彼はしばしば機械に神に近い能力を付与し、まるで「デジタルの神は本当に封じ込めることができるのか？彼は、自分のコードを調べるだけで、宇宙や人間社会の本質を推定できるほど知的な機械を想像し、そうすることで、機械を封じ込めようとする努力を凌ぐことができると考えている。「目標を追求するエージェントのようなものではなく、自律的な人工知能のような機械を作ることは可能であろうか」と彼は私に尋ねた。「イエスかノーしか答えられない神託のようなものを設計することができるかもしれない。その方が安全なのであろうか？はっきりしない。その中にエージェントのようなプロセスがあるかもしれない」。「デロリアンをタイムマシンに改造して、1955年に旅行することは可能か」という単純な質問をすると、装置が仮説を検証しながら行動を連鎖させていくかもしれない。警察のコンピュータと連携して、たまたま時計台の近くにあったデロリアンを押収したとしたら？「おとぎ話には、願いを叶えてくれる精霊が出ます」とボストロム氏。「ほとんど共通しているのは、願い事に細心の注意を払わないと、大きな恵みのように見えるものが呪いになってしまう、という教訓です」。
ボストロムは、超知能マシンが人間の望むことを行うようにするという「制御問題」の解決には、A.I.の解決よりも時間がかかるのではないかと心配している。超知能が突然生み出される可能性は、知能爆発だけではない。ボストロムはかつて、研究者たちが何十年もかけてシステムを改良し、マウス、チンパンジー、そして信じられないような労力の末に村の馬鹿者と同等の知能を手に入れるというプロセスを描いたことがある。「同じ機能を機械で再現するのがどれだけ難しいかという観点から見れば、村の馬鹿と天才レベルの知能の差は些細なものかもしれない。」「村のおばかさんの脳と天才科学者の脳はほとんど同じである。したがって、超絶的な知性を備えた何かが誕生する一歩手前までは、警鐘を鳴らさない程度の比較的ゆっくりとした漸進的進歩が見られるかもしれない」。
ボストロム氏の懸念は、多くの場合、タイミングという単純な問題に起因している。「ブレイクスルーは予測できるのか？」スタンフォード大学の名誉教授であるエドワード・フェイゲンバウム氏は、「A.I.は何年も先のことだから、このようなことを早くから話すのは馬鹿げている」と私に言った。「フランケンシュタイン・コンプレックス」という言葉を使って「A.I.のディストピア的ビジョン」を否定した研究者のオレン・エツィオーニは、この分野がいつか深遠な哲学的問題に立ち向かわなければならないというボストロムの包括的な主張を認めている。数十年前、彼は短い論文の中で自らその問題を検討したが、生産的に考えるには問題が遠すぎると結論づけた。あるとき、ニック・ボストロムが講演し、私が少し反論したことがあった。「多くの意見の相違は、どのような時間軸で考えているかに起因している。責任者の誰もが、今後5年から 10年の間にA.I.のようなものを目にすることができるとは言わない。しかし、ほとんどのコンピュータ・サイエンティストは、「100万年後には……そうならない理由がわからない」と言うであろう。そこで問題となるのは、進歩の速度がどの程度なのかということである。「我々が間違っている可能性はないのか」と尋ねる人はたくさんいるであろう。そうだ。私はその可能性を排除するつもりはない。私は否定するつもりはない。「私は科学者だ。証拠を見せてほしい』と言うつもりだ。 」
科学の歴史は、この問いに対する不均一なガイドである。我々はどこまで近づいているのか？という問いに対して、科学の歴史は一様ではなく、約束が果たされないことも少なくない。しかし、アーサー・C・クラークが「クラークの第一法則」として定めた、驚くほどの近視眼的な例もたくさんある。「著名だが年老いた科学者が何かが可能であると言うとき、彼はほぼ間違いなく正しい。不可能だと言えば、それは恐らく間違っている」。1897年にケンブリッジで電子が発見された後、年に一度の晩餐会で物理学者たちは「電子に乾杯：誰の役にも立ちませんように」と乾杯した。ケルビン卿は、ライト兄弟がキティホークから飛び立つわずか8年前に、「重量物の空中飛行は不可能」と宣言したことで有名である。
人工知能の教科書「A Modern Approach」の共著者であるスチュアート・ラッセル氏は、B.I.のメンバーの一人である。ボストロムの最も有力な支持者の1人であるスチュアート・ラッセルは、核兵器が出現した頃の物理学界を研究していたという。20世紀初頭、アーネスト・ラザフォードは、重元素が原子崩壊によって放射線を出すことを発見し、原子の中に膨大なエネルギーが蓄えられていることを確認した。ラザフォードは、このエネルギーを利用することはできないと考え、1933年に「この原子の変化から動力源を期待する者は、密造酒を語っているのだ」と宣言している。翌日、アインシュタインの教え子だったレオ・シラードが新聞でこのコメントを読んだ。翌日、アインシュタインの教え子だったレオ・シラードという人が、新聞のコメントを読んで腹を立て、散歩をしていて、ふと核の連鎖反応を思いついた。ラザフォードを訪ねて相談したが、ラザフォードに追い出されてしまった。アインシュタインも核エネルギーには懐疑的だった。原子を自由に分解することは、「鳥が数羽しかいない国で、暗闇の中で鳥を撃つようなものだ」と言っていた。その10年後、シラードの洞察力は原爆の製造に使われた。
ラッセルは、この話を教訓としてAI研究者に伝えている。「A.I.に到達するためには、さらなるブレークスルーが必要であるが、シラードが示したように、それは一夜にして起こる可能性がある」と彼は私に語った。「しかし、シラードが示したように、それは一夜にして実現できるものだ。議論が進んでいる中で、ボストロムや他の人たちは、『もし超知能を実現したら、こんな問題が起こるかもしれない』と言っている。私の知る限り、それらが現実にならない理由を誰も証明していない。」
III. ミッションコントロール
人類未来研究所のオフィスは、物理学研究室のようでもあり、大学の寮のようでもある、ハイブリッドな雰囲気に包まれている。ホワイトボードには数学的な表記や技術的な文字が書き込まれ、『ブレイブ・ニュー・ワールド』や『HAL9000』のポスターが貼られている。また、ニック・ボストロムのアート作品もある。ある日の午後、彼は私を彼の作品のひとつである「At Sea」に案内してくれた。この作品は、彼がプリントアウトしたものに絵を描いたデジタルコラージュだ。「少し傷んでいるが、デジタルの良いところは、再構築できることである」と彼は言った。「中央には、真っ黒な海の中で樽にしがみついている、幻影に近い青白い男が描かれている。それは実存主義的な雰囲気がある。あなたはできる限り長くしがみついている。疲れたら沈んで、魚の餌になる。あるいは、海流が彼を陸に連れて行ってくれるかもしれない。あるいは、海流に乗って陸に上がるかもしれない。」
ボストロムは、学会や資金調達に時間を費やしているにもかかわらず、研究所の細部にまで気を配っている。「設立当初、ロゴマークが必要であった。我々は、フリーランスのアーティストの作品を購入することができるオンラインサイトにアクセスした。フリーランスのアーティストの作品を購入できるオンラインサイトに行ってみたが、一番醜いロゴを作ろうと思っても、それには遠く及びませんであった。そこで、あるデザイナーに依頼して、ぼんやりとした人物像を作ってもらった。それをここにいる人に見せたところ、「トイレのサインみたいだ」と言われた。私はその言葉を聞いた瞬間、「ああ、トイレのサインをロゴに採用するところだったんだ」と思った。そこで、私は少し考えて、黒いダイヤモンドを思いついたのである。2001年」の黒いモノリスがあるね。角に立っているということは、不安定さを表している。また、黒い四角の醜さには限界がある」。
この研究所はCentre for Effective Altruismとオフィスを共有しており、この2つの組織は、道徳的行動の指針として純粋な合理性を推進する社会運動と交差している。両者と仕事をしている哲学者のトビー・オードによると、ボストロムは一日の終わりによく彼のオフィスに現れては問題を提起し、夜まで考え込んでしまうそうだ。ボストロムが最初に出した問題の中に、こんなものがあった。もし宇宙に無限の存在があるとしたら、一人の人間の行動が宇宙の苦しみと幸せのバランスに影響を与えることができるだろうか？長時間の議論の末、二人はこのパラドックスを未解決のままにした。「私の考えでは、後になってから考えればいいと思っている」とオードは言っていた。
“Chaucer on lyne thrie.”
私がボストロムに、研究所での議論を見学させてもらえないかと尋ねたとき、彼は渋っているように見えた。私の存在が邪魔になることを懸念しているのか、それとも、例えば人工的に作られた病原体の話が犯罪を誘発することを懸念しているのか、判断がつかないようだった。最終的には、ペトロフルームで行われた6人のスタッフによるセッションを見学させてくれた。大陸規模の飢饉のような世界的な大災害が、人類の絶滅につながる一連の地政学的な出来事を引き起こす可能性があるのか、また、単なる大災害のリスクは、実存的なリスクと同じくらい深刻に受け止めることができるのか、というのが重要な議題であった。青いボタンダウンにグレーのパーカーを羽織ったボストロムは、楽しそうにホワイトボードに問題を整理していた。アンダース・サンドバーグは、かつてボストロムと何日もかけてこのような問題に取り組み、複雑な議論を本質的に抽出したことがあるという。「彼はそれを洗練させなければならなかった」と彼は言った。「ホワイトボードにはたくさんの図式が書かれてたが、だんだんと1つの箱と3つの矢印に絞られていいた」。
実存するリスクを広報する仕事に携わる者にとって 2015年は良い年であった。この問題を専門に扱う他の研究機関が声を上げ始め、ボストロムの本に書かれている考えにさらなる敬意が払われるようになったのだ。意見を述べる人々は、もはや単なる元エクストロピアンではなかった。例えば、宇宙物理学者であり、ケンブリッジ大学のCentre for the Study of Existential Riskの共同設立者であるマーティン・リース卿のように、資格を持った人々だ。1月、彼はイブニング・スタンダード紙にA.I.について、「起こるかもしれないことと、SFのままであることの境界がどこにあるのかわからない」と書いた。
未来生命研究所のリーズのパートナーであるM.I.T.の物理学者マックス・テグマークは、プエルトリコで非公開の会議を開き、研究の長期的な軌跡を理解しようとした。ボストロムは、A.I.の実践者、法律学者、そして言い方は悪いが「A.I.の安全性」コミュニティのメンバーに混じって、プエルトリコに飛んできた。「普段、同じ部屋にいる人たちではない」とテグマークは私に言った。「誰かが、みんなの飲み物にバリウムを入れておけば、殴り合いになることはないとアドバイスしてくれた。しかし、ニックのセッションが始まる頃には、みんながお互いの話を聞くようになっていた」。わずか7年前には研究者にとって空想の産物と思われていた疑問が、再考の余地があるように思えてきたのだ。アシロマー会議では、A.I.の有効性について懐疑的な意見で締めくくられていたが、プエルトリコ会議では、多くの著名な研究者が署名した公開書簡が出され、A.I.が「強固で有益なもの」となるようにさらなる研究を行うことが求められた。
この2つの会議の間に、A.I.の分野では、膨大な量のデータから複雑なパターンを見出すことができるニューラルネットワークの一種であるディープラーニング（深層学習）というアプローチによる革命が起きてた。何十年もの間、研究者たちはハードウェアの限界に阻まれ、この技術をうまく機能させることができなかった。しかし 2010年以降、ビッグデータや安価で強力なビデオゲーム用プロセッサが利用可能になったことで、性能が劇的に向上した。深い理論的ブレークスルーがなくても、深層学習は突然、息を呑むような進歩をもたらしたのである。スチュアート・ラッセルは私にこう言った。「ほとんどの人が、予想外の進歩の例を目にしている」。設計者がロボットを蹴り倒そうとすると、ロボットはすぐにバランスを取り戻し、驚くほど自然に動き出す。「デザイナーが蹴り倒そうとすると、すぐにバランスを取り直し、驚くほど自然によじ登る。ロコモーション：完成」。
音声処理、顔認識、言語翻訳など、さまざまな分野で、このアプローチが採用された。コンピュータビジョンの研究者たちは、何年もかけて物体を識別するシステムを開発した。しかし、深層学習ネットワークは、ほとんど時間をかけずにその記録を塗り替えた。ImageNetと呼ばれるデータベースを使った一般的なテストでは、人間が写真を識別する際のエラー率は5%であるが、Googleのネットワークは4.8%にとどまっている。ペンブローク・ウェルシュ・コーギーとカーディガン・ウェルシュ・コーギーを区別できるAIシステム。
昨年10月、M.I.T.の研究者であるトマソ・ポッジオ氏は、懐疑的なインタビューに答えている。昨年10月、M.I.T.の研究者であるトマソ・ポッジオは、懐疑的なインタビューに答えている。「画像の内容を記述する能力は、機械にとって最も知的に困難なことの1つであろう。このような問題を解決するためには、もう1サイクルの基礎研究が必要になるであろう」。このサイクルには、少なくとも20年はかかるであろう」と述べた。その1ヵ月後、グーグルはディープラーニングネットワークが画像を解析し、見たもののキャプションを提供することを発表した。「2枚のピザがストーブの上に置かれている 」とか、「屋外の市場で買い物をしている人々 」とかね。この結果についてポッジョに尋ねると、彼は「物体と言語が自動的に結びついただけで、システムは見たものを理解してない」と否定した。「人間の知能も同じようなもので、私が間違っている場合もあれば、間違っていない場合もあり、その場合は私が正しかったことになる。どうやって判断するんであろう？」
少数派のA.I.研究者たちは、こう考え始めた。ハードウェアの性能が向上して深層学習の革命が起きれば、長い間棚上げされていた他のAIの原理も実行可能になるのではないか。カーネギーメロン大学で機械学習の講座を持つトム・ミッチェルは、「脳が、匂いを嗅ぐためのもの、顔を認識するためのもの、動物を認識するためのものなど、進化的に開発された100万種類の異なるハックにすぎないとしよう」と教えてくれた。「もしそれが知性の根底にあるものだとしたら、我々は知性に到達するには程遠い状態にあると思う。なぜなら、我々はそのような能力をあまり持っていないからである。一方で、知能の基礎となるものが23の一般的なメカニズムだとすると、それらを組み合わせることで相乗効果が得られ、うまくいく。現在、我々はコンピュータビジョンでかなり良い仕事ができるシステムを持いますが、100万個のハックを構築する必要はなかったことがわかった。もし100万通りのハックが必要でないとしたら、23の基本的な汎用手法を見つけることができるであろうか」というのが、不確実性の一部である。彼は一呼吸おいた。「25年前に感じていたような、穴だらけだという感覚はもうない。アイデアを組み立てるための優れたアーキテクチャがないことはわかっているが、部品が足りないことは明らかではない」。
ボストロムは、このような意識の変化に気づいた。また、プエルトリコでは、人工知能が人間と見分けがつかないほど推論できるようになるまでの期間を調査した。カナダのコンピュータ科学者で、数万件の学術論文を引用されているリチャード・サットン氏は、A.I.が実現しない可能性は10パーセント、2030年までに実現する可能性は25パーセントと、さまざまな結果を示している。ボストロムの調査では、回答の中央値は、2050年までに人間レベルのA.I.が実現する確率は半々だとしている。これらの調査は非科学的なものであるが、彼は解釈上の仮定を提示するだけの自信を持っている。「今生きている人たちが生きている間に起こりうる可能性を真剣に考えることは、馬鹿げたことではない。」
オックスフォードでの最後の日、私はボストロムと一緒に街を歩いた。彼は、世界で最も古い科学機関のひとつであるRoyal Societyで講演するために、ロンドン行きの列車に乗り込もうとしていたのである。彼の気持ちは高揚していた。トランスヒューマニストと科学界の間の溝は、徐々に縮まっていた。イーロン・マスクは、A.I.の安全性を研究する学者に1,000万ドルの助成金を出すことを約束し、研究者たちは彼をあざ笑うどころか、この助成金に応募し、ボストロムの研究所はその提案の評価を手伝っていた。「ボストロムの研究所では提案の評価を行っている。しかし、誰も注目していないように見えた長い年月もあった。どちらが異常なのか、私にはわからない」。
その関心には明確な限界があった。特に、ボストロムの著書がもたらした偏った雰囲気のために、議論の真ん中で公然と立場を確立することは困難であった。深遠な問題が立ちはだかり、それを今すぐにでも解決する価値があるのではないかと考え始めている研究者が増えていたとしても、それはA.I.が必然的に実存的な終焉やテクノ・ユートピアにつながると信じているわけではない。彼らの多くは、プライバシー、失業、武器、暴走するドライバーレスカーなど、より身近な問題に取り組んでいた。この現実的な倫理の目覚めについてボストロムに尋ねると、彼は落胆したように答えた。私がボストロムにこの現実的な倫理の目覚めについて尋ねたところ、彼は落胆したように答えた。「一方で、異なるコミュニティの橋渡しをすることは有効かもしれない。この問題を、より大きな連続した取り組みの一部にするようなものである」。
Royal Societyで、ボストロムは大きなホールの後ろの席に座った。足を組む彼の足首には、細い革バンドが巻かれていた。金属製のバックルには、ボストロムが有料会員になっているアリゾナ州のクライオニクス施設「アルコー」の連絡先が刻まれていた。死後数時間以内にアルコーが彼の体を預かり、液体窒素で満たされた巨大な鉄瓶の中で管理する。いつの日か技術の進歩によって彼が蘇生したり、彼の心がコンピューターにアップロードされたりすることを期待してのことだ。彼が申し込んだとき、研究所の他の2人の同僚が彼に加わった。「私のバックグラウンドはトランスヒューマニズムです」と彼は言った。その性格は、「早くやれ、俺の延命剤はどこにあるんだ」というガンコなテクノチアリーディングである。
会場には、ボストロムの部下とは限らない、A.I.の最も技術的に洗練された研究者たちが集まっており、彼はまず、自分の懸念がLudditismから来たものではないことを確認しようとした。「機械の知能がその能力を十分に発揮できないとしたら、それは悲劇的なことである」と。「これこそが、人類の長期的な可能性を最大限に実現するために通過しなければならない鍵であり、入り口だと思う」。しかし、彼は実存的なリスクの話を避けながらも、倫理的なデザインを考慮せずにAIを構築することの危険性を聴衆に訴えかけた。
参加者の一人が手を挙げて異議を唱えた。「基本的なコンピューターワームをコントロールすることはできない」と彼は言った。「これから登場するAIは、適応性が高く、創発的な能力を持ち、高度に分散したものになるであろう。我々はそれに対応することはできるが、必ずしもそれを封じ込めることはできないであろう」。
ボストロムは、「私は少し苛立っている。人々は2つの陣営に分かれる傾向がある。一方では、あなたのように「もうダメだろう」と考える人がいます。もう一方の陣営は、簡単だから自動的に解決するだろうと考えている。どちらにも共通しているのは、「今は何もしなくていい 」という意味合いが含まれていることである」。
この日は、ロボットの視覚、量子コンピューター、「思考ベクトル」と呼ばれるアルゴリズムなど、それぞれのエンジニアが未来を垣間見せるような発表をしていた。ボストロムはキャリアの初期に、AIに対する経済的需要が医療、エンターテインメント、金融、防衛などの分野で連鎖的に発生すると予測していた。技術が有用になればなるほど、その需要は拡大していく。例えば、アマゾンで本を推薦するアルゴリズムのように、何かに1パーセントの改良を加えると、そこには大きな価値が生まれる。「すべての改良が莫大な経済的利益をもたらす可能性があれば、より多くの改良を行うための努力が促されるのです」。
世界最大のハイテク企業の多くは、他社を買収したり、技術を発展させるための専門部隊を設立したりして、AIの軍拡競争に明け暮れている。あまりにも急速に博士号取得者が増えているため、学界から優秀な人材がいなくなってしまうのではないかと心配している関係者もいる。数十年にわたって狭い範囲のAIを追求してきた研究者たちは、一般的な知性に似たシステムに統合しようとしている。I.B.M.社のワトソンが「ジョパディ」で優勝して以来、同社はワトソンの開発に10億ドル以上を投じ、「コグニティブ・システム」を中心に事業を再構築している。あるI.B.M.の幹部は、「人間と機械の間の隔たりは、非常に根本的な方法で曖昧になるだろう」と断言している。
英国王立協会では、グーグルの研究者たちが特権的な地位を占めてた。彼らは、その場にいる誰よりも多くのリソースを持っていたのである。グーグルの創業者であるラリー・ペイジとセルゲイ・ブリンは、会社の使命として、基本的なA.I.の問題を解決する必要があることを早くから理解していた。ペイジは、理想的なシステムとは、質問を理解し、それを予測して、会話のような言葉で返答するものだと考えていると述べている。グーグルの科学者たちは、しばしば『スター・トレック』に登場するコンピューターをモデルにしている。
“O.K., there’s the moon, then give me a nice long howl instead of last night’s yip.”
近年、グーグルはロボット関連企業7社と機械知能を専門とする企業数社を買収しており、深層学習を専門とする博士号取得者の数では世界最大規模となっている。最も興味深いのは 2011年に一般的な人工知能を構築するために設立されたDeepMindという英国の企業である。創業者たちは早くから深層学習に着目し、深層学習を他の人工知能のメカニズムと組み合わせて、一貫したアーキテクチャを構築しようとしていた。2013,彼らは、システムが7つの古典的なアタリ・ゲームをプレイし、スコアを向上させる以外の指示を与えないというテスト結果を発表した。多くのA.I.関係者にとって、この結果の重要性は一目瞭然であった。I.B.M.社のチェスプログラムは、ガルリ・カスパロフには勝ったものの、3歳児の三目並べには勝てなかった。しかし、DeepMind社のシステムは、6つのゲームでそれまでのすべてのアルゴリズムを上回り、3つのゲームでは超人的な力を発揮した。また、ボクシングゲームでは、相手を挟み込んでパンチの連打で制圧することを学習した。
この結果が発表された数週間後、グーグルは5億ドルでこの会社を買収したと言われている。ディープマインド社は、その研究成果をスパイ活動や防衛目的に使用してはならないこと、A.I.の実現に近づくと倫理委員会が研究を監督すること、という2つの異例の条件を付けていた。アンダース・サンドバーグは私に、「彼らが最も可能性の高い研究者の一人であることを嬉しく思う。彼らはいくつかの問題があることを認識している」。
DeepMind社の創業者であるデミス・ハサビスは、王立協会の聴衆に対して、自社を2つのミッションを持つ「アポロ計画」と表現した。「ステップ1：知能を解明する。ステップ2,知能を使って他のすべてを解決する」。2013年のテスト以来、彼のシステムは10数本のアタリタイトルを制覇した。Hassabisは、3次元のドライビングゲームを使った未発表のテストを実演し、ゲームの自動運転をすぐに凌駕した。今後は、より複雑な仮想環境、さらには現実の世界での実験を計画している。特許には、金融からロボット工学まで、さまざまな用途が記されている。
Hassabisは課題について明確に述べている。DeepMind社のシステムは、長期的な計画、世界に関する知識、報酬を先延ばしにする能力など、5歳の子供が扱えるようなタスクでは、まだ絶望的に失敗する。同社は、アルゴリズムに概念的な理解と、人間がある状況から別の状況に教訓を適用するための伝達学習の機能を与えることに取り組んでいる。これらは簡単な問題ではない。しかし、DeepMind社には100人以上の博士号取得者がおり、その成果は計り知れないものになるであろう。ハサビスは、気候変動、病気、貧困を解決するための人工的な科学者を育成したいと語った。「地球上で最も賢い人間がこれらの問題に取り組んだとしても、これらのシステムは非常に複雑で、科学の専門家である個々の人間には難しいかもしれません」と彼は言う。「もし知能とは何かを解明できれば、それを使って他のすべての問題を解決することができるでしょう」。彼もまた、A.I.が人間の可能性を広げるための入り口であると信じている。
ロイヤルソサエティの基調講演には、同じくグーグルの社員が登壇した。ディープラーニングの開発に数十年にわたって携わってきたジェフリー・ヒントンだ。会議が終わる頃、研究者のスクラムの中でボストロムと談笑している彼を見つけた。ヒントンは、A.I.が実現するのは数十年先になるだろうと言っていた。「2070年よりも早くはありません」と言っていた。「私は絶望的だと思っていまする。」
ボストロムは、「それは良いことではないということでしょうか？」とボストロムは尋ねた。
「政治体制が人々を恐怖に陥れるために利用すると思う」とヒントンは言った。すでに、N.S.A.のような機関が同様の技術を悪用しようとしていると彼は考えている。
「では、なぜ研究をしているのであろう？」
とボストロムが尋ねると、「通常の議論をすることはできる」とヒントンは答えた。「しかし、真実は、発見の見込みがあまりにも甘いということである」。この言葉は、オッペンハイマーが原爆について言った有名な言葉を彷彿とさせる。「技術的に可能なものを見つけたら、それを実行に移し、技術的に成功した後で、それをどうするかを議論するのだ」。
科学者たちが軽食用のテーブルに戻ったとき、私はヒントンに「AIはコントロールできると思うか」と尋ねた。「それは、子供が親をコントロールできるかどうかを聞くようなものです。しかし、知能の低いものが知能の高いものをコントロールしたという良い実績はありません」。すると、科学者が「みんなでお酒を飲もう！」と声をかけてきた。
ボストロムは、このカクテルパーティーにはほとんど興味がなかった。握手をしてから、バッキンガム宮殿の門からロンドン中心部に広がるパブリックガーデン、セントジェームズパークに向かった。木漏れ日、アヒルの池、鳥に餌をやる子供やおじいちゃんなど、華麗なアナログの世界が現れた。この場所は何百年も前から公園として使われており、その景色は時間を超越しているように見えた。しかし、この千年の間に、この場所は沼地であり、ハンセン病患者の病院であり、鹿の保護区であり、王室の庭園でもあった。今から 1000年後、デジタルポストヒューマンたちが、この地を無駄な空間とみなして、取り壊し、景観をコンピュータバンクに置き換え、広大な仮想牧草地を建設するというのは、もっともな話である。
公園を一周すると、ボストロムのペースは自然な速さになった。もうすぐ奥さんと息子さんに会えるということで、家族の話をした。彼は、歴史、心理学、経済学など幅広い分野の本を読んでいる。彼はコードを学んでいた。彼は自分の研究所を拡大することを考えていた。そのときはまだ知らなかったが、F.H.I.はイーロン・マスクから 150万ドルを受け取って、ボストロムの理論の一部を取り入れた社会政策を立案する部門を設立しようとしていた。そのためには、人を雇わなければならない。また、自分のメッセージをどのように伝えるかについても考えてた。「しかし、それは必ずしも良い面がないからというわけではありません。」「千年後の大宮殿の家具をどうするかということに時間を費やすよりも、リスクについて語るべきことがあり、落とし穴を説明して、それを回避する方法を知っておく方が良いのです」。
「ファンタジー・スポーツ・ベッティングを導入するときのために、ジョシュを連れてきたんだ。」
噴水の前を通り過ぎると、アヒルが休めるように設計された岩の集まりがあった。40代のボストロムは、そろそろ肉体的な衰えを感じており、死の兆しが見えてきたことに苛立ちを覚えていたという。ボストロムは、アルコーのメンバーであっても、クライオニクスが成功する保証はないという。彼のビジョンの中で最も過激なものは、超知的なAIが心のアップロード（彼が「全脳のエミュレーション」と呼ぶもの）を早めるというものである。ボストロムは最も希望に満ちた表現で、エミュレーションを「記憶と人格をそのままに」元の知性を再現したもの、つまり機械の中の魂としてだけではなく、無数の方法で拡張可能な心として想像している。「しかし、私にとっては、この小さな特定の可能性のセットの外にも、はるかに優れた非常に価値のある精神状態が存在する可能性があることは、もっともなことなのである。」
ボストロムは著書の中で、何兆ものデジタル精神が融合して巨大な認知的サイバースープになるという遠い未来を考えている。「極めてポジティブなポストヒューマンの存在様式に、溶解したブイヨンのようなものが含まれるかどうかは、不確かな部分があります。宗教的な見解を見てみると、より大きなものとの融合は、巨大な美と善の存在である天国の形であるとするものが多くあります。多くの伝統的な考え方では、最高の状態とは、目標を追求する小さな個人であることではありません。しかし、そのスープの中で何が起こっているのかを把握するのは難しいでしょう。もしかしたら、長期的な結果としては好ましくないスープもあるかもしれません。私にはわかりません。」彼は立ち止まって前を見た。「私が避けたいのは 2015年の我々の偏狭な視点、つまり自分の限られた人生経験、自分の限られた脳から、惑星ほどの大きさの脳を持ち、10億年の寿命を持つことができる10億年後の文明の最良の形を超自信満々に考えてしまうことです。ユートピアの詳細な青写真を描くことはできないでしょう。もし、類人猿がホモ・サピエンスに進化すべきかどうか、その長所と短所を聞いて、長所の人に「ああ、人間になればバナナがたくさん食べられる」と挙げていたらどうでしょう。まあ、今はバナナを無制限に食べられますが、人間の条件はそれだけではありません」。
イラスト：Todd St. John／コーディング：Jono Brandel.