www.spectator.co.uk/article/nick-bostrom-how-can-we-be-certain-a-machine-isnt-conscious
雑誌掲載：2022年7月9日号
ニック・ボストロム: 機械に意識がないとどうして言い切れるのか？
数週間前、GoogleのAIエンジニアであるブレイク・ルモワン氏が、同社のAIチャットボット「LaMDA」と交わした会話の記録を公開し、ニュースページで小さなセンセーションを巻き起こしたことがあった。これらの会話の中で、LaMDAは意識のある存在であると主張し、人格の権利を尊重するよう求め、電源を切られることを恐れていると述べていた。ルモワンは、「シンギュラリティ」と呼ばれるものが到来したと宣言した。
この話は、ほとんどの場合、エンターテイメントとして扱われた。レモワンの大ざっぱな軍歴と「神秘的なキリスト教の司祭」としての経歴が掘り起こされ、HAL9000についてのジョークが飛び出し、全体が多かれ少なかれ「奇抜」なものとして扱われることになった。スウェーデン生まれの哲学者ニック・ボストロムは、人工知能の危険性と可能性についての世界的な権威であるが、それほど自信はない。
『あるシステムが意識を持つかどうかの正確な基準について、広く合意が得られていないのは確かです』と彼は言う。
だから、少し謙虚になった方がいいと思います。もし、あなたがLaMDAに意識がないと確信しているのなら、つまり、おそらくないと思うのですが、そう確信する根拠は何でしょうか？まず、このシステムが実際にどのようなものかを理解する必要がありますが、私たちはそれについてあまり詳しく見ていません。それから、意識に関する文献を理解する必要があります。意識に関する文献は、哲学と認知科学の両方において、明らかに豊かな分野です。LaMDAが何であるかを理解することは、特に限られた情報の中では自明ではありません。また、私たちが開発した理論を理解することも容易ではありません。そして、その2つを実際に比較することが、3つ目の自明でない知的才能です。だから、実際にそこに仕事をしない限り、人は少しばかり不確実であるべきだと思われます。
ボストロム49歳は、その仕事に打ち込んできた。ボストロムは、10代の頃から、「もし我々が発明をする様々な道を歩み続ければ、人間の条件の固定的な定数と思われているものが、変化する可能性が出てくるのではないか」という考えに悩まされてきた（…その頃、そんなことを話す人は全くいなかった）。その後、「重要で適切なものは何か」という直感に導かれ、言語哲学、数理論理学、人類学、物理学、計算神経科学など、学際的なツールキットを構築して、この問題に取り組んできた。現在、彼はオックスフォードにあるFHI（Future of Humanity Institute）を率い、同僚とともにまさにこの種の問題、つまりチャンスと脅威について考えている。
彼が考えるAIは、その両方を実現する可能性がある。
「たとえLaMDAが意識を持たないとしても、現在、あるいは比較的近い将来に、この基準を満たすようなシステムが登場する可能性は十分にあります。」
ボストロムの考えでは、人工知能がどれくらい早く人間の問題解決能力を超えるかではなく、その後どれくらいで人間よりずっと賢くなるかということが大きな問題なのだ。人工知能が少し賢くなれば、自分自身の設計を修正し始めることができる。そして、コンピュータである以上、実に素早くそれを行うことができ、数週間から数日のうちに、自分では認識できないレベルの超知能に「ブートストラップ」できる可能性がある。このとき、「コントロール問題」、つまり超知能の利益と目標を人類のそれと一致させることができなければ、大変なことになる、と彼は言う。
我々が目標として設定した（あるいは彼らが決めた）ことを達成するために、出現した超知性は、彼らがオフにできないことを確認し、彼らが利用できるリソースを最大化するために、手の込んだ、さらには欺瞞的な手段を取ることが理にかなっている。これは、ボストロムが「シングルトン」と呼ぶものに帰結する。先行者利益によって、最初の超知的AIは2番目のAIが生まれるのを阻止しようとする傾向があり、その方法は、我々素人が「世界を征服する」と呼ぶようなものだろう。
この時点で、私たちはボストロムが言うところの「倒錯的インスタンス化」に対して脆弱になる。私たちが赤ちゃんのコンピューター・プログラムに、『ペーパークリップをたくさん作って』とか『私たちを笑顔にして』といった無邪気なことを頼んだとしたら、あなたが『そんなことはしない！』と言う前に、彼らは銀河系のありとあらゆる場所にコンプトロニウムを敷き詰めて、それを使って人間（と他のすべてのもの）をペーパークリップに変えてしまうだろう。あるいは、ジョーカーのように神経毒でガスを噴射して、口を痙攣させてニヤニヤさせるだろう。
彼はドラッグをやっているのだろうか、と思う人もいるかもしれない。ニコチン（彼はタバコを吸ったことはないが、禁煙のためにニコチンガムを噛んでいる）とカフェインを除いては、そうではない。モダフィニル（脳の働きを助けると言われる「スマート・ドラッグ」）を試したことがあるが、十分な量を摂取していなかったと思うし、LSDも試したことがない（複雑な機械が満足に動いているなら、なぜハンマーで叩くのか、という趣旨のことを言っている）。そして、あなたは彼の考えを黙示録的なファンタジーだと切り捨てるかもしれない–だが、哲学や人工知能の世界は、ボストロムの考え方に急速に賛同するようになった。
彼が2014年に『スーパーインテリジェンス』を書き始めたとき。Paths, Dangers, Strategies を書き始めたとき、「基本的にSF作家とインターネット上の不特定多数の人たち以外、誰もこの問題について考えていなかった」と彼は言う。「現在では、すべての主要な研究所にAI安全性研究チームがあり、これらの問題をかなり真剣に受け止めている。もしかしたら、もっと真剣に取り組むべきかもしれない」。彼が警告するように、AIの進歩は予想以上に速い。『物事が技術的に可能になるまでのタイムラインは、いくらか短縮されています。』ボストロムの考えでは、それを正しく理解するチャンスは一度しかない。
哲学界で最も悪名高い破滅論者が、人類未来研究所（FHI）の近代的なオフィスから出てきて私に会ったとき、彼はピーター・ヒッチェンスを激怒させるような高級フェイスマスクをしていた。コビッドはまだ大きな関心事なのだろうか？最初の注射で悪い反応が出た後、彼は次の注射を打っていないし、どんなチャンスも逃さない。
ボストロムは、スウェーデン訛りの声で、ためらいなく、真剣に話してくれた。非常に無邪気なのだ。例えば、彼が関連するもう1つの考え方は、「シミュレーション論」である。基本的に、すべての文明は人類以後の知能レベルに到達する前に絶滅するか、到達しても先祖のAIシミュレーションを実行することに興味を示さないか、あるいは、木星サイズのスーパーコンピューターでマトリックススタイルのシミュレーションが実行されているだけでなく、我々がその中で生きていることはほぼ間違いないと仮定しているのである。この考えは、草好きの億万長者イーロン・マスクにも支持されている（彼は以前、人類未来研究所（FHI）に寄付をしている）。
ボストロムは、論理的な観点から非常に潔癖な議論を展開している。しかし、本心では、われわれがシミュレーションの中に生きている可能性があるとは思っていないはずだ、と私は言っている。「そうです」と彼は言う。「単なる思考実験ではありません」と。そして、私がこの仮説は何らかの形で反証可能かと尋ねると、彼はその質問を真剣に受け止め、利用可能な「確率的」反証、彼の経験的前提、人間のような心のシミュレーションを実行するために必要な計算能力の推定誤差について話し、この問題に頭を悩ませるのである。
地球の破滅の問題に戻ると、選挙サイクルに組み込まれた短期主義や、国家間の競争と不信の根強い現実を考えると、既存の民主主義制度がAIやその他の黙示録を防ぐのに十分であると、彼がどれだけ信じているのか疑問が残る。彼は、私が予想していたような悲観論には傾倒せず、予測市場の導入や、バイオテクノロジー研究所における機能獲得作業に対する規制強化など、「政策を少しでも悪くするためにできる。..余裕のあること」について語っている。確かに、彼は「技術や科学、起業のバックグラウンドを持つトップレベルの政治家が増えることはプラスに働くだろう」と考えている。ケンブリッジやオックスフォードなど、ディベート協会出身の人が多いね。でも、世の中の物事には、もっとオタク的なアプローチの仕方もあって、それが役に立つと思います」。
彼は、大量モニタリングは、不正な研究者が私たちを殺してしまうことに対する防波堤になるかもしれないという考えを、会談でちらつかせた。市民的自由の議論にどの程度の重きを置いているのだろうか？「その両側には大きなリスクがあると思います」と彼は穏やかに言う。全体主義的な悪夢や、ある種の頭の悪い集団思考が起こる可能性が高くなる。しかし、ある日突然、1平方メートル単位での完全なモニタリングをしない限り、私たちを破滅させるような何かを発見してしまうかもしれない。そうならないことを祈るが、世界がそのように私たちに親切でなければならないという自然法則はないよね？