Contents
Will AIs Take All Our Jobs and End Human History—or Not? Well, It’s Complicated…
ChatGPTの衝撃
ほんの数ヶ月前まで、オリジナルのエッセイを書くことは、人間にしかできないことだと思われていた。しかし、ChatGPTが登場したのである。そして突然、AIが人間のようなエッセイを書くことができることに気づいたのである。そうなると、気になるのは当然である。どこまで進化するのだろう？AIは何ができるようになるのだろう？そして、私たち人間はその中にどう入っていくのだろう？
私の目的は、AIに期待される科学、技術、哲学の一端を探ることにある。最初に断っておくが、このテーマは知的にも現実的にも難しいものだ。なぜなら、これから述べるように、このような分野の歴史がどのように展開するかを予測しようとすると、基礎科学の問題である「計算の非簡約性」という現象に突き当たるからだ。
AI Chatbot：
計算の非簡約性（computational irreducibility）とは、計算理論において、ある計算過程や問題がより簡単な手順や方法で解決・短縮できない性質を指す。この概念は、ある問題を解決するためには、最も効率的な方法でも、ある程度の計算時間や手順を経なければならないことを意味する。
非簡約性の考え方は、計算機科学や複雑系理論において重要な役割を果たしている。例えば、あるアルゴリズムが与えられた問題を解決するために、必ず一定の計算リソース（時間やスペース）を必要とすることを示すために、非簡約性の概念が用いられることがある。
計算の非簡約性は、問題の難しさや計算機科学における最適解の探索に関連している。ある問題が非簡約である場合、その問題を解決するための短絡的な方法や近道は存在せず、必要な計算手順を実行することが避けられないことを意味する。
しかし、まずはその中でも特にドラマチックに登場したAIの例についてお話ししよう。「ChatGPT」である。ChatGPTとは何だろうか？これは、何十億ものウェブページや何百万冊もの本など、人間が書いたテキストが持つパターンに従ってテキストを生成する計算システムである。テキストプロンプトを与えると、私たち人間が書いたテキストの典型的なパターンに従って、テキストを生成する。
その結果は、（最終的には様々な工学的手法に依存しているが）驚くほど「人間らしい」ものである。そして、ChatGPTは、私たち人間が見たことのないものを「外挿」しなければならないとき、私たち人間がやりそうなことと同じような方法でそれをやっている。
ChatGPTの内部には、何百万もの単純な要素（「ニューロン」）が、何十億もの接続を持つ「ニューラルネット」を形成し、ウェブページなどに見られる人間の書いたテキストのパターンをうまく再現できるまで、段階的なトレーニングによって「調整」されている。訓練しなくても、ニューラルネットは何らかのテキストを生成することができる。しかし、重要なのは、それは私たち人間が意味を持つと考えるテキストではないということである。そのようなテキストを得るためには、私たち人間が書いたウェブページやその他の資料によって定義される「人間の文脈」をすべて構築する必要がある。「生の計算システム」は「生の計算」をするだけで、私たち人間に沿ったものを得るには、ウェブ上のすべてのページなどが捉えた詳細な人間の歴史を活用する必要がある。
でも、それで結局何ができるのか？それは、基本的に人間が書いたように読めるテキストだ。昔は、人間の言葉というのは人間特有のものだと思われていたかもしれない。でも、今はAIがそれをやっている。では、私たち人間には何が残されているのだろうか？テキストの場合、AIに「どの方向に進めばいいのか」を指示するプロンプトを指定する必要がある。そして、このようなことは何度も繰り返されることになる。「ゴール」があれば、AIはその達成に向けて自動的に動くことができる。しかし、私たち人間にとって意味のあるゴールを定義するには、AIの計算システムを超えた何かが必要である。そこで登場するのが、私たち人間である。
これはどういうことなのだろうか？通常、私たちはChatGPTを使うとき、テキストを使って基本的に欲しいものを伝える。すると、それについて小論文のような文章が書き込まれる。このインタラクションは、ある種の「言語的ユーザーインターフェース」（「LUI」と呼ぶこともある）に対応するものと考えることができる。グラフィカル・ユーザー・インターフェース（GUI）には、精巧なグラフィカル・プレゼンテーションを通してレンダリング（入力）されるコアコンテンツがある。ChatGPTが提供するLUIでは、代わりにテキスト（「言語的」）プレゼンテーションを通してレンダリングされる（そして入力される）コアコンテンツがある。
あなたはいくつかの「箇条書き」を書き留めるかもしれない。しかし、ChatGPTのLUIを使うことで、その箇条書きは、一般的に理解できる「エッセイ」になる。しかし、ChatGPTが提供するLUIによって、それらの箇条書きは、一般的に理解できる「エッセイ」に変わる。なぜなら、ChatGPTが訓練された何十億ものウェブページなどから定義される「共有コンテキスト」に基づいているからだ。
このことは、むしろ不安なことかもしれない。昔は、オーダーメイドのエッセイを見たら、それなりに人の手がかかっていると判断できた。しかし、ChatGPTでは、そのようなことはない。エッセイ化は「無料」で「自動化」された。「エッセイ化」は、もはや人間の努力の証ではない。
もちろん、このような展開は今に始まったことではない。例えば、私が子供の頃は、ある文書がタイプセットされているということは、誰かが印刷機で印刷するという大変な努力をしたことの証拠だった。しかし、DTPが登場し、どんな文書でも精巧に組版することができるようになった。
また、長い目で見ると、このようなことは基本的に歴史の中でずっと続いてきたことで、かつては人間の努力が必要だったことが、技術によって自動化され、「自由にできる」ようになる。これはアイデアの領域でも同じで、時代とともに抽象度が高くなり、手間がかかっていた細部や具体的な内容が埋もれていくのだ。
これは終わるのだろうか？いずれはすべてを自動化するのだろうか？すべてを発見したのか？すべてを発明してしまうのだろうか？あるレベルでは、その答えが「ノー」であることが分かっている。なぜなら、計算の非簡約性という現象がもたらす結果のひとつは、自動化、発見、発明の有限な量によって減らすことのできない計算が常に存在するということだからだ。
しかし、最終的には、これはもっと微妙な話になるだろう。なぜなら、計算量は常に増えるかもしれないが、私たち人間はその計算量に関心がないということもあり得るからだ。そして、私たちが関心を持つことはすべて、AIによってうまく自動化され、「私たちがすべきことはもう何もない」ということになるのだろう。
この問題を解くことは、私たちがAIの未来にどのように適合していくかという問題の核心となる。そして、この後、私たちは何度も何度も、最初は実用的な技術の問題に見えるかもしれないが、すぐに科学や哲学の深い問題に巻き込まれることを目の当たりにする。
計算機宇宙からの直感
計算の非簡約性については、すでに何度か触れた。これは、AIの未来を考える上で重要だと私が考えている、かなり深い、そして最初は驚くようなアイデアの輪の一部であることがわかった。
「機械」や「自動化」に対する私たちの直感の多くは、「時計仕掛け」のような工学の考え方からきている。つまり、私たちが望む目的を達成するために、部品ごとにシステムを構築する。そして、ほとんどのソフトウェアも同じで、私たちは、私たちが望むことを一歩一歩具体的に実行するために、一行一行でソフトウェアを書く。そして、機械やソフトウェアに複雑なことをさせたいのであれば、機械やソフトウェアの基本構造もそれに応じて複雑でなければならないと考えている。
だか et al., 1980年代前半に、可能なプログラムの計算宇宙全体を探索し始めたとき、そこで物事がまったく異なる動きをすることを発見したのは大きな驚きだった。そして、非常に単純なルールを繰り返し適用するだけの小さなプログラムであっても、非常に複雑なものを生み出すことができる。私たちが普段行っているエンジニアリングでは、このようなことは起こらない。なぜなら、私たちは常に、プログラム（またはその他の構造物）がどのように動作するかを容易に予測できるものを選び、私たちが望むことを明示的に設定することができるからだ。しかし、計算機の世界では、私たちが明示的に「入れる」ことなく、「本質的に」非常に複雑なプログラムを生成することがよくある。
そして、この発見をきっかけに、実は昔からある大きな例、つまり自然界があることに気づく。そして、自然界がしばしば見せる複雑さを生み出す「秘密」は、まさに単純なプログラムのルールに従って動作することであると、ますます思えるようになったのだ。(3世紀ほど前から、自然界を記述する究極の方法は数式だろうかのように思われていたが、ここ数十、特に最近の物理学プロジェクトで痛感したのは、一般に単純なプログラムの方がより強力なアプローチであることが明らかになったことである。)
これらのことは、テクノロジーとどのように関係しているのだろうか？テクノロジーとは、世の中にあるものを、人間の目的のために利用することである。そして、ここには基本的なトレードオフがある。自然界には、驚くほど複雑なことをするシステムが存在するかもしれない。しかし、問題は、私たち人間がたまたま便利だと思う特定のものを「切り取る」ことができるかどうかということである。ロバの内部では、さまざまな複雑なことが行われている。しかし、ある時点で、ロバを「技術的に」使って、荷車を引くという単純なことができることが発見されたということだ。
また、計算機の世界では、驚くほど複雑なことをするプログラムがごく普通に存在している。しかし、問題は、そのようなプログラムの中から、私たちにとって有用な側面を見つけられるかどうかということだ。例えば、そのプログラムは擬似ランダム性を作るのが得意なのかもしれない。あるいは、分散的にコンセンサスを決定するのが得意なのかもしれない。あるいは、ただ複雑なことをやっているだけで、それが達成する「人間の目的」を私たちはまだ知らないのかもしれない。
ChatGPTのようなシステムの特長は、伝統的な工学的手法で「一から十まで理解する」のではなく、「未完成の計算システム」（ChatGPTの場合はニューラルネット）からスタートし、その挙動が「人間に関連する」事例と一致するまで、段階的に調整していくことである。基本的には「生の計算システム」（ChatGPTの場合はニューラルネット）からスタートし、その挙動が「人間に関連する」事例と一致するまで、段階的に調整する。そして、この整合性こそが、私たち人間にとって「技術的に有用な」システムを作ることになる。
しかし、その根底にあるのは、やはり計算機システムであり、それが意味する潜在的な「野生」なのである。そして、「人間との関連性」という「技術目標」から解放されたシステムは、あらゆる種類の高度なことを行うかもしれない。しかし、それは（少なくとも歴史上の現時点では）私たちが気にするようなことではないかもしれない。たとえ、ある宇宙人（あるいは未来の自分たち）がそうするかもしれないのに。
さて、ここで「生の計算」という側面に戻ってみよう。計算には、これまで見てきた他のあらゆる種類の「メカニズム」とはまったく異なるものがある。私たちは、前に進むことができるカートを持っているかもしれない。ホッチキスの針を刺すことができるホッチキスもあるかもしれない。しかし、カートとホッチキスは全く異なることをするもので、両者の間に等価性はない。しかし、計算システム（少なくとも、常に単純な振る舞いをするものではない）には、「計算等価性の原理」がある。これは、計算できる種類の点で、すべてのシステムがある意味で等価であることを意味する。
この等価性には多くの結果がある。そのひとつは、脳組織や電子機器、あるいは自然界のシステムなど、あらゆる種類の異なるものから、同じように計算的に洗練されたものを作ることができるということである。そして、これが事実上、計算の非簡約性の由来となっている。
例えば、簡単なプログラムに基づいた計算システムがあれば、私たちの高度な頭脳や数学、コンピュータなどを使って、そのシステムが何をするのか、すべてのステップを経る前に「先読み」して把握することができると考えるかもしれない。なぜなら、システム自体も、私たちの脳や数学、コンピュータと同じように計算機的に洗練されたものである可能性があるからだ。つまり、そのシステムは計算不可能であり、そのシステムが何をするのかを知る唯一の方法は、実質的にそのシステムが行うのと同じ計算プロセス全体を経ることなのである。
科学というものは、いずれはもっとうまくいくものだというイメージがあるが、それは「予測」をすることで、それぞれのステップをたどらなくても、何が起こるかを知ることができるということである。実際、過去3世紀にわたって、主に数式を駆使して、このようなことに成功してきた。しかし、結局のところ、このようなことが可能になったのは、科学がこの方法が有効な特定のシステムに集中したためである（そして、そのシステムが工学に利用された）、ということがわかっている。しかし、実際には、多くのシステムが計算の非簡約性を示しているのである。そして、計算の非簡約性という現象は、事実上、科学が「自らの限界性を導き出す」ことになる。
従来の直感に反して、多くのシステムにおいて、そのシステムで起こることを記述する「公式」（あるいはその他の「近道」）を見つけようと思っても、決して見つけることはできない-なぜなら、そのシステムは単に計算で還元できないからだ。そして、これは科学や知識全般に対する制限を意味する。しかし、これは一見悪いことのように思えるが、根本的に納得できることでもある。なぜなら、もしすべてのものが計算で還元可能であれば、私たちはいつでも「先回り」して、例えば私たちの人生において最終的に何が起こるかを知ることができるからだ。しかし、計算の非簡約性というのは、一般的にはそれができないことを意味する。つまり、時間の経過によって、ある意味で「計算不可能な何かが達成されている」のである。
計算の非簡約性がもたらす結果は非常に多い。例えば、計算の非簡約性と観測者としての計算能力の限界の相互作用から、私たちが認識する物理学の中核的法則を確立することである。実際、将来におけるAIと人間の潜在的な役割に関する最も重要な問題の多くを理解するために必要な、唯一で最も重要な知的要素が、計算の非簡約性であると感じるようになっている。
例えば、私たちは工学の伝統的な経験から、あることが特定の方法で起こった理由を知るためには、機械やプログラムの「内部を見る」ことで「その動作を見る」ことができるという考え方に慣れている。しかし、計算の非簡約性がある場合、それはうまくいかない。確かに、「内部を覗いて」、例えば数ステップを見ることはできる。しかし、計算の非簡約性は、何が起こったかを知るためには、すべてのステップを辿らなければならないことを意味する。私たちは、「なぜ何かが起こったのかを語る」ような「シンプルな人間の物語」を見つけることは期待できないのである。
しかし、そうは言っても、計算の非簡約性の特徴のひとつは、計算不可能なシステムの中には、必ず（究極的には無限に）「計算の非簡約性のポケット」が存在するはずだということだ。つまり、例えば、何が起こるかは一概には言えないが、予測できる特定の特徴は常に特定できる。(後述するように、技術的（科学的）な進歩は、このような「還元性のポケット」の発見と密接に結びついていると考えることができる）そして、事実上、このようなポケットが無限に存在することが、「発明や発見が常にある」ことの理由なのである。
計算の非簡約性のもう一つの帰結は、システムの挙動を保証しようとすることと関係がある。例えば、AIが「決して悪いことをしない」ように設定したいとする。このような場合、それを保証するための特定のルールを思いつくことができると思うかもしれない。しかし、システム（あるいはその環境）の振る舞いが計算不可能である以上、そのシステムで何が起こるかを保証することはできないだろう。たしかに、計算で還元可能な特定の特徴については保証できるかもしれない。しかし、一般的に計算不可能であるということは、「驚きの可能性」や「意図しない結果」の可能性が常に存在することを意味する。そして、これを系統的に回避する唯一の方法は、システムを計算不可能にすることである。つまり、計算の力を十分に発揮できないようにすることである。
「AIには絶対にできないこと」
私たち人間は、何か「根本的にユニーク」な存在だろうかのように感じ、特別な存在であると思いたいものである。5世紀前、私たちは宇宙の中心に住んでいると考えていた。今、私たちは、自分たちの知的能力が、他の何ものにも勝る、根本的にユニークなものであると考える傾向がある。しかし、AIの進歩やChatGPTのようなものが、そうではないことを示す証拠をどんどん示している。そして、私の「計算機等価の原理」は、さらに極端なことを言っている。基本的な計算レベルでは、私たちには基本的に何も特別なことはなく、実際には、自然界の多くのシステムや、簡単なプログラムと計算上同じであるというのである。
このような広範な等価性は、非常に一般的な科学的声明（計算の非簡約性の存在など）を出すのに重要である。しかし、このことは、私たちの特殊性、つまり、私たち特有の歴史や生物学などが、いかに重要だろうかを浮き彫りにしている。これは、ChatGPTとよく似ている。ChatGPTと同じ構造を持つ一般的な（訓練されていない）ニューラルネットがあり、特定の「生の計算」を行うことができる。しかし、ChatGPTが興味深いのは、少なくとも私たちにとっては、何十億ものウェブページなどに記載されている「人間の仕様」を使って訓練されていることである。つまり、私たちにとってもChatGPTにとっても、計算上「一般的に特別」なことは何もないのである。しかし、「特別な」ものがある。それは、私たちが歩んできた特別な歴史、私たちの文明が蓄積してきた特別な知識、などである。
このことは、宇宙における私たちの物理的な位置と奇妙な類似性を持っている。宇宙にはある種の均一性があり、私たちの物理的な位置には「一般的に特別」なものはない。しかし、少なくとも私たちにとっては、「特別な場所」であることに変わりはない。さらに深いレベルでは、「物理学プロジェクト」に基づくアイデアから、「ルリアード」という概念が生まれた。これは、あらゆる可能な計算過程のもつれ限界であるユニークな物体である。そして、「宇宙の観測者」としての私たちの体験は、特定の場所でルリアードをサンプリングすることで成り立っていると考えることができる。
少し抽象的であるが（そして長い話なのでここでは詳しく触れない）、異なる観測者は物理空間の異なる場所にいて、支配空間の異なる場所にいると考えることができ、宇宙で起こることについて異なる「視点」を持っている。人間の心は、物理空間の特定の地域（主に地球上）と支配空間の特定の地域に集中している。そして、支配空間では、異なる人間の心、異なる経験、したがって宇宙についての異なる考え方が、少しずつ異なる場所に存在している。動物の心は、支配空間の中でかなり近いところにあるかもしれない。しかし、他の計算システム（例えば、「自分の心を持っている」と言われることもある天気のようなもの）は、宇宙人もそうであるように、より遠いところにある。
では、AIはどうだろうか。それは、「AI」の意味するところによる。「人間のようなこと」をするための計算システムのことであれば、それは支配空間において私たちの近くにいることになる。しかし、「AI」が任意の計算システムである以上、それは支配空間のどこにでも存在し、計算可能なことは何でもできる。(後述するように、私たちの知的パラダイムや物事の観察方法が拡大すればするほど、私たち人間が活動する支配空間の領域もそれに応じて拡大する）。
しかし、いいだろうか、私たち人間（とそれに続くAI）が行っている計算が、どれくらい「一般的」なのか。私たちは、脳について十分な知識を持っていない。しかし、ChatGPTのような人工的なニューラルネット・システムを見れば、ある程度のことはわかるかもしれない。そして実際、その計算はそれほど「一般的」なものではなさそうだ。ほとんどのニューラルネットシステムでは、入力されたデータは「システムの中を一回波打つ」だけで出力される。チューリングマシンのような、任意の「データの再循環」が可能な計算システムとは違う。そして実際、そのような「任意の再循環」がなければ、計算は必然的に極めて「浅い」ものとなり、最終的に計算の非簡約性を示すことはできない。
少し技術的な話になるが、ChatGPTの「これまでに生成されたテキストの再フィード」は、実際に任意の（「普遍的な」）計算を実現できるのか、という疑問もある。しかし、例えば、チューリングマシンのテープの連続した（自己制限された）状態を実質的に列挙し、計算の「答え」を見つけるのに少し努力が必要な、非常に冗長なテキストを作成することによって、ある形式的な意味では実現できる（あるいは少なくともその十分に拡大したアナログができる）のではないかと私は思っている。しかし、別のところで述べたように、ChatGPTは実際にはほとんど「ごく浅い」計算しかしていないと思われる。
実用コンピューティングの歴史において興味深いのは、「深い純粋計算」（数学や科学など）が、「浅い人間らしい計算」が実現可能になる前に何十年も行われてきたということである。その理由は、「人間らしい計算」（画像認識やテキスト生成など）には、多くの「人間の文脈」を捉える必要があり、そのためには多くの「人間が生成したデータ」とそれを保存・処理する計算資源が必要だからだ。
ところで、脳もまた、基本的に浅い計算に特化しているようだ。そして、より深い計算をすることで、計算の世界にあるものをより多く利用できるようにするには、コンピュータに頼らざるを得ない。これまで述べてきたように、計算の世界には、私たち人間が（まだ）気にしていないものがたくさんある。それは「生の計算」であり、「人間の目的を達成」しているとは思えない。しかし、現実問題として、私たち人間が気にしたり考えたりすることと、計算の世界で可能なことの間に橋を架けることは重要である。ある意味、それが私がWolfram Languageで力を入れているプロジェクトの核心であり、私たちが考え、世の中で経験することを計算用語で記述する本格的な計算言語を作ることである。
よし、みんな何年も前から言っている。「コンピュータがAやBをできるのはいいことだが、Xは人間にしかできない」と。しかし、その「X」とは何なのか？ChatGPTは、コンピュータができることをさらに増やす、思いがけない新しい事例を提供してくれた。
では、何が残るのだろうか？人は言うかもしれない。「コンピュータが創造性や独創性を発揮できるわけがない」と言われるかもしれない。WolframTonesの音楽生成システムやChatGPTの文章のように、ほんの少しのランダム性を計算の「種」にするだけで、かなり良い仕事ができることがある。また、こうも言われるかもしれない。「コンピュータは感情を表すことはできない」とも言われる。しかし、人間の言葉を生成する良い方法ができる前は、それを見分けることはできなかっただろう。そして今、ChatGPTに「嬉しい」「悲しい」などを書いてもらうと、かなりうまくいく。(人間も他の動物も、感情は神経伝達物質の濃度のような単純な「グローバル変数」に関連していると推測される。)
昔の人は言ったかもしれない。「コンピュータが判断を示すことはありえない」と。しかし、今では、さまざまな領域で人間の判断を再現する機械学習システムの例は枚挙にいとまがない。また、人はこうも言うかもしれない。「コンピューターは常識を示さない」とも言われる。これは、ある特定の状況において、コンピュータは局所的に答えを出すかもしれないが、その答えが意味をなさないグローバルな理由があり、コンピュータは「気づかない」けれども、人間なら気づくという意味だそうだ。
では、ChatGPTはどうなのだろうか？それほど悪くはない。多くの場合、「それは私が通常読んできたものとは違う」と正しく認識する。しかし、間違いを犯すこともある。その中には、純粋にニューラルネットを使って、ちょっとでも「深い」計算ができないことも関係している。(そしてそれは、Wolfram|Alphaをツールとして呼び出すことで解決できることが多い）。しかし、他のケースでは、異なるドメインを十分に結びつけることができないことが問題になっているようだ。
簡単な「SAT式」（アメリカの大学入試テストで使用される類推問題の形式）類推は完璧にできる。しかし、より大規模なものになると、それを管理することができない。しかし、私の予想では、あまりスケールアップしないうちに、（私たち人間には到底できないような）非常に印象的な類推ができるようになり、その時点で、より広い「常識」を示すことに成功するのではないだろうか？
では、人間にできて、AIにできないことは何だろうか？それは、「何をすべきか」という目標を設定することである。これについては、後で詳しく説明する。しかし、今のところ、どんな計算システムも、いったん「動き出したら」、そのルールに従って、何をするかは決まっている。しかし、「どのような方向へ向けるべきか」？それは、「システムの外」からやってくるものである。
では、私たち人間にはどのように作用するのだろうか。私たちの目標は、生物学的進化と文化的発展の両方からなる、私たちが組み込まれている歴史の網全体によって、事実上定義される。しかし、その歴史の網に本当に参加する唯一の方法は、その網の一部になることなのだ。
もちろん、脳のあらゆる「関連性」を技術的にエミュレートすることは想像できるし、実際、ChatGPTの成功は、それが想像以上に容易であることを示唆しているかもしれない。しかし、それだけでは十分ではない。後述する「人類史の網の目」に参加するためには、「人間であること」の他の側面、たとえば移動すること、死ぬことなども模倣しなければならない。そう、「人造人間」を作れば、私たち人間の特徴をすべて備えていることが期待できる。
しかし、AIを「コンピュータの上で動く」とか「純粋にデジタルである」とか言っているうちは、少なくとも私たちが関わる限り、AIは「外から目標を得る」必要がある。いつか（これから述べるように）「AI文明」なるものが生まれ、それが歴史の網の目を形成することは間違いないだろう。しかし、その時点では、私たちが認識できる目標で、その状況を説明することはできないだろう。事実上、その時点でAIは私たちの支配する空間から去っている。これから説明するように、AIは自然界で見られるような、計算が行われていることはわかるが、それを人間の目標や目的という観点から擬人的に説明することはできないようなシステムで動作するようになる。
人間には何も残らないのだろうか？
自動化（そして現在はAI）が進むと、やがて人間のやることがなくなってしまうのではないか。人類が誕生して間もないころは、生きるために狩猟や採集など多くの苦労があった。しかし、少なくとも世界の先進国では、そのような仕事はせいぜい遠い歴史的な思い出に過ぎない。
しかし、歴史のどの段階でも、少なくともこれまでのところ、人々を忙しくさせる他の種類の仕事が常にあるようだ。しかし、次第に繰り返されるようになるパターンがある。何らかの技術によって、新しい職業が生まれる。そして、その職業はやがて普及し、多くの人がそれを行うようになる。しかし、技術の進歩により、その職業は自動化され、人が必要でなくなる。しかし、今度は新しいレベルのテクノロジーが登場し、新しい職業を可能にする。そして、このサイクルは続く。
一昔前までは、電話の普及に伴い、交換手として働く人が増えた。しかし、その後、電話交換機が自動化され、交換手は不要になった。しかし、交換機が自動化されると、通信インフラが大きく発展し、新しいタイプの仕事が増え、その結果、交換機のオペレーターだった人よりもはるかに多くの人が働くようになる。
経理事務でも似たようなことがあった。コンピュータが普及する前は、人が苦労して数字を集計する必要があった。しかし、コンピュータの登場により、それがすべて自動化されたのである。しかし、その自動化によって、より複雑な金融計算ができるようになり、より複雑な金融取引、より複雑な規制などが可能になり、その結果、さまざまな新しいタイプの仕事が生まれた。
そして、さまざまな産業で、同じようなことが起こっている。自動化によって廃れる仕事もあれば、可能になる仕事もある。しかし、少なくとも今までのところ、自動化された仕事のフロンティアは広く存在しているようだ。しかし、少なくともこれまでのところ、自動化が可能になったが、まだ自動化されていない仕事のフロンティアは常に広がっているようだ。
これはいつかは終わるのだろうか。私たち人間が望む（少なくとも必要とする）ものがすべて自動的に届けられる時代が来るのだろうか。もちろん、それは私たちが何を望んでいるか、そして、例えば、それがテクノロジーの進歩によって可能になったものだろうかどうかによって異なる。しかし、「もう十分だ」と判断して、すべてを自動化することはできないだろうか。
私はそうは思っていない。その理由は、結局のところ、計算の非簡約性にある。私たちは、世界を「ちょうどいい」状態にしようとする。例えば、私たちが「予測可能な快適さ」を得られるように設定するとする。しかし、問題は、自然界だけでなく、社会のダイナミクスなど、物事の発展の仕方には、どうしても計算の非簡約性があることである。つまり、物事は「そのまま」では済まないということだ。自動化ではカバーしきれない、予測不可能なことが常に起こるのだ。
最初は私たち人間は「そんなの関係ない」と言うかもしれない。しかし、やがて計算の非簡約性がすべてに影響するようになる。なので、もし私たちが何か気になることがあれば（例えば、絶滅しないことも含めて）、いずれは何かをしなければならなくなり、すでに設定されている自動化を超えていかなければならなくなるだろう。
実用的な例を見つけるのは簡単だ。コンピュータと人がシームレスな自動ネットワークでつながれば、もう何もすることはないだろうと思うかもしれない。しかし、コンピュータのセキュリティ問題という「意図しない結果」はどうだろう。「技術で完成されたもの」と思われていたものが、いつの間にか新しい仕事を作り出している。そして、あるレベルでは、計算の非簡約性は、このようなことが常に起こることを意味する。「フロンティア」は常に存在するものなのだ。少なくとも、私たちが守りたいもの（絶滅しないとか）があるのなら、である。
しかし、今ここにあるAIの状況に話を戻そう。ChatGPTは、あらゆる種類のテキスト関連作業を自動化した。以前は、レポートやレターなどをカスタマイズして書くのに多くの労力と人が必要だった。しかし、（少なくとも100%の「正しさ」を必要としない状況であれば）ChatGPTがその多くを自動化してくれたので、人は必要なくなった。しかし、これは何を意味するのだろうか？それは、レポートやレターなど、より多くのカスタマイズができるようになるということだ。そして、その大量にカスタマイズされた文章を管理、分析、検証する新しい仕事が生まれる。プロンプトエンジニア（数カ月前まで存在しなかった職種）はもちろん、AIラングラーやAI心理学者などの必要性も出てくる。
しかし、「自動化されていない」仕事の今日の「フロンティア」について話しよう。それは、建設業、製造業、食品製造業など、機械的な操作を多用する仕事である。しかし、ここには欠けている技術がある。（汎用コンピューティングのように）優れた汎用ロボティクスはまだ存在せず、器用さや機械的適応性などでは、私たち人間の方がまだ優位に立っている。しかし、やがて、そしておそらく突然、必要な技術が開発されると確信している（そして、その方法について私はアイデアを持っている）。そうなれば、現在の「機械操作」の仕事のほとんどは「自動化」され、人が必要なくなる。
しかし、他の例と同じように、機械的な操作がより簡単に、より安くできるようになり、より多くの操作が行われるようになる。家屋の建設や解体が日常的に行われるようになるかもしれない。製品は日常的にどこからでも回収され、再分配されるかもしれない。もっと華やかな「食の建造物」が当たり前になるかもしれない。そして、これらのこと、さらに多くのことが、新しい仕事を生み出すことになる。
しかし、今世界に存在する「フロンティア」の仕事は、いずれすべて自動化されてしまうのだろうか。「人間がそこにいること」が価値の大部分を占めるような仕事はどうだろう。飛行機の操縦のように、パイロットが機内にいるという「コミットメント」が欲しい仕事。介護の仕事では、そこに人がいるという「つながり」が欲しい。営業や教育など、「人間的な説得」や「人間的な励まし」が必要な仕事。現代人は「そんなことを感じさせられるのは人間だけだ」と思うかもしれない。でもそれは、今の仕事のやり方がベースになっていることがほとんどである。そして、もしかしたら、その仕事の本質を自動化できるような別の方法が見つかり、必然的に新しい仕事ができるようになるかもしれない。
例えば、従来は「人間の説得」が必要だったものが、ゲーミフィケーションのようなもので「自動化」されるかもしれないが、その場合、デザイン、分析、管理などの新たなニーズが発生し、より多くのことができるようになる。
私たちは「雇用」について話していた。そして、この言葉はすぐに賃金や経済などを思い起こさせる。そして、確かに、人々が行うことの多くは（少なくとも現在の世界では）、経済的な問題によってもたらされている。しかし、そうでないものもたくさんある。「社会的な問題」として、「娯楽」として、「個人的な満足」のために、などなど、「ただやりたいこと」がある。
なぜ、私たちはこうしたことをしたいと思うのだろうか。そのいくつかは、私たちの生物学的な性質に内在していると思われる。また、私たちが置かれている「文化的環境」によって決定されるものもあるようだ。なぜ人はトレッドミルの上を歩くのだろうか。現代では、健康や寿命に良いからと説明する人がいるかもしれない。しかし、数世紀前、近代的な科学的理解がなく、生と死の意義についても異なる見解を持っていた時代には、その説明は本当に通用しなかっただろう。
私たちの「やりたいこと」「やるべきこと」に対する考え方の変化を促すものは何か？あるものは、純粋な「社会の力学」、おそらくはそれ自体が計算不可能なものによって引き起こされるようだ。しかし、あるものは、私たちの世界との関わり方に関係している。技術の進歩によって自動化が進み、知識の進歩によって抽象化が進んでいるのだ。
そして、私たちが「職業」や「仕事」と考えるものと同じような「サイクル」が、ここにもあるように思う。しばらくは、難しいことをやっていても、いい「娯楽」になってしまう。しかし、それが「簡単すぎる」（「ゲームXの勝ち方は誰でも知っている」など）ようになり、「より高いレベル」のものがそれに取って代わる。
生物学的な動機のベースとなるものについては、人類の歴史上、何も変わっていないように思う。しかし、将来的に影響を与える可能性のある技術開発があることは確かである。例えば、人間の不老不死が実現すれば、私たちの動機構造の多くの側面が変化するだろう。例えば、記憶を移植したり、あるいは動機を移植したりすることができるようになる。
今のところ、私たちがやりたいことは、生物学的な性質に「固定」されている部分がある。しかし、いつかは、少なくとも私たちの脳が行っていることの本質をコンピュータでエミュレートできるようになるに違いない（実際、ChatGPTなどの成功を見ていると、その瞬間は想像以上に近いと思われる）。そしてその時、「体外離脱した人間の魂」の可能性が出てくる。
現代の私たちには、そのような「実体のない魂」の「動機」を想像することは非常に難しい。「外から」見ると、私たちには「あまり意味のない」ことをしている魂が見えるかもしれない。しかし、それは1000年前の人が、今の私たちの活動をどう思うかと問うようなものである。これらの活動は、私たちが「現在の枠組み」全体に組み込まれているからこそ、現在の私たちにとって意味がある。しかし、その枠組みがなければ意味を成さない。そして、それは「体外離脱した魂」にとっても同じことだろう。私たちにとっては、それが行うことは意味をなさないかもしれない。しかし、「現在の枠組み」を持つ彼らにとっては、それが意味を持つ。
「それを理解する方法を学ぶ」ことはできるのだろうか。事実上、「未来の魂を理解する」ためには、そこにたどり着くまでの足取りをたどるしかない。つまり、今の私たちから見ると、ある「還元できない距離」を隔てて、事実上、支配空間内にいることになる。
しかし、そのような「魂」がどのように振る舞うかについて、少なくとも一般的なことを教えてくれる未来の科学はあるのだろうか。計算の非簡約性がある場合でも、計算の簡約性のある領域が必ず存在し、それによって予測可能な振る舞いの特徴があることは分かっている。しかし、そのような特徴は、今の私たちから見て「面白い」のだろうか。もしかしたら、そのうちのいくつかはそうかもしれない。もしかしたら、魂のメタサイコロジーのようなものを見せてくれるかもしれない。しかし、必然的にそこまでしかできない。なぜなら、魂が時間の経過を経験するためには、計算上の還元性がなければならないからだ。もし、起こることのあまりに多くが予測可能であれば、まるで「何も起こっていない」、少なくとも「意味のある」ことは何も起こっていないかのようだ。
そして、このことは「自由意志」についての疑問と結びついている。完全に決定論的な基本プログラムに従って動作する実体のない魂がある場合でも、計算の非簡約性によってその行動は「自由に見える」ことがある。そして、実体のない魂の「内的な経験」は重要である。
すべてが「単なる計算」として「目に見える形で動作」するようになれば、必然的に「魂がない」「意味がない」ことになると思っていたかもしれない。しかし、計算の非簡約性こそが、そこから脱却し、何か不可逆的で「意味のある」ことを実現させる。そしてそれは、物理的な宇宙における現在の私たちの生活であっても、未来の「実体のない」計算機的な存在であっても、同じ現象である。言い換えれば、たとえ私たちの存在そのものが「計算によって自動化」されたとしても、意味のある存在の完璧な「内的体験」ができないわけではないのである。
一般化された経済学と進歩の概念
人類の歴史、あるいは地球上の生命の歴史を見ていると、ある種の「進歩」が起きているという感覚が蔓延している。しかし、その「進歩」とはいったい何なのだろうか。それは、物事がだんだん「高いレベル」で行われるようになることで、実質的に「重要なことがより多く」行われるようになることだと考えることができる。この「より高いレベルへ」という考え方は、様々な形があるが、いずれも基本的には、下の詳細を排除し、「自分の大切なもの」の観点だけで活動できるようにすることである。
テクノロジーでは、自動化という形で表れ、これまで多くの細かい手順が必要だったものが、「ボタンを押すだけでできる」ものにパッケージ化される。科学や一般的な知的領域では、抽象化という形で現れる。また、生物学では、「モジュール単位」として扱える構造体（リボソーム、細胞、翼など）として現れる。
「より高度なことができる」のは、「計算量の削減可能なポケット」を見つけることができたことの反映である。そして、前述したように、そのようなポケットが無限に存在するということは、「進歩は常に永遠に続く」ことを意味する。
なぜなら、私たちは（少なくとも今のところ）有限の人生を生きており、「もっと起こってほしい」と思う限りにおいて、「進歩」はそれを可能にするからだ。確かに、より多くのことが起こることが「良いこと」であることは自明ではない。「静かな生活がしたい」という人もいるだろう。しかし、ある意味、生物学の深い基礎に由来する制約がある。
もし何かが存在しないのであれば、「それに何かが起こる」ということはあり得ない。だから生物学では、もし生物に何か「起こる」ことがあるとすれば、それは絶滅しない方がいいということになる。しかし、生物が存在する物理的環境は有限であり、多くの資源も有限である。そして、有限の命を持つ生物には、生物進化のプロセスや、生物間の資源の「競争」に必然性がある。
最終的に「究極の勝利の生物」は存在するのだろうか？いいえ、それはありえない。計算の非簡約性があるからだ。ある意味、計算の世界には常に探求すべきものがあり、「可能な生物のための計算材料」が増えている。そして、どんな「適性基準」（チューリングマシンに例えると、「停止する前に長く生きる」）があっても、それを使って「もっとうまくやる」方法が必ずあるはずだ。
しかし、生物学的進化は、その根底にあるランダムな遺伝子の突然変異のプロセスで、「行き詰まる」ことがあり、「より良い方法」を発見することができないのではないか、と考える人もいるかもしれない。実際、単純な進化モデルは、そうなることを直感させるかもしれない。しかし、実際の進化は、大規模なニューラルネットを使ったディープラーニングのようなもので、極めて高次元の空間を効果的に操作することで、少なくとも十分な時間があれば、「ここからそこに到達する方法」が常に存在するように思える。
でも、そうか、生物の進化の歴史から、「希少な資源を奪い合う」という感覚が、ある意味組み込まれているのだ。そして、この競争意識は（今のところ）人間の世界にも受け継がれている。そして実際に、経済学のほとんどのプロセスの基本的な原動力となっている。
しかし、もし資源が「希少」でなくなったらどうだろう。自動化やAIなどの進歩によって、「欲しいものは何でも手に入る」ようになったとしたらどうだろう。ロボットが何でも作ってくれる、AIが何でも解決してくれる、そんなイメージかもしれない。しかし、それでもどうしても希少なものは存在する。不動産は限られている。最初の○○」になれるものはひとつしかない。そして、結局のところ、人生が有限であるならば、時間も限られている。
それでも、やること（持つこと）が効率的であればあるほど、あるいはレベルが高ければ高いほど、時間内にできることは増える。そして、私たちが「経済的価値」と感じているものは、「より高度なものづくり」と密接な関係があるように思う。完成した携帯電話は、その原材料よりも「価値がある」組織は、その部品よりも「価値がある」しかし、もし「無限の自動化」が可能になったらどうだろう。そうすると、ある意味「どこまでも無限の経済価値」が存在することになり、「競争相手がいなくなる」と想像できるかもしれない。
しかし、またしても計算の非簡約性が邪魔をする。なぜなら、究極の生物学的勝利が存在しないのと同じように、「無限の自動化」が存在しないことを教えてくれるからだ。計算機の世界には、常に「探求すべきもの」があり、「進むべき道」がある。
実際のところ、どうなのだろうか。おそらく、さまざまな多様性が生まれると思う。例えば、「経済の構成要素とは何か」という図がどんどん細分化されていき、「経済活動の一人勝ちとは○○である」だけでは済まなくなるだろう。
しかし、この無限の可能性を秘めた絵に、ひとつだけ「皺」がある。誰も気にしないとしたらどうだろう。技術革新や発見が、私たち人間にとって重要でないとしたらどうだろう。もちろん、世の中には、いつの時代にも、私たちが関心を持たないものがたくさんある。私たちが拾い集めたケイ素のかけら？岩石の一部に過ぎない。マイクロプロセッサーを作るまではね。
しかし、これまで述べてきたように、「ある抽象的なレベルで操作している」以上、計算の還元性が低いため、いずれ「そのレベルを超える必要がある」ものに触れることは避けられないのである。
しかし、決定的なのは、選択肢があるということである。計算の世界には、探索すべき（あるいは「採掘」すべき）さまざまな道が、最終的には無限に存在することになる。そして、AIなどの計算資源がどうであれ、そのすべてを探索することはできないだろう。だから、何かが、あるいは誰かが、どの道を行くかを選択しなければならない。
ある時点で気になるものがあれば、そのすべてを自動化することに成功するかもしれない。しかし、計算の非簡約性ということは、常に「フロンティア」が存在し、そこで選択を迫られることを意味する。そして、「正解」はなく、「理論的に導出できる」結論もない。むしろ、私たち人間が関わることで、何が起こるかを定義することができるのだ。
どうすればいいのだろう？最終的には、生物学的、文化的など、私たちの歴史に基づくことになるだろう。私たちが今いる場所にたどり着くまでに行われた、すべての不可逆的な計算を利用して、次に何をすべきかを定義することになる。ある意味で、それは「私たちを通して」、私たちの存在を利用するものになるだろう。自動化が進んだとしても、私たち人間が「有意義に」できることが常にある場所なのだ。
どうすればAIに指示を出せるのか？
例えば、AI（あるいはあらゆる計算システム）に特定のことをさせたいとする。そのためには、AIにルールを設定する（あるいは「プログラムする」）だけでよいと考えるかもしれない。実際、ある種のタスクについては、それでうまくいく。しかし、計算を深く利用すればするほど、計算の非簡約性に直面することになり、私たちが望むことを実現するために特定のルールを設定する方法を知ることができなくなる。
そしてもちろん、そもそも「私たちが欲しいもの」を定義する問題もある。確かに、計算のある時点でどのようなビットのパターンが発生すべきかを示す特定のルールを設けることはできる。しかし、それはおそらく、私たちが通常気にするような全体的な「人間レベル」の目的とはあまり関係がないだろう。そして、私たちが合理的に定義できる目的であれば、それについて首尾一貫した「思考を形成」することができるはずだ。あるいは、事実上、それを説明するための「人間レベルの物語」があったほうがいい。
しかし、このような物語をどのように表現すればよいのだろうか。私たちには自然言語がある。これはおそらく、私たちの種の歴史において最も重要な技術革新である。自然言語が基本的に行うのは、「人間レベル」で物事を語ることである。自然言語は、「人間レベルの意味の集合体」を表すと考えられる言葉で構成されている。例えば、「椅子」という言葉は、「椅子」という人間レベルの概念を表している。これは、ある特定の原子の配置を指しているのではない。その代わりに、椅子という人間レベルの概念に統合することができ、そこから、その上に座ることができるという事実などを推論することができる、あらゆる原子の配置を指している。
では、「AIと会話する」場合、自然言語で言いたいことを言えばいいのだろうか。ChatGPTを使えば、ある一定の距離を保つことはできる。しかし、より精度を高めようとすると、複雑な法律文書の「法律用語」のように、必要な言語がどんどん装飾的になってしまうのだ。では、どうすればいいのだろうか。「人間の思考」のレベルにとどめようとするならば、計算の細部にまで「手を伸ばす」ことはできない。しかし、それでも私たちは、私たちが言うかもしれないことが、それらの計算の詳細の観点からどのように実装され得るかについての正確な定義が欲しくなる。
この問題に対処する方法は、私自身が何十年も費やしてきたものである。プログラミング言語といえば、コンピュータが何をすべきかをコンピュータ本来の言葉で定義する、計算の詳細さだけを追求したものである。しかし、真の計算言語（今日の世界ではWolfram言語が唯一の例である）のポイントは、それとは異なることだ。世の中のもの（具体的には国や鉱物、抽象的には計算や数学的構造）について、計算用語で正確に語る方法を定義することである。
計算機の世界では、「生の計算」に膨大な多様性がある。しかし、私たち人間が関心を持ち、考えることができるのは、その中のわずかな部分だけだ。そして、計算言語は、私たちが考えることと計算可能なことの橋渡しをするものだと考えることができる。計算言語（Wolfram Languageに含まれる7000ほどの関数）は、事実上、人間の言語における言葉のようなものだが、現在は明示的な計算の「岩盤」に正確な根拠を持つようになっている。そして、ポイントは、人間が考えたり表現したりするのに便利でありながら（数学の記法を大幅に拡張したような）、コンピュータ上で実際に正確に実装できるような計算言語を設計することである。
自然言語があれば、それを計算言語で正確に解釈することができる場合がある。そして実際，Wolfram|Alphaではこのようなことが行われている。自然言語の一部を与えると、Wolfram|AlphaのNLUシステムはその解釈を計算機言語として見つけ出そうとする。そして、この解釈から、Wolfram言語が指定された計算を行い、その結果を返すことになる。
実際問題として、この設定は人間だけでなく、ChatGPTのようなAIにも有効である。自然言語を生成するシステムがあれば、Wolfram|Alpha NLUシステムは「投げられた」自然言語を「キャッチ」し、それを、潜在的に還元不可能な計算を行うことを正確に指定した計算言語として解釈することができる。
自然言語でも計算機言語でも、基本的には「欲しいものを直接言う」ことになる。しかし、機械学習により近い別のアプローチとしては、ただ例を挙げて、（暗黙的または明示的に）「これに従ってみよう」と言うことがある。必然的に、どのように従うかについての基本的なモデルが必要であり、通常、実際には「あるアーキテクチャを持つニューラルネットが何をするか」によって定義されるだけだ。しかし、その結果は「正しい」のだろうか？まあ、結果はニューラルネットが出すものなら何でもいいのだろう。しかし、一般的には、私たち人間が出したであろう結論と一致していれば、それを「正しい」と考える傾向がある。おそらく、私たちの脳の実際の構造が、使っているニューラルネットの構造とよく似ているからだろう。
しかし、何が起こるかを「確実に知りたい」、例えば、ある特定の「間違い」が絶対に起こらないようにしたい場合はどうだろうか。その場合、計算の非簡約性に逆戻りすることになる。例えば、ある特定の訓練例の集合が、ある特定のことを行う（または行わない）ことができるシステムにつながるかどうかを知る方法がないのだ。
しかし、例えば、あるAIシステムを設定し、それが「悪いことをしない」ことを確認したいとする。ここには、いくつかのレベルの問題がある。まず、「悪いことをしない」とはどういうことかを決めることである。後述するように、それ自体が非常に難しいことなのである。しかし、仮に抽象的に理解できたとしても、それを実際にどう表現すればいいのか。例を挙げることもできるが、そうすると、AIはどうしてもそこから「推定」しなければならなくなり、私たちが予測できないようなことが起こる。あるいは、計算機言語で表現することもできる。現在の人間の法律や複雑な契約書のように、「あらゆるケース」をカバーすることは難しいかもしれない。しかし、少なくとも私たち人間は、指定された内容を読み取ることができる。しかし、この場合でも、計算機的還元性という問題がある。つまり、仕様があるからといって、その結果をすべて解決できるわけではないということだ。
これはどういうことなのだろうか？要するに、「本格的な計算」（つまり、還元不可能な計算）が行われると、何が起こるかすぐには分からないという事実を反映している。(ある意味、それは必然的なことで、もし言えるとしたら、その計算が実際には還元不可能であったということになるからだ）。なので、「AIに何をすべきかを指示する」ことは可能である。しかし、それは自然界の多くのシステム（あるいは人間）と同じで、道筋をつけることはできても、何が起こるかを確実に知ることはできず、ただ待つしかない。
AIが運営する世界
今の世の中、すでにAIがやっていることはたくさんある。そして、これまで述べてきたように、これからもきっと増えていくだろう。しかし、誰が「責任者」なのだろうか？私たちがAIに指示を出しているのか、それともAIが私たちに指示を出しているのか？現在では、せいぜい混在している程度である。AIは私たちのために（たとえばウェブから）コンテンツを提案し、一般的に私たちが何をすべきかについてあらゆる種類の推奨を行う。私たちは、自分の行動をすべて記録し、それをAIで処理し、拡張現実などを通じて、目にするものすべてに常におすすめ情報を注釈していくことになるだろう。そして、ある意味では、「おすすめ」の域を超えるかもしれない。もし直接的な神経インターフェースがあれば、私たちの脳が「やりたい」と思うようになり、ある意味では純粋な「AIの操り人形」になるかもしれない。
また、「パーソナル・レコメンデーション」だけでなく、私たちが使うシステム、つまり文明のインフラ全体をAIが動かすという問題もある。今日、私たちは最終的に、人間がこの世界の大規模な意思決定を行うことを期待している。多くの場合、法律で定義されたルールのシステムで動作し、おそらく計算やAIと呼ばれるものによって支援されている。しかし、中央銀行の運営や戦争の遂行など、AIが「人間より優れた仕事をする」と思われる時代が来るかもしれない。
AIが「より良い仕事をする」かどうか、どうやって知ることができるのだろうかと思うかもしれない。まあ、テストしてみたり、例を挙げてみたりすることはできるだろう。しかし、ここでもまた、計算の非簡約性に直面することになる。確かに、試した特定のテストはうまくいくかもしれない。しかし、最終的に起こりうることをすべて予測することはできない。突然、見たこともないような地震が起きたら、AIはどうするのだろう。基本的には起きてみないとわからない。
しかし、AIが「クレイジー」なことをしないと言い切れるのだろうか。「クレイジー」の定義があれば、AIが絶対にそんなことをしないという「定理」を事実上証明できるのだろうか。「クレイジー」の定義が現実的に自明でない場合、再び計算の非簡約性にぶつかることになり、これは不可能である。
もちろん、人（あるいは人の集団）を「責任者」にした場合、彼らが「おかしなこと」をしないということを「証明」する手段もないし、歴史的に見ても、責任者が「おかしなこと」をすることはよくある。しかし、あるレベルでは、人が何をするかは、AIが何をするかよりも確実ではないとはいえ、「私たちは一緒にやっている」「何か問題が起きたら、その人たちも『影響を受ける』」と思えば、人が責任者であってもある種の安心感を得ることができるだろう。
しかし、それでも、世の中の多くの判断や行動が、AIによって直接行われるようになるのは必然のように思える。おそらく、その方がコストがかからないからだろう。おそらく、（テストに基づく）結果がより良くなるのだろう。あるいは、物事があまりにも早く、あまりにも大量に行われるようになり、私たち人間がその輪の中に入っていくことができなくなるからかもしれない。
しかし、もし私たちの世界で起こっていることの多くがAIを通して起こっていて、AIが事実上、還元不可能な計算をしているとしたら、これはどういうことになるのだろうか。私たちは、物事が「ただ起こっている」だけで、その理由がよくわからないという状況に陥るだろう。しかし、ある意味、私たちはこれまでにもこのような状況に陥っていたのである。なぜなら、自然との相互作用の中で、常に起こっていることだからだ。
自然界のプロセス、例えば天気は、計算と対応していると考えることができる。そして、多くの場合、その計算には還元不可能性がある。だから、容易に予測することはできない。確かに、自然科学によって、何が起こるかわからないということはある。しかし、それはどうしても限界がある。
そして、世界の「AIインフラ」もそうであると予想される。天気と同じように、この世界でも予測不可能なことが起こっている。しかし、従来の厳密な科学というよりは、心理学や社会科学に近い形で、ある程度のことは言えるようになるはずだ。しかし、ハリケーンや氷河期をAIで再現したような、驚きの現象が起こるかもしれない。そして、最終的に私たちができることは、そのようなことが「根本的に問題にならない」ように、人類の文明を構築していくことだろう。
ある意味、私たちが描いているのは、やがて自然のように、私たちが理解できないような方法で活動する「AI文明」が登場するということである。そして、自然界と同じように、私たちはそれと共存していくことになる。
しかし、少なくとも最初は、自然とAIの間に重要な違いがあるとあなたは考えるかもしれない。なぜなら、私たちは「自然法則を選ぶ」のではなく、AIを構築する限りにおいて「その法則を選ぶ」ことができると考えるからだ。しかし、この2つの部分はまったく正しくない。というのも、私たちが認識している自然法則は、私たちがそのような観測者であるためにそうなっているというのが、物理学プロジェクトの意味合いのひとつだからだ。また、AIの側では、計算の非簡約性から、AIに与えた基本法則を知るだけでは、AIの最終的な振る舞いを決定することはできないと考えられている。
しかし、AIの「創発法則」はどのようなものになるのだろうか？物理学と同じように、AIの挙動をどのように「サンプリング」するかによって変わってくる。個々のビットのレベルまで調べれば、分子動力学（あるいは空間の原子の挙動）を見るようなものである。しかし、通常はこのようなことはしない。物理学の世界と同じように、私たちは計算量に縛られたオブザーバーとして活動する。つまり、計算量的に還元不可能なプロセスの特定の集合的特徴のみを測定する。しかし、「AIの全体法則」はどのようなものなのだろうか？もしかしたら、物理学に近い類似性を示すかもしれない。あるいは、心理学的な理論（AIのスーパーレゴ）に近いかもしれない。しかし、私たちが知っているような大規模な自然法則のようなものであることは、多くの点で予想される。
しかし、少なくとも私たちと自然との関わりとAIとの関わりには、もう一つ違いがある。なぜなら、私たちは何十億年もの間、事実上、自然と「共進化」してきたのであって、AIは「新参者」だからだ。そして、自然との共進化を通じて、私たちは自然と「うまく対話」できるような構造的、感覚的、認知的な特徴をあらゆる種類に発展させていた。しかし、AIにはそれがない。では、これはどういうことなのだろうか？
私たちの自然との付き合い方は、自然現象に存在する計算量的還元性のポケットを利用することで、少なくともある程度は予測可能であると思わせることができる。しかし、AIがそのようなポケットを見つけられなければ、私たちはより多くの「生の計算の非簡約性」、つまりより多くの予測不可能性に直面する可能性がある。現代は、特に科学の力を借りて、私たちの世界をどんどん予測可能なものにしてきたと思われているが、実際には、私たちが生活する環境と、私たちが選択することを、どのように構築・制御してきたかが大きな要因になっている。
しかし、新しい「AIの世界」では、事実上ゼロからのスタートとなる。その世界で物事を予測可能にするためには、新しい科学も必要だが、それ以上に、AIを取り巻く私たちの「生き方」をどう設定するかが重要な問題かもしれない。(もし予測不可能なことが多ければ、運命の重要性について古代の視点に戻るかもしれないし、AIをギリシャ神話のオリンポスのような存在として捉え、互いに争い、時には人間にも影響を与えるかもしれない）
AIの世界におけるガバナンス
例えば、世界はAIによって事実上運営されているとする。しかし、私たち人間は、AIが行うことを少なくともある程度コントロールできるとする。では、どのような原則に従わせるべきなのだろうか。例えば、彼らの「倫理観」はどうあるべきなのだろうか？
まあ、最初に言っておくと、究極の、理論的な「正解」はない。AIが従うべき倫理観やその他の原則はたくさんある。そして、基本的には、どの原則に従うべきかを選択するだけだ。
私たちが「原理」や「倫理」について語るとき、行動を生み出すためのルールという観点よりも、行動に対する制約という観点で考える傾向がある。つまり、数学の公理のようなものを扱うことになり、その公理に従ってどの定理が真で、何が真でないかを問うことになる。つまり、公理が一貫しているかどうか、「あらゆるものの倫理を決定する」という意味で完全だろうかどうかといった問題が発生する可能性がある。しかし今、私たちは再び、ゲーデルの定理とその一般化という形で、計算の非簡約性に直面している。
そして、このことが意味するのは、一般に、与えられた原則のセットが矛盾しているかどうか、あるいは不完全だろうかどうかは、決定不可能であるということだ。ある倫理的な質問をしたとき、その質問に対する答えが自分の倫理体系の中でどうなっているのか、あるいは一貫した答えがあるのかどうかを判断するためには、際限なく長い「証明の連鎖」があることに気づくかもしれない。
公理を追加することで、どんな問題でも「手当て」できるのではないかと想像する人もいるかもしれない。しかし、ゲーデルの定理は、基本的にそれはうまくいかないと述べている。計算の非簡約性と同じで、常に「新しい状況」が発生し、この場合、有限の公理セットでは捉えきれないのである。
なるほど、でも、AIのための原理原則集を選ぶと想像してみよう。その際、どのような基準を用いればいいのだろうか。一つは、これらの原則が、AIが絶滅したり、同じことを永遠にループし続けなければならないような単純な状態に無条件につながらないということかもしれない。また、ある原理がそのような結果をもたらすことが容易に理解できるケースもあるかもしれない。しかし、たいていの場合、計算の非簡約性（ここではハルティング問題のような形）が再び邪魔をして、何が起こるかわからないし、この方法で「実行可能な原理」をうまく選ぶこともできないだろう。
つまり、理論的にはさまざまな原則を選択することができる。しかし、おそらく私たちが望むのは、AIが私たち人間にある種の「良い時間」を与えてくれるようなものを選ぶことだろう。それがどういう意味であれ。
そして、最小限のアイデアとしては、私たち人間の行動を観察するためだけにAIを用意し、どうにかしてこれを真似することかもしれない。しかし、ほとんどの人は、これが正しいことだとは思わないだろう。人間がする「悪いこと」をすべて指摘するだろう。そして、「私たちが実際にやっていることではなく、私たちが目指していることにAIを従わせよう」と言うかもしれない。
しかし、このような願望をどこから得るべきなのだろうか。異なる人々、異なる文化が、全く異なる志を持ち、その結果、全く異なる理念が生まれる可能性がある。では、私たちは誰を選べばいいのだろうか？その通り、どこの国にも共通する原理原則というのは、ほとんどない。(例えば、主要な宗教では、人命の尊重、黄金律など、共通するものがある）
しかし、実際、私たちは原則を1つ選ばなければならないのだろうか？あるAIはある原則を持ち、あるAIは他の原則を持つことができるかもしれない。国やオンラインコミュニティのように、グループや場所によって異なる原則を持つべきかもしれない。
技術的、商業的な力によって、強力なAIは常に中央集権的でなければならないかのように思われがちだからだ。しかし、これはあくまで現在の特徴であって、「人間のような」AIに内在するものではないと私は予想している。
では、誰もが（そしておそらくすべての組織が）、独自の原則を持つ「自分だけのAI」を持つことができるだろうか？ある目的のためには、これは問題なく機能するかもしれない。しかし、AI（または人）が独立して行動することができず、「集団的な意思決定」をしなければならない場面はたくさんある。
これはなぜなのだろうか。ある場合は、みんなが同じ物理的環境にいるからだ。また、社会的な結束力、つまりコミュニケーションに役立つ言語などを支えるために必要な、ある種の概念の一致が必要な場合もある。
しかし、あるレベルでは、「集団的結論」を持つことは、事実上、「何をすべきかわかりやすくする」ために、ある種の計算上の還元性を導入する方法に過ぎないということを指摘しておく価値がある。そして、十分な計算能力があれば、それを避けることができる可能性もある。例えば、自動車が道路のどちら側を走るべきかについて、集合的な結論があるはずだと考える人がいるかもしれない。しかし、すべての車が、例えば道路の両側を使って他の車を最適に回避するような軌道を計算できる計算能力を持っていれば、そうはならない。
しかし、私たち人間がその輪の中に入っていくには、私たちの世界を十分に理解し、その中で活動できるようにするために、ある程度の計算量による還元が必要だと思われる。つまり、集団的な、つまり「社会的な」決断が必要になってくるということだ。私たちは、AIに「私たちのために、すべてを可能な限り良くしてほしい」と言いたいかもしれない。しかし、どうしてもトレードオフの関係になる。ある方法で集団的な決定を下すと、99%の人にとって本当に良いことかもしれないが、1%の人にとっては本当に悪いことかもしれないし、別の方法で下すと60%の人にとってかなり良いことかもしれないが、40%の人にとってはかなり悪いことかもしれない。では、AIはどうすればいいのか。
そしてもちろん、これは政治哲学の古典的な問題であり、「正解」はないのであるが。そして現実には、これほどきれいな設定はないだろう。さまざまな行動指針がもたらす直接的な効果を計算するのは、かなり簡単かもしれない。しかし、必然的に計算の非簡約性と「意図しない結果」に直面することになり、最終的な効果（良いのか悪いのか）を確実に言うことはできないだろう。
しかし、そうか、では実際に集団的な意思決定はどのようにすればいいのだろうか。完璧な答えはないが、現在の世界では、何らかの形で民主主義が最良の選択肢とみなされることがほとんどである。では、AIは民主主義にどのような影響を与え、また民主主義を向上させることができるのだろうか。まず、「人間が主導権を握っている」と仮定し、最終的には人間の好みが重要であるとする。(そして、人間は多かれ少なかれ「現在の姿」、つまり、独立した心を持つと信じている、ユニークで複製不可能な離散的な存在であると仮定しよう）。
現在の民主主義の基本的な仕組みは、計算上きわめて単純である。離散的な票（あるいは順位）を与え（時にはさまざまな重みをつけて）、その数値の合計で勝者を決定する。そして、過去の技術では、これがほとんどすべてだった。しかし、今、新しい要素がいくつかある。バラバラに投票するのではなく、計算機言語を使って自分の好みを記述する計算機エッセイを書くことを想像してほしい。あるいは、自分の好みを引き出して議論し、最終的にある種の特徴ベクトルにまとめることができる言語処理可能なAIと会話することを想像してみてほしい。そして、すべての「有権者」からの計算エッセイや特徴ベクトルを、「最善策を導き出す」AIに送り込むことを想像してみてほしい。
まあ、政治思想の問題は変わらないのだが。6割の人がAに、4割の人がBに投票したから、Aを選んだというようなことではないし、もっと微妙である。でも、それでもすべての人を幸せにすることはできないし、そのためにどうすればいいのか、ベースとなる理念が必要なのだ。
そして、AIが人々の詳細な好み（そしておそらく彼らの行動も）について知っているすべてに基づいて、集団的な決定を常に「リバランス」させることには、より高次の問題がある。しかし、AIが何をすべきかを判断する際に、一貫性にも重きを置くようにすることで、この問題に対処することは可能だ。
しかし、AIが民主主義を「調整」する方法は間違いなく存在するが、AIはそれ自体、集団的な意思決定や一般的な統治について根本的に新しいソリューションを提供するようには見えない。
そして、結局のところ、物事がどうあるべきかという根本的な原則が必要だということに行き着くようだ。その原理を実現するのがAIなのである。しかし、その原理にはさまざまな可能性がある。そして、少なくとも私たち人間が「責任者」になるのであれば、それを考えなければならない。
つまり、ある種の「AI憲法」を作る必要がある。おそらくこの憲法は、基本的には正確な計算言語で書かれるべきだが（そう、私たちはWolfram Languageが使えるようにしようとしている）、必然的に（計算の非簡約性のもう一つの結果として）「あいまいな」定義や区別が存在し、ニューラルネットのようなシステムによって「補間」される例のようなものに依存することになるだろう。そのような憲法が作られたとき、その憲法には複数の「レンダリング」があり、憲法が使われるときはいつでもそれらを適用することができ、「全体的な結論」を選ぶためのメカニズムがあるのかもしれない。(そして、そこにはある種の「観察者依存的」なマルチコンピューティングの特徴が潜在しているのである）。
しかし、その詳細な仕組みがどうであれ、AI憲法は何を語るべきなのか。その結論は、人によって、あるいは人々のグループによって、間違いなく違ってくるだろう。そしておそらく、今日、さまざまな国などにさまざまな法制度があるように、さまざまなAI憲法を採用しようとする集団が存在することだろう。(そして、それらのAI憲法が相互に影響し合うとき、集団的意思決定に関する同じ問題が再び適用される）。
しかし、AIの憲法があれば、AIが意思決定するための基盤ができる。そしてその上に、自律的に実行される計算契約の巨大なネットワークが想像され、本質的に「世界を動かす」ことができる。
そしてこれは、おそらく古典的な「何が間違っているのだろう」という瞬間の一つである。AIの憲法が合意され、それに従ったAIによってすべてが効率的かつ自律的に運営されている。しかし、ここで再び、計算の非簡約性が頭をもたげてくる。というのも、どんなに慎重にAI憲法を作ったとしても、計算の非簡約性とは、その結果をすべて予見することができないことを意味するからだ。「予期せぬ」ことが必ず起こり、そのうちのいくつかは間違いなく「気に入らない」ことになる。
人間の法体系には、新しい事態に対応するために法律や判例を追加する「パッチ」の仕組みが必ずあるはずだ。しかし、すべてがAIによって自律的に運営されるようになると、そのような余裕はない。そう、私たち人間は、「悪いことが起こる」ことを「バグ」と表現し、パッチを当てれば直るかもしれない。しかし、AIはその体質に従って、本来は公理的に動いているはずなので、「バグであることを見抜く」術がないのである。
先ほどの話と同じように、人間の法と自然の法には興味深い類似性がある。人間の法は、私たちが定義し、修正できるものである。一方、自然法は宇宙が与えてくれるものである（前述のオブザーバーに関する問題はともかくとして）。そして、「AIに憲法を与えて走らせる」ということは、「AIの文明」が世界の「独立した層」であり、私たちはそれをそのまま受け止め、適応しなければならない、という状況に追い込まれることになる。
もちろん、AIが「自動的に進化する」ことができるのであれば、例えば、世界で実際に起こっていることに基づいて進化することができるのではないかと考えるかもしれない。しかし、進化が「正しい」かどうかを予測できないなど、計算の非簡約性という全く同じ問題にすぐに戻ってしまう。
これまでは、ある意味で「人間が主導権を握っている」ことを前提にしていた。しかし、あるレベルでは、これはAI憲法が定義すべき問題なのである。AIが人間（多くの法制度では他の存在も）と同じように「独立した権利」を持つかどうかを定義しなければならない。AIの独立した権利の問題と密接に関連するのは、AIが自律的に「その行為に責任を持つ」と考えられるかどうか、あるいは、その責任は常にAIの作成者（おそらくは人間）または「プログラマー」にあるのか、ということである。
もう一度、計算の非簡約性は何か言いたいことがある。なぜなら、AIの振る舞いは、そのプログラマーが定義したものを「不可逆的に超える」ことができるということを暗示しているからだ。そして結局のところ、これは、私たち人間が決定論的な自然法則に従って行動しているにもかかわらず、事実上「自由意志」を持つことができるのと同じ基本的なメカニズムである（上述したように）。なので、もし私たち人間が自由意志を持ち、「自分の行動に責任を持つ」ことができると主張するのであれば（私たちの行動が常に「基本的な法則に左右される」のとは対照的に）、AIに対しても同じことを主張したほうがよいだろう。
つまり、人間が一生をかけてかけがえのないものを作り上げていくのと同じように、AIもかけがえのないものを作り上げることができる。しかし、現実問題として、AIはバックアップやコピーなど、人間にはできないことができるはずだ。だから、たとえ「最後のコピー」が価値あるものであったとしても、個々のインスタンスにはそれほど価値がないように思える。人間としては、「AIは劣ったものだから、権利を持つべきではない」と言いたいかもしれない。しかし、事態はもっともつれそうだ。例えば、もはや所有者を特定できないボットが、（例えばソーシャルメディア上で）うまく人々と仲良くなり、寄付や広告などからその根本的な運営費を支払っているとしようか。そのボットを削除することは可能なのだろうか。「ボットは痛みを感じない」と主張するかもしれないが、それは人間の友人には当てはまらない。しかし、もしそのボットが「悪いこと」をし始めたらどうだろう？そうなると、「ボット・ジャスティス」（ボットの正義）が必要になる。そして、やがて私たちは、AIのために人間のような法体系を構築することになるだろう。
では、バッドエンドになるのだろうか？
AIは、私たち人間からできることを学び、基本的には自律的な計算システムとして、自然界が自律的な計算システムとして動いているのと同じように、時には「私たちと対話」することになる。彼らは私たちに何をするのだろうか？さて、自然は私たちに何をするのだろうか？アニミズム的な意味で、自然には意図があるのかもしれないが、結局のところ、自然は「自分のルールに従って」行動しているだけなのである。AIもそうだろう。そう、私たちは、AIが何をするのかを決めるために、物事を設定することができると思うかもしれない。しかし、最終的には、AIが計算の世界で可能なことを本当に利用している限り、計算の非簡約性は避けられず、何が起こるか、どんな結果をもたらすかを予見することはできないだろう。
では、AIのダイナミクスは、例えば私たちを絶滅させるような「悪い」影響を与えるのだろうか？まあ、自然が私たちを絶滅させる可能性は十分にあるだろう。しかし、地球外からの「事故」はともかく、私たちを取り巻く自然界は、ある程度、ある種の「均衡」がとれているので、それほど劇的なことは起こらないような気がする。でも、AIは新しいものである。だから、もしかしたら違うかもしれない。
そして、AIが「自己改良」して、ある意味で他のすべてを支配する単一の「頂点知性」を生み出すという可能性もある。しかし、ここでは、計算の非簡約性（Computational irreducibility）が助けになると考えることができる。なぜなら、「すべてにおいて最高」という計算システムは存在し得ないということを示唆しているからだ。これは、メタボロジーの新しい分野の中核をなす成果である。どんな「成果」を指定しても、それを超える計算システムが、計算機宇宙のどこかに必ず存在する。(簡単な例では、停止に要する時間の上限を指定した場合、それを超えるチューリング機械が必ず見つかるということである）。
つまり、AIが「エコシステム」を形成し、一人勝ちの状態になることは避けられないということである。もちろん、それは最終的には必然的な結果かもしれないが、短期的にはそうではないかもしれない。また、現在のAIシステムの中央集権化傾向は、「均衡のとれたAI」のエコシステム全体と比較して、AIの挙動が「不安定化」する危険性をはらんでいる。
そして、この状況には、もうひとつの潜在的な懸念もある。私たち人類は、生物進化の歴史の中で繰り広げられた長い生存競争の産物である。そして、AIが私たちの属性を受け継ぐ限り、AIは私たちに対して、ある種の「勝利への意欲」を受け継ぐことが予想される。そして、AI憲法が重要になるのは、私たちの行動を効果的に観察することで、AIが「自然に」受け継ぐものに優る「契約」を定義することかもしれない。最終的には、AIが「独立して平衡に達する」ことが期待できる。しかし、その間に、AI憲法は、私たちの生物進化の「競争」の歴史とのつながりを断ち切るのに役立つのだ。
AIワールドへの備え
これまで、AIの究極の未来像や、私たち人間との関わりについて、かなり語っていた。しかし、短期的にはどうなのだろうか。私たちは今日、AIの能力と用途の拡大にどのように備えることができるだろうか？
歴史上そうであったように、道具を使う人は使わない人よりもうまくいく傾向がある。確かに、自動化に成功したものを人間が直接行うことは可能だが、ごく稀なケースを除いては、ますます取り残されることになる。それは、「人間に近いタスク」のためのニューラルネット型AIと、計算の世界や計算の知識に深くアクセスするための計算言語である。
では、どうすればいいのだろうか。最も大きな力を発揮するのは、新しい可能性を見出すことだろう。これまで不可能だったことが、新しい機能によって「可能になる」ことだ。なぜなら、私たちにとっての価値を定義するのは、私たち人間だからだ。
では、これは教育にとってどのような意味を持つのだろうか。これだけ多くのことが自動化された今、何を学ぶ価値があるのだろうか。その基本的な答えは、できるだけ広く、深く、できるだけ多くの知識とパラダイムを駆使して考えること、そして特に、計算パラダイムを活用すること、そして計算が役立つことに直結する物事の考え方をすることだと思う。
人類の歴史の中で、多くの知識が蓄積されていた。しかし、考え方が進歩するにつれて、その知識を直接、詳細に学ぶ必要はなくなり、より高いレベルで学ぶことができるようになった。しかし、この数十年の間に、コンピュータとそれを可能にするものという、根本的に新しいものが登場したのである。
歴史上初めて、知的作業の自動化が現実味を帯びていた。このことがもたらすレバレッジは、まったく前例のないものである。そして、私たちは、何をどのように学ぶべきか、その意味を理解し始めたばかりである。しかし、このような新しい力を手に入れたことで、何かが失われるのではないかと考える傾向があるようだ。たとえMathematicaが3分の1世紀以上前から自動的に計算できるようになっていたとしても、昔の人が数学的計算の方法を理解するために懸命に働いたような、複雑な詳細を学ぶ価値はまだあるに違いない。
そして、適切なタイミングで、その詳細を学ぶことは興味深いことである。しかし、私たちの文明の知的成果を理解し、最大限に活用するためには、私たちが持っている自動化を活用し、これらの計算を、私たちがやりたいことを何でもできるように「完成形」に組み立てることができる「構成要素」として扱う方がはるかに理にかなっている。
このような自動化の活用は、「実用的な目的」、つまり知識を実世界で活用するために重要なだけだと思われるかもしれない。しかし、実は、私自身が何十年にもわたって繰り返し学んできたように、概念的なレベルでも重要なのである。なぜなら、自動化によって初めて、より高度な理解に必要な直感を身につけることができる。
これまで、世の中の知識量が急増すると、人間はますます専門化せざるを得ないと考える傾向が強かった。しかし、AIと呼ばれる知的作業の自動化が進むにつれて、その自動化をどんどん活用し、専門化ではなく、より高度な「統合化」を図るという選択肢もあることがわかっていた。
ある意味、これこそが人間の能力を最大限に生かす方法であり、私たちはやりたいことの「戦略」を立てることに集中し、「やり方」の詳細は私たちよりも優れた自動化されたシステムに委ねることができる。しかし、その一方で、何かをする方法を知っているAIが存在するという事実が、人間にとってもその方法を学びやすくすることは間違いないだろう。なぜなら、まだ完全には解明されていないが、最新の技術を駆使すれば、AIが「人の学び方を学ぶ」ことに成功し、AIが「知っている」ことを、その人が吸収するのに適した方法で効果的に提示できるようになるのは必然のように思えるからだ。
では、実際に人々は何を学ぶべきなのだろうか。道具を使って何かをする方法を学ぶ。しかし、世の中にはどんなことができるのか、そして、そのようなことを考えるための根拠となる事実を学ぶことも大切である。現在の教育の多くは、質問に答えることである。しかし、AIが登場するこれからの時代には、質問の仕方や、質問する価値のある質問を見つける方法を学ぶことがより重要になると思われる。つまり、「何をすべきか」という「知的戦略」を立てることである。
そのためには、「知識の幅」と「思考の明晰さ」が重要である。そして、「思考の明晰さ」という点では、現代ではまた新しいもの、すなわち「コンピュテーショナル・シンキング」という概念がある。これまで私たちは、思考を構造化する方法として、論理や数学を用いていた。しかし、今、私たちは「計算」という新しいものを手に入れた。
だからといって、誰もが伝統的なプログラミング言語で「プログラミングを学ぶ」べきなのだろうか？いいえ、伝統的なプログラミング言語は、コンピュータに自分の言葉で何をすべきかを指示するものである。そして、今日、多くの人間がこの作業を行っている。しかし、ChatGPTの例が示すように、これは基本的に直接自動化するのに適したものなのである。そして、長期的に重要なのは、それとは異なることである。それは、コンピュータの操作についてではなく、世の中の物事や抽象的な物事について考えるための構造化された方法として、計算機パラダイムを使うことである。
そして、そのためには、「計算言語」、つまり、計算のパラダイムを使って物事を表現するための言語を持つことが重要である。単純な「日常的なこと」であれば、構造化されていない自然言語で表現することは十分可能である。しかし、本格的な「概念の塔」を建てるには、もっと構造化されたものが必要である。そして、それが計算言語なのである。
数学と数学的思考の発展には、大まかな歴史的類似性を見ることができる。約半世紀前まで、数学は基本的に自然言語で表現する必要があった。しかし、その後、数学的記法が登場し、そこから数学的思考へのアプローチがより合理的になり、最終的にさまざまな数学的科学が可能になった。そして今、計算言語と計算パラダイムが同じようなことをやっている。ただし、もっと広い意味で、あらゆる分野や職業「X」に対して、「コンピュテーショナルX」が出現している。
ある意味、計算言語のポイントは（そして私がWolfram言語を開発する上でのすべての努力は）、人々が計算Xに「できるだけ自動的に」到達できるようにすること、そして人々が計算パラダイムのフルパワーを使って自己表現できるようにすることだ。
ChatGPTのようなものは、既存の人間の素材（何十億語もの人間が書いたテキストなど）をつなぎ合わせることで、事実上「人間のようなAI」を提供する。しかし、計算言語は、計算を直接利用することができ、知的戦略を定義するための人間の能力を直ちに活用する、根本的に新しいことを行う能力を与えてくれる。
そう、従来のプログラミングはAIに取って代わられるかもしれないが、計算言語は人間の思考と計算の世界をつなぐ永遠の架け橋となるもので、言語の設計（実装）そのものが自動化されているチャンネルなので、ある意味で人間が学び、思考を拡張するための基礎として直接適したインターフェイスを残している。
でも、そうか、これからの発見はどうだろう？例えば、「科学をすること」において、AIは私たち人間の代わりをするのだろうか？私は、半世紀近く、科学的発見のための道具として、計算（そしてAIと思われる多くのもの）を使ってきた一人だ。そして、私の発見の多くは、事実上「コンピュータが作った」ものである。しかし、科学とは結局のところ、物事を人間の理解につなげることである。コンピュータが発見したものを、人類の知的歴史の網の目の中に編み込むには、今のところ人間が必要だ。
しかし、たとえChatGPTのようなAIであっても、「生の計算機的発見」を取り上げて、それが既存の人間の知識とどのように関係するかを「説明」することに成功することは、確かに想像できる。また、AIが、世界のあるシステムのどのような側面を選んで、何らかの形式的な方法で記述できるかを特定することに成功することも想像される。しかし、一般的なモデリングのプロセスでよく見られるように、重要なステップは「何に関心があるか」を決めることであり、事実上、自分の科学を拡張するためにどのような方向に進むべきかを決めることである。そして、このことは、他の多くのことと同様に、私たち人間が自分自身に設定した目標の具体性と必然的に結びついている。
自動化が進み、過去の多くのスキルが廃れてしまったように、AIが登場する世界では、（ほとんどの）人間にとって学ぶ意味がない特定のスキルがたくさん出てくる。しかし、これまで述べてきたように、人間には「居場所」があるはずだ。そして、私たち人間が学ぶべき最も重要なことは、「次に行くべき場所」をどう選ぶか、つまり、計算機宇宙の無限の可能性の中から、人類文明をどこに持っていくかということなのである。
あとがき実際のデータを見てみる
さて、ここまで、未来に起こりうることについて、かなり語っていた。しかし、過去の実際のデータについてはどうだろうか。例えば、仕事の変遷の歴史はどうなっているのだろうか。便利なことに、アメリカでは国勢調査局が1850年まで遡って人々の職業を記録している。もちろん、その後、多くの職種が変化している。鉄道のスイッチマン、測量のチェーンマン、教会の六文銭などは、もはやモノではない。そして、テレマーケティング、航空機のパイロット、ウェブデベロッパーも1850年にはなかったものである。しかし、少し努力すれば、少なくとも十分な大きさのカテゴリーに集約すれば、多かれ少なかれ一致させることは可能である。
そこで、50年間隔でさまざまな職種の円グラフを紹介する。
1850年のアメリカは農業経済で、全雇用の半分強が農業に従事していた。しかし、機械や灌漑、より良い種や肥料などの導入により農業の効率化が進むと、その割合は劇的に低下し、現在ではわずか数パーセントにとどまっている。
1850年当時、農業の次に多かったのは建設業（その他、不動産関連の仕事、主にメンテナンス）だった。これは、自動化が進んだとはいえ、建物がより複雑になったからだと思われる。
上の円グラフを見ると、仕事の多様化が進んでいることがよくわかる（実際、世界中の他の経済の発展にも同じことが見られる）。経済学では、専門性の向上が経済成長に関係するというのが古い説だが、ここでの私たちの視点からは、より複雑な経済、より多くのニッチと仕事の可能性は、計算の非簡約性の不可避な存在と、それが暗示する計算の非簡約性のポケットの複雑な網の反映であると言えるかも知れないね。
職種の全体的な分布だけでなく、個々の職種の経年的な傾向も見ることができ、ある意味、それぞれの職種で歴史を知ることができる。
自動化の結果、仕事の数が減少するケースは確かにある。農業や鉱業だけでなく、例えば金融（事務員や銀行の窓口係の減少）、販売や小売（オンラインショッピング）でも同様である。製造業の場合、自動化によって雇用が減少することもあれば、米国外（主に人件費の安い国）に雇用が移動することもある。
軍事職のように、明確な「外生的」効果があるケースもある。そして、輸送・物流のように、技術の普及とインフラの整備によって半世紀以上にわたって右肩上がりに増加し、その後、自動化が進んだ結果、少なくとも一部は「飽和」しているケースもある。これは、私が「テクニカルオペレーション」と呼んでいるものと同じで、技術が普及すればするほど「技術に寄り添う」必要が出てくる。
もう一つの明確な傾向は、世界が「組織的に複雑な場所」となっていることに関連した職種の増加である。このため、マネジメント、管理、行政、金融、営業（これらはすべてコンピュータ化の結果、最近減少している）が増加していることがわかる。また、（やや最近）法務が増加している。
その他、ヘルスケア、エンジニアリング、サイエンス、教育など、「より多くのことが知られ、より多くのことをしなければならない」（組織の複雑性が増している）分野が増加した。そして、エンターテインメント、フード+ホスピタリティは、人々が「より複雑な生活」を送る（望む）ために増加していると考えられる。そしてもちろん、1950年代半ばにゼロからスタートした情報技術もある（そして、私たちがここで使っているデータには、かなり厄介な接ぎ木が必要だった）。
では、どのような結論になるのだろうか。このデータは、上記でより一般的な用語で説明したことと、かなり一致しているようだ。よく発達した地域は自動化され、雇用者数を減らす必要がある。しかし、テクノロジーは新しい分野を開拓し、その分野ではさらに人を雇うことになる。そして、計算の非簡約性から予想されるように、一般的に物事は徐々に複雑化し、知識や組織構造が増えることで、人が必要とされる「フロンティア」がより多く開かれる。しかし、時には「突然の発明」があっても、仕事の数が劇的に変化するには、数十年（あるいは実質的に一世代）かかるのが常であるようだ。(プロットで見られるいくつかの急激な変化は、ほとんどが特定の経済イベントや、しばしば関連する政府の政策の変化と関連しているようだ)。
しかし、さまざまな仕事に加えて、個人が1日にどのように時間を使っているかという問題もある。私のような極端な個人分析には及ばないが、この点については、American Heritage Time Use Studyという調査で、長年にわたって（無作為に抽出した人から時間日記をもらって）一定のデータが蓄積されている。例えば、この調査に基づき、さまざまな活動に費やした時間が数十年の間にどのように変化したかをプロットしてみた（主線は各活動の平均時間、斜線部分は連続した十分位を示す）。
そして、「メディア＆コンピューティング」に費やす時間が増えている。テレビを見たり、ビデオゲームをしたり、いろいろなことが混在している。家事は、少なくとも女性にとっては、自動化（家電製品など）の結果であろう、より短い時間で済むようになっている。(「レジャー」は基本的に「ぶらぶらすること」、趣味、社会・文化・スポーツイベントなど、「シビック」はボランティア、宗教活動など。)
有給をとっている人に限って言えば
見ると、いくつかのことに気づかされる。まず、平均労働時間は半世紀前からあまり変わっていないが、その分布は多少広がっている。有給の仕事をする人の場合、メディアとコンピューティングは、少なくとも1980年代以降、大きく増加していない。体系的な増加が見られるのは（それでも総時間はそれほど大きくないが）運動である。
何らかの理由で有給をとっていない人はどうだろうか？この場合の結果は以下の通りである。
運動はそれほど増えていないが（もともと総時間は多いのであるが）、メディアとコンピュータが大幅に増え、最近では男性の平均が1日6時間近くに達している。「生活のオンライン化」を反映しているのだろう。
しかし、時間の使い方に関するこれらの結果を見ると、過去半世紀にわたって、（少なくとも米国では）人々の時間の使い方は、コンピュータがほとんどない世界から、コンピュータが人より多い世界になっても、むしろ安定しているというのが主な結論だと思う。