ChatGPTは何をしているのか・・・そしてなぜ機能するのか？

さて、このような注意のブロックを経て、トランスフォーマーの正味の効果はどうなるのだろうか？基本的には、トークンの列に対する埋め込みのオリジナル・コレクションを、最終的なコレクションに変換することである。そしてChatGPTは、このコレクションから最後の埋め込みをピックアップし、それを「デコード」して、次に来るべきトークンの確率のリストを生成する、という特殊な方法で動作する。

というわけで、ChatGPTの中身を大まかに説明した。一見複雑そうに見えるが(それは多くの必然的でやや恣意的な「工学的選択」のためでもある)、実は関係する究極の要素は驚くほど単純である。なぜなら、最終的に扱うのは「人工ニューロン」でできたニューラルネットであり、それぞれが数値入力の集合を受け取り、ある重みと組み合わせるという単純な操作を行っているだけだからだ。

ChatGPTの入力は数字の配列（これまでのトークンの埋め込みベクトル）で、ChatGPTが新しいトークンを生成するために「実行」することは、これらの数字がニューラルネットの層を「波及」し、それぞれのニューロンが「自分のことをする」ことで次の層のニューロンへ結果を渡すだけなのである。ループもなければ「戻る」こともない。すべてがネットワークを通じて「フィードフォワード」されるだけなのである。

チューリングマシンのように、同じ計算要素によって繰り返し結果が「再処理」されるような一般的な計算システムとは、まったく異なる仕組みになっている。ここでは、少なくとも、与えられた出力のトークンを生成する際に、各計算要素（ニューロンなど）は一度だけ使用される。

しかし、ChatGPTでもある意味、計算要素を再利用する「外側のループ」が残っている。なぜなら、ChatGPTが新しいトークンを生成しようとするとき、ChatGPT自身が以前に「書いた」トークンを含む、それ以前の一連のトークンを常に「読む」（=入力として受け取る）ためだ。つまり、ChatGPTは、少なくとも一番外側のレベルでは、「フィードバック・ループ」をしていると考えることができる。

しかし、ChatGPTの核心である、各トークンを生成するために繰り返し使用されているニューラルネットに話を戻そう。これは非常にシンプルなもので、同一の人工ニューロンの集合体である。このネットワークは、ある層のすべてのニューロンが、その前の層のすべてのニューロンに（ある重みで）接続されている（「完全接続」）ニューロン層で構成されている部分もある。しかし、ChatGPTは特にトランスフォーマーアーキテクチャにより、異なる層の特定のニューロンだけが接続された、より構造的な部分を持っている。(もちろん、「すべてのニューロンがつながっている」とも言えるが、重みがゼロのニューロンもある)。

また、ChatGPTのニューラルネットは、単に「同質な」層で構成されているとは考えにくい側面がある。例えば、上の図にあるように、アテンションブロックの内部では、入力されたデータを「複数コピー」して、それぞれが異なる「処理経路」を通り、異なる数の層を含む可能性があり、後で再結合する場所がある。しかし、これは便利な表現かもしれないが、少なくとも原理的には、層を「密に埋める」ことは常に可能で、ただいくつかの重みをゼロにすることは可能である。

ChatGPTの最長の経路を見ると、約400層（コア層）があり、ある意味大した数ではない。しかし、ニューロンの数は数百万個で、その接続数は1750億、したがって重みも1750億になる。そして、ChatGPTが新しいトークンを生成するたびに、これらの重みの一つ一つを含む計算をしなければならないことを理解する必要がある。これらの計算は、実装的には「層別」に整理して高度に並列な配列演算にすることができ、GPUで便利に実行することができる。しかし、1つのトークンが生成されるごとに、1750億回の計算が行われる（最終的にはもう少し多くなる）。

しかし、結局のところ、これらの操作は、それぞれは単純なものであるにもかかわらず、何らかの形で一緒になって、これほどまでに「人間らしい」テキスト生成の仕事をすることができる、ということが重要なのである。ここでもう一度強調しておかなければならないのは、（少なくとも私たちが知る限り）このような仕組みが機能する「究極の理論的理由」がないことである。実際、これから述べるように、ChatGPTのようなニューラルネットで、人間の脳が言語を生成するのに必要な本質を捉えることができるというのは、科学的に驚くべき発見と言えるのではないだろうか。

ChatGPTのトレーニングについて

さて、ここまででChatGPTの仕組みの概要を説明した。でも、どうやってセットアップしたのだろうか？ニューラルネットの1750億の重みはどのように決定されたのだろうか？基本的には、人間が書いたウェブや書籍などの膨大なテキストコーパスをもとに、非常に大規模な学習を行った結果である。しかし、これだけの学習データがあっても、ニューラルネットが「人間らしい」文章をうまく生成できるかというと、そうとは言い切れない。そしてまた、それを実現するためには、細かなエンジニアリングが必要なようだ。しかし、ChatGPTの大きな驚きと発見は、それがまったく可能であるということである。そして、事実上、1750億個の重みを持つニューラルネットが、人間が書くテキストの「合理的なモデル」を作ることができるということである。

現代では、人間が書いたテキストがデジタル形式でたくさん出回っている。公開されているウェブページには、少なくとも数十億の人間が書いたページがあり、全部で1兆語ものテキストが存在すると思われる。公開されていないウェブページを含めれば、その数は少なくとも100倍以上になるかもしれない。これまでに出版された約1億冊の本のうち、500万冊以上がデジタル化され、さらに約1000億語のテキストが利用可能になっている。個人的な比較だが、私の生涯の出版物は300万語弱で、過去30年間に書いた電子メールは約1,500万語、タイプしたものは全部で5,000万語、ここ数年ではライブストリームで1,000万語以上しゃべっている。そして、そうだ、私はそのすべてからボットを訓練するのである（笑)。

しかし、これだけのデータがあれば、どうやってニューラルネットを学習させるのだろうか？基本的なプロセスは、上記の簡単な例で説明したのとほとんど同じである。一群の例を提示し、その例に対する誤差（「損失」）を最小にするようにネットワークの重みを調整する。誤差から「逆伝播」する際に高価なのは、これを行うたびにネットワークのすべての重みが少なくともほんの少し変化するのが普通で、扱うべき重みの数が多くなってしまうからだ。(実際の「逆計算」は「前進」よりも小さな定数倍だけ大変なのである）。

最新のGPUハードウェアを使えば、何千もの例から得られた結果を並列に計算するのは簡単である。しかし、実際にニューラルネットの重みを更新するとなると、現在の手法では基本的にバッチごとに行う必要がある。(このあたりは、計算とメモリが一体化した実際の脳が、少なくとも今のところはアーキテクチャ的に優位に立っているのだろう)。

先ほどの数値関数の学習という一見シンプルなケースでも、少なくともゼロからネットワークをうまく学習させるためには、数百万件の例を用いなければならないことが多いことがわかった。では、「人間のような言語」モデルを学習させるためには、どれくらいの例数が必要なのだろうか？それを知るための根本的な「理論的」方法はないように思われる。しかし、実際にChatGPTは数千億語のテキストで訓練に成功した。

何度も読み込ませたテキストもあれば、一度だけ読み込ませたテキストもある。しかし、どうにかして、見たテキストから「必要なものを得た」のである。しかし、このように大量のテキストから学習する場合、「うまく学習する」ためにはどれくらいの規模のネットワークが必要なのだろうか。これについても、理論的に説明する方法はまだない。最終的には、後述するように、人間の言語とそれを使って人間が通常話す内容には、ある種の「アルゴリズム的な総量」が存在すると推定されるのである。しかし次の問題は、ニューラルネットがそのアルゴリズム的内容に基づいたモデルをどれだけ効率的に実装できるかということである。ChatGPTの成功は、それが合理的に効率的であることを示唆しているが、私たちにはまだわからない。

そして、ChatGPTは、与えられた学習データの単語（またはトークン）の総数に匹敵する、数千億の重みを使って動作していることに注目すればよい。ChatGPTの小規模な類似品でも経験的に観測されているが、うまく機能する「ネットワークのサイズ」が「学習データのサイズ」に匹敵するのは、ある意味で驚くべきことかもしれない。結局のところ、Webや書籍などのテキストがすべて「ChatGPTの内部」に何らかの形で「直接保存」されているわけではないことは確かだ。なぜなら、ChatGPTの中にあるのは、10桁弱の精度の数字の束であり、それは、すべてのテキストの集合構造をある種の分散エンコーディングで表現したものだからだ。

別の言い方をすれば、人間の言葉の「有効な情報量」とは何か、それで典型的に何が語られているのかを問うことができるかもしれない。そこには生の言語例のコーパスがある。そして、ChatGPTのニューラルネットにおける表現がある。この表現は、（後述するように）「アルゴリズム的に最小の」表現からはほど遠い可能性が高い。しかし、ニューラルネットが容易に利用できる表現である。そして、この表現では、最終的に学習データの「圧縮」はほとんど行われないようだ。基本的に平均して、学習データ1語の「情報量」を運ぶのに必要なニューラルネットのウェイトは1個より少し少ない程度であるようだ。

ChatGPTでテキストを生成する場合、基本的に各ウェイトを1回ずつ使うことになる。そのため、重みがn個ある場合、計算ステップはn回になるが、実際にはGPUで並列処理することができる。しかし、重みを設定するために約n語の学習データが必要だとすると、上で述べたことから、ネットワークの学習を行うには約n2の計算ステップが必要だと結論付けることができる。

ベーシックトレーニングの先にあるもの

ChatGPTの学習は、ウェブや本などの既存のテキストを大量に「見せる」ことに労力を費やしている。しかし、もう一つ、かなり重要な部分があることがわかった。

ChatGPTのニューラルネットは、元となるコーパスのテキストからの「生トレーニング」を終えるとすぐに、プロンプトから続く独自のテキストを生成し始める準備ができている。しかし、その結果は合理的に見えることも多いのだが、特に長いテキストでは、人間離れした「迷走」をしてしまうことがある。これは、例えば従来の統計学的な手法ではなかなか発見できないことである。しかし、実際に文章を読んでいる人間であれば、容易に気づくことなのである。

そして、ChatGPT構築のキーとなるアイデアは、Webなどの「受動的に読む」ことの次のステップとして、実際の人間が積極的にChatGPTと対話し、何を生み出すかを見て、事実上「どうすれば良いチャットボットになるか」をフィードバックさせることだった。しかし、ニューラルネットはそのフィードバックをどのように利用できるのだろうか。最初のステップは、ニューラルネットの結果を人間が評価することだけだ。しかしその後、その評価を予測しようとする別のニューラルネットモデルが構築される。しかし、この予測モデルは、元のネットワーク上で損失関数のように実行することができ、事実上、与えられた人間のフィードバックによってネットワークが「チューニング」されることになる。そして、その結果は、システムが「人間らしい」出力を出すかどうかに大きく影響するようだ。

一般に、「もともと訓練された」ネットワークが、特定の方向に進むために必要な「つつき」がほとんどないのは興味深いことである。ネットワークが「新しいことを学んだ」かのように振る舞うには、学習アルゴリズムを実行し、重みを調整する必要がある、と考える人もいるかもしれない。

しかし、そのようなことはない。むしろ、ChatGPTは基本的にプロンプトの一部として一度だけ何かを伝えれば十分で、あとはテキストを生成するときに伝えたことをうまく利用することができるようだ。このことは、ChatGPTが「何をやっているのか」「人間の言語や思考の構造とどう関係しているのか」を理解する上で、重要な手がかりになると思う。

少なくとも一度、事前学習をしておけば、それを「記憶」することができる。少なくとも、それを使ってテキストを生成するのに十分な時間、記憶することができる。では、このような場合、何が起こっているのだろうか。それは、「伝えるべきことはすでにどこかにあって、それを正しい場所に導いているだけ」ということかもしれない。しかし、それはあまり現実的ではない。それよりも、「要素はすでにあるけれども、その要素間の軌跡のようなものが具体的に定義されていて、それが何かを伝えるときに導入される」という可能性の方が高そうだ。

そして実際、人間と同じように、自分の知っている枠組みにまったく当てはまらない奇抜なことを言っても、うまく「統合」できそうにない。基本的には、すでに持っている枠組みの上に、かなりシンプルな形で乗っている場合にのみ、「統合」することができる。

ニューラルネットが「拾える」ものには、どうしても「アルゴリズム的な限界」があることも改めて指摘しておきたい。「これがこうなる」といった形の「浅い」ルールを与えれば、ニューラルネットはそれをうまく表現・再現できるだろうし、実際に言語から「すでに知っている」ことで、従うべきパターンがすぐに見つかるだろう。しかし、潜在的に計算不可能な多くのステップを含む、実際の「深い」計算のためのルールを与えようとしても、うまくいかない。(各ステップでは、常にネットワークに「データを送り込む」だけで、新しいトークンを生成する以外には決してループしないことを思い出してほしい）。

もちろん、ネットワークは特定の「不可逆的」な計算に対する答えを学習することができる。しかし、可能性が組み合わせ論的に多数存在するようになると、そのような「テーブル・ルックアップ式」のアプローチは通用しなくなる。そう、人間と同じように、ニューラルネットも「手を伸ばして」実際の計算ツールを使うべき時が来たのだ。(そして、Wolfram|AlphaとWolfram Languageは、言語モデルのニューラルネットと同じように「世界の物事について話す」ために作られているので、他に類を見ないほど適している)。

ChatGPTの本当の魅力とは？

人間の言語とその生成に関わる思考プロセスは、常に一種の複雑性の頂点を示しているように思われる。そして実際、1000億個ほどのニューロン（と、おそらく100兆個の接続）からなるネットワークを持つ人間の脳が、それを担うことができるのは、いささか驚くべきことであるように思われてきた。おそらく、脳にはニューロンのネットワーク以上の何かがあり、未知の物理学の新しい層があるのだろうと想像されたかもしれない。しかし今回、ChatGPTによって新たな重要な情報が得られた。それは、脳のニューロンとほぼ同じ数の接続を持つ純粋な人工ニューラルネットワークが、人間の言語を驚くほどうまく生成できることが分かったのである。

神経網の重みは、現在世界で使われているテキストの単語数とほぼ同数だろうから、これはまだ大きく複雑なシステムである。しかし、言語の持つ豊かさと言語が語ることのできる事柄のすべてが、このような有限のシステムに内包されるとは、あるレベルではまだ信じがたいことである。その理由の一つは、（ルール30の例で初めて明らかになった）計算過程が、たとえその基礎となるルールが単純であっても、事実上システムの見かけ上の複雑さを大幅に増幅させるという、どこにでもある現象の反映であることは間違いない。しかし実は、上で述べたように、ChatGPTで使われているようなニューラルネットは、この現象の影響とそれに伴う計算の不可逆性を制限し、より学習しやすいように特別に構成されている傾向がある。

では、なぜChatGPTのようなものが、言語を使ってここまでできるのだろうか。その基本的な答えは、「言語というのは基本的に見た目よりも単純なものだから」だと思う。つまり、ChatGPTは、究極的に単純なニューラルネットの構造であっても、人間の言語とその背後にある思考の「本質を捉える」ことに成功しているのである。そしてさらに、ChatGPTはその訓練の中で、言語（と思考）の規則性を何らかの形で「暗黙のうちに発見」し、それを可能にしているのである。

ChatGPTの成功は、科学の基本的かつ重要な部分を証明していると思う。それは、新しい「言語の法則」、つまり事実上「思考の法則」が発見されることを期待できる、ということである。ChatGPTはニューラルネットとして構築されているため、これらの法則はせいぜい暗黙のうちに存在する程度である。しかし、もし法則を明示することができれば、ChatGPTが行っているようなことを、より直接的、効率的、かつ透明性の高い方法で行える可能性がある。

しかし、では、これらの法律はどのようなものなのだろうか。最終的には、言語とそれを使って言うことがどのように組み合わされるかについて、ある種の処方箋を与えてくれるに違いない。後ほど、「ChatGPTの内側を見る」ことがどのようにこのヒントを与えてくれるのか、また、計算機言語の構築から得られた知見がどのように今後の道筋を示唆しているのかについて説明する。その前に、古くから知られている「言語の法則」とも言える2つの例について、それらがChatGPTの動作とどのように関係しているのかを説明する。

第一は、言語の構文である。言語とは、単に単語をランダムに並べたものではない。例えば、英語では、名詞の前に形容詞、後に動詞を置くことができるが、通常、2つの名詞を隣り合わせに置くことはできない。このような文法構造は、「解析木」のようなものをどのように組み合わせるかを定義するルール群によって、（少なくとも近似的には）捉えることができる。

ChatGPTは、そのようなルールを明示的に「知っている」わけではない。しかし、訓練によって暗黙のうちにそれを「発見」し、それに従うことが得意なようだ。では、その仕組みはどうなっているのだろうか。「大局的」なレベルでは、それは明らかではない。しかし、もっと簡単な例を見てみると、そのことがよくわかるかもしれない。

()と()の並びからなる「言語」で、括弧は常にバランスさせることを指定した文法を、次のような構文木で表現することを考えてみよう。

ニューラルネットを学習させて、「文法的に正しい」括弧の並びを生成することは可能だろうか？ニューラルネットで配列を扱う方法はいろいろあるが、ChatGPTが行っているように、トランスフォーマーネットを使ってみよう。そして、簡単な変換ネットがあれば、文法的に正しい括弧の並びを学習例として与え始めることができる。このとき、「内容トークン」（ここでは「(」と「)」）に加えて、「終了」トークンが必要になる。

もし、8個のヘッドを持つ1個の注意ブロックと長さ128の特徴ベクトル（ChatGPTも長さ128の特徴ベクトルを使うが、それぞれ96個のヘッドを持つ96個の注意ブロック）を持つ変換ネットを設定すると、括弧言語についてあまり学習させることができないように見える。しかし、2つのアテンションヘッドを用いると、少なくとも1000万程度の例を与えると、学習過程が収束するようだ（トランスフォーマーネットによくあることだが、さらに例を与えると性能が低下するようだ）。

このネットワークを使えば、ChatGPTと同じように、次のトークンを括弧で囲んで確率を求めることができるのである。

最初のケースでは、ネットワークは配列がここで終わることはできないと「確信」している。これは良いことで、もし終わると括弧がアンバランスなままになってしまうからだ。しかし、2つ目のケースでは、ネットワークは「正しく認識」しており、「もう一度始める」ことが可能であることを「指摘」している。しかし、おっと、40万回ほど苦労して学習させた重みをもってしても、次のトークンが「)」である確率は15%だと言うのである。

以下は、()の連続が徐々に長くなっていく場合に、最も高い確率で完成するものをネットワークに問い合わせた場合の結果である。

そして、そう、ある長さまではネットワークはうまくいくのである。しかし、その後、失敗し始める。ニューラルネット（あるいは機械学習全般）において、このような「正確な」状況で見られるのは、かなり典型的な種類のものである。人間が「ひと目で解ける」ケースはニューラルネットも解ける。しかし、「よりアルゴリズム的」なこと（例えば、括弧が閉じているかどうかを明示的に数えるなど）をしなければならないケースは、ニューラルネットはなぜか「計算が浅すぎて」確実にできない傾向がある。(ちなみに、現在のChatGPTでも、長い括弧を正しくマッチングするのは困難である)。

では、ChatGPTや英語のような言語の構文にはどのような意味があるのだろうか。括弧の言語は「厳密」であり、より「アルゴリズム的な物語」である。しかし、英語では、局所的な単語の選択やその他のヒントに基づいて、文法的に何が適合するかを「推測」することができる方がはるかに現実的である。ニューラルネットは、人間も見落とすような「形式的に正しい」ケースを見落とす可能性があるにせよ、この点でははるかに優れている。しかし、重要なのは、言語には全体的な構文構造があり、それが意味するあらゆる規則性があるという事実が、ある意味でニューラルネットが「どれだけ」学習しなければならないかを制限しているということである。そして、重要な「自然科学的」観察は、ChatGPTのようなニューラルネットの変換器アーキテクチャは、すべての人間の言語に（少なくともある程度近似的に）存在すると思われる、入れ子構造に似た構文構造をうまく学習できるようだ、ということである。

構文は言語に対する制約の一種を提供する。しかし、それ以上の制約があることは明らかである。例えば、「好奇心旺盛な電子は魚のために青い理論を食べる」という文章は、文法的には正しいのだが、人が通常言うべき言葉ではないし、ChatGPTがこれを生成しても成功とはみなされないだろう。

しかし、文章が意味を持つかどうかを見分ける一般的な方法はあるのだろうか。そのための伝統的な全体論はない。しかし、ChatGPTはウェブなどから数十億の（おそらく意味のある）文章を学習して、暗黙のうちに「そのための理論を開発した」と考えることができるものなのである。

その理論とはどのようなものだろうか。基本的に2千年前から知られている、論理学という小さなコーナーがある。アリストテレスが発見した三段論法では、論理学は基本的に、あるパターンに従った文は合理的であり、そうでない文は合理的でないとするものである。したがって、例えば、「すべてのXはYである。これはYではないのでXではない」（「すべての魚は青である。「これは青ではないので魚ではない」というように）というのは合理的である。そして、アリストテレスがレトリックの例をたくさん見て（「機械学習」的に）三段論法を発見したように、ChatGPTの学習においても、ウェブ上のテキストなどをたくさん見て「三段論法を発見」できただろうと想像することができるのである（そして、そうでありながら、ChatGPTは、「三段論法を発見」することができる）。(そのため、ChatGPTは、三段論法などに基づく「正しい推論」を含むテキストを生成することは期待できるが、より高度な形式論理となると話は全く別で、括弧合わせで失敗するのと同じような理由でここで失敗することが予想されると思う)。

しかし、論理という狭い例を超えて、もっともらしい意味のあるテキストを体系的に構築する（あるいは認識する）方法について、何が言えるだろうか。確かに、マッド・リブのように、非常に特殊な「句のテンプレート」を使うものはある。しかし、ChatGPTはもっと一般的な方法を暗黙のうちに持っている。そして、その方法については、「1750億個のニューラルネットの重みがあれば、どうにかなる」という以上のことは、おそらく何もないのだろう。でも、もっとシンプルで強い話があるのではないかと強く思っている。

意味空間と意味運動の法則

ChatGPTの内部では、どんなテキストも、ある種の「言語特徴空間」の点の座標と考えることができる数値の配列で効果的に表現されていることを上で説明した。つまり、ChatGPTがテキストを続けることは、言語特徴空間における軌跡をたどることに相当するのである。しかし、この軌跡を意味あるテキストに対応させるのは何なのか、考えることができるようになった。そして、言語特徴空間内の点が「意味」を保ちながら移動する方法を定義する、あるいは少なくとも制約する「意味運動法則」のようなものが、もしかしたら存在するかもしれないのである。

では、この言語特徴空間はどのようなものだろうか。このような特徴空間を2次元に投影すると、1つの単語（ここでは普通名詞）がどのようにレイアウトされるのか、例を挙げてみよう。

前述では、植物と動物を表す単語をベースにした別の例を見た。しかし、いずれの場合も「意味的に近い言葉」が近くに配置されていることがポイントである。

例えば、品詞に対応する単語を並べるとこうなる。

もちろん、ある単語が「一つの意味」を持つとは限らない（また、必ずしも一つの品詞に対応するとは限らない）。また、ある単語を含む文がどのように特徴空間に配置されるかを見ることで、「クレーン」という単語（鳥か機械か）の例のように、異なる意味を「切り分ける」ことができる場合もある。

なるほど、この特徴空間には「意味の近い単語」が近くに配置されていると考えるのが少なくとも妥当であろう。しかし、この空間にはどのような付加的な構造が確認できるのだろうか。例えば、空間に「平坦さ」を反映するような「平行移動」の概念のようなものはあるのだろうか。それを知るための一つの方法は、アナロジーを見ることである。

そうそう、2Dに投影したときでも、確かに万能ではないのだが、少なくとも「平坦さのヒント」があることが多いのである。

では、軌跡はどうだろうか。ChatGPTのプロンプトが特徴空間で辿る軌跡を見ることができ、さらにChatGPTがそれをどのように引き継いでいるかを見ることができる。

確かにここには、「幾何学的に明らかな」運動法則はない。そして、それは全く驚くべきことではなく、これはかなり複雑な話であることが十分に予想される。また、例えば、「意味論的な運動法則」が見つかったとしても、それがどのような埋め込み（実質的にはどのような「変数」）で記述されるのが最も自然なのか、自明とは言い難い。

上の図では、ChatGPTが最も確率の高い単語を選んでいる「軌跡」のいくつかのステップを示している（「温度ゼロ」の場合）。しかし、ある時点でどのような単語がどのような確率で「次に来る」可能性があるのかを問うこともできる。

そして、この場合、高確率の単語の「扇形」が特徴空間に多かれ少なかれ決まった方向に向かっているように見える。さらに進むとどうなるのだろうか。軌跡に「沿って」進むと、次のような「扇形」が現れる。

合計40ステップを目指す、3D表現がこちら。

そして、ChatGPTが内部で何をしているか」を経験的に研究することによって、「数学物理学的な」「意味的な運動法則」を特定することが期待できるという考えを特に後押しするものではないように思える。しかし、もしかしたら私たちは「間違った変数」（あるいは間違った座標系）を見ているだけで、正しい変数さえ見ていれば、ChatGPTが測地線をたどるような「数学物理学的に単純な」ことをしていることがすぐに分かるかもしれない。しかし、今のところ、ChatGPTが人間の言語の「組み立て方」について「発見」したことを、その「内部動作」から「経験的に解読」することはできていない。

意味文法と計算言語の力

「意味のある人間の言葉」を生み出すには、何が必要なのだろうか。かつては、それは人間の脳でなければできないことだと考えていたかもしれない。しかし、今ではChatGPTのニューラルネットでかなり立派なものができることが分かっている。でも、もしかしたらそれが限界で、もっと単純で、もっと人間にわかりやすいものはないかもしれない。しかし、私の強い疑念は、ChatGPTの成功によって、重要な「科学的」事実が暗黙のうちに明らかになったことである。それは、意味のある人間の言語には、実はこれまで知られていたよりもずっと多くの構造と単純さがあり、最終的には、そうした言語を組み立てる方法を示すかなり単純なルールさえ存在するのではないかということである。

先に述べたように、構文文法は、人間の言葉の中で、品詞の違いなどに対応する単語をどのように組み合わせたらよいかというルールを与えるものである。しかし、意味を扱うには、もっと踏み込む必要がある。そのためには、言語の統語的な文法だけでなく、意味的な文法も考えることが一つの方法である。

構文の目的には、名詞や動詞のようなものを識別する。しかし、意味論のためには、「より細かいグラデーション」が必要である。例えば、「移動する」という概念と、「場所に依存せず同一性を保つ」「物体」という概念を識別することができるわけである。このような「意味概念」の具体例はそれぞれ無限にある。しかし、意味文法の目的には、基本的に「物」は「動く」ことができるという一般的なルールのようなものを用意すればいいのである。このような文法がどのように機能するかについては、いろいろと説明することができる（以前にも説明したことがある）。しかし、ここでは、前進する可能性のある道筋を示すいくつかの発言で満足することにする。

なお、意味文法上は全く問題ない文であっても、それが実際に実現された（あるいは実現しうる）とは限らない。「象が月に行った」という文は、意味文法には間違いなく「合格」だが、実際の世界では（少なくともまだ）実現されていないことは確かである。

「意味文法」について語り始めると、すぐに「その根底には何があるのか？」という問いに導かれる。それはどんな「世界のモデル」を想定しているのか？構文文法は、言葉から言語を構築することだけを目的とした文法である。しかし、意味文法は、必然的に何らかの「世界のモデル」、つまり、実際の言葉から作られた言語を重ねるための「骨格」のようなものに関わる。

近年まで、私たちは（人間の）言語が「世界のモデル」を記述する唯一の一般的な方法であると想像していたかもしれない。すでに数世紀前から、特に数学に基づいて、特定の種類の物事を形式化することが行われるようになっていた。しかし、現在では、より一般的な形式化のアプローチとして、計算機言語がある。

そう、これが40年以上にわたる私の大きなプロジェクトだった（現在はWolfram Languageで具体化されている）．例えば、都市や分子，画像，ニューラルネットワークの記号表現があり、それらの計算方法に関する知識も組み込まれている。

そして、何十年もかけて、こうして多くの分野をカバーしていた。しかし、これまで私たちは特に「日常的な談話」を扱ってかなかった。私は2ポンドのリンゴを買った」では、「2ポンドのリンゴ」を容易に表現できる（そして栄養計算などもできる）。しかし、「買った」を表す記号表現は（まだ）ない。

この文法は、概念のための一般的な記号の「組み立てキット」であり、何が何と組み合わされるのか、つまり、人間の言語になるまでの「流れ」のルールを与えるという目標につながる。

しかし、この「象徴的な談話言語」を手に入れたとしよう。それを使って何をするのだろうか。まずは「局所的に意味のあるテキスト」を生成するようなことができるだろう。しかし、最終的には、より「グローバルに意味のある」結果、つまり、世界（あるいは、ある一貫したフィクションの世界）に実際に存在しうるもの、起こりうることについて、より「計算」することが必要になるだろう。

現在Wolfram Languageには、様々な種類のものごとに関する膨大な計算知識が組み込まれている。しかし、完全な記号的談話言語とするためには、世界の一般的な事柄に関する「計算」を追加しなければならないだろう．

記号的な談話言語があれば、それを使って「独立した文」を作ることができるかもしれない．しかし、「Wolfram|Alphaスタイル」で世界について質問するために使うこともできる。また、「そうしたい」ことを、おそらくは何らかの外部作動機構を用いて述べるのにも使える。また、実際の世界について、あるいは架空のものであれ何であれ、私たちが考えている特定の世界について、アサーションを行うために使うこともできます。

人間の言葉は基本的に不正確である。特に、特定の計算機実装に「縛られて」いないため、その意味は基本的にそのユーザーの間の「社会契約」によってのみ定義される。しかし、計算言語はその性質上、ある種の基本的な正確さを備えている。なぜなら、計算言語で指定されたものは最終的に必ず「コンピュータ上で一義的に実行」される可能性があるからだ。人間の言葉には、ある種の曖昧さがつきまといる。(しかし、計算機言語では、すべての区別を正確に、明確にしなければならないのである。

計算言語で名前を作るとき、普通の人間の言葉を利用すると便利なことが多い。しかし、計算言語での意味は必ずしも正確ではなく、一般的な人間の言語での特定の意味合いをカバーしているかどうかはわからない。

一般的な記号的談話言語に適した基本的な「存在論」は、どのように考えればいいのだろうか。それは簡単なことではない。だからこそ、アリストテレスが二千年以上前に始めた原初的なものから、この分野ではほとんど何も行われてこなかったのであろう。しかし、今日、私たちは計算機的に世界を考える方法について多くのことを知っているので、本当に助かる（私たちの物理学プロジェクトとルリアッドの考えから「基本的な形而上学」を持っていることも悪くない）。

しかし、ChatGPTの文脈ではどうなのだろうか？ChatGPTは、その訓練から、ある種の（かなり印象的な）量の意味文法を効果的に「つなぎ合わせて」きた。しかし、その成功は、より完全なものを計算言語形式で構築することが可能であろうという根拠を与えてくれる。そして、ChatGPTの内部についてこれまで解明されたこととは異なり、人間が容易に理解できるような計算言語を設計することが期待できる。

意味文法について語るとき、音素論理学とのアナロジーを描くことができる。当初は、人間の言葉で表現された文に関するルールの集合体であった「音素論理」しかし（そう、2千年後に）形式論理が開発されると、もともとの対句論理の基本構成を使って、例えば現代のデジタル回路の動作を含む巨大な「形式の塔」を構築することができるようになったのだ。そして、より一般的な意味文法もそうなることが予想される。最初は、例えばテキストで表現されるような単純なパターンを扱えるだけかもしれない。しかし、ひとたび計算言語のフレームワーク全体が構築されれば、「一般化意味論理」の高い塔を建てることができるようになり、これまで曖昧なまま人間の言語を通じて「床上レベル」でしかアクセスできなかったあらゆる種類のものを、正確かつ形式的に扱うことができるようになると予想される。

計算言語や意味文法の構築は、物事を表現する上での一種の究極の圧縮を意味すると考えることができる。なぜなら、例えば、普通の人間の言語に存在する「言い回し」をすべて扱わなくても、可能なことの本質について話すことができるからだ。そして、ChatGPTの大きな強みも、これと少し似たようなものだと捉えることができる。なぜなら、これもある意味で「ドリルスルー」して、さまざまな言い回しの可能性を気にせずに「意味的に意味のある形で言語をまとめられる」ところまで到達しているからだ。

では、ChatGPTを基礎となる計算言語に適用したらどうなるだろうか。計算言語は、何が可能かを記述することができる。しかし、「何が流行っているか」という感覚は、例えばウェブ上のあらゆるコンテンツを読むことによって、まだ追加することができる。しかし、計算言語を使って操作するということは、ChatGPTのようなものが、潜在的に還元不可能な計算を利用するための究極のツールに即時かつ根本的にアクセスすることを意味する。そして、このシステムは「妥当なテキストを生成する」だけでなく、そのテキストが世界について、あるいはそのテキストが語るべきことについて、実際に「正しい」発言をしているかどうかについて、解決できることを期待できるシステムなのである。

ChatGPTは何をやっているのか、そしてなぜうまくいくのか？

ChatGPTの基本的なコンセプトは、ある意味とてもシンプルである。ウェブや書籍などから、人間が作成した膨大なテキストサンプルからスタートする。そして、ニューラルネットを学習させ、「こんな感じのテキスト」を生成させる。特に、「プロンプト」から始めて、「学習させたものと同じような」テキストを続けることができるようにする。

これまで見てきたように、ChatGPTの実際のニューラルネットは非常にシンプルな要素で構成されている（ただし、その数は数十億個）。そしてニューラルネットの基本的な動作も非常にシンプルで、新しい単語（または単語の一部）を生成するたびに、これまでに生成したテキストから得た入力を「一度だけ」（ループなどを使わずに）要素に通すだけだ。

しかし、驚くべきこと、そして予想外のことは、このプロセスによって、ウェブや本などにあるものとうまく「似た」テキストを作り出すことができるということである。そして、それは首尾一貫した人間の言語であるだけでなく、「読んだ」内容を利用して「その促成に従った」ことを「言う」のである。なぜなら、（例えばWolfram|Alphaの「計算超能力」にアクセスしなければ）学習教材で「どのように聞こえるか」に基づいて「正しく聞こえる」ことを言うだけだからだ。

ChatGPTの具体的なエンジニアリングは、かなり説得力のあるものになっている。しかし、最終的には（少なくとも外部ツールを使えるようになるまでは）ChatGPTは蓄積した「常識の統計」から「まとまった文章の糸」を引き出している「だけ」である。しかし、その結果がいかに人間らしいものだろうかは驚くべきことである。そして、これまで述べてきたように、これは少なくとも科学的に非常に重要なことを示唆している。人間の言語（とその背後にある思考パターン）は、私たちが考えているよりも、どこか単純で「法則的」な構造を持っているということである。ChatGPTは暗黙のうちにそれを発見している。しかし、意味文法や計算言語などを使って、それを明示的に明らかにすることができる可能性がある。

ChatGPTが行うテキスト生成は非常に印象的で、その結果は通常、私たち人間が生成するものと非常によく似ている。では、ChatGPTは脳のような働きをしているのだろうか？ChatGPTの人工神経網の構造は、最終的に脳を理想化したものである。そして、私たち人間が言語を生成するときに起こっていることの多くの側面が、非常によく似ている可能性が高いと思われる。

トレーニング（学習）に関しては、脳と現在のコンピュータの「ハードウェア」が異なるため、ChatGPTは脳とは異なる（そしてある意味でははるかに効率の悪い）戦略を使わざるを得ない。さらに、一般的なアルゴリズム計算とは異なり、ChatGPTは内部で「ループを持つ」「データに対して再計算を行う」ことがない。そのため、必然的に計算能力が制限される。現在のコンピュータに対してもそうだが、脳に対してもそうだ。

それを「修正」して、なおかつ合理的な効率でシステムを訓練する能力を維持する方法は明らかではない。しかし、そうすることで、将来のChatGPTはさらに「脳的なこと」ができるようになると思われる。もちろん、脳が苦手とすることはたくさんある。特に、不可逆的な計算が必要な場合である。そのためには、脳もChatGPTもWolfram Languageのような「外部ツール」を求めなければならない。

しかし、今のところ、ChatGPTがすでにできるようになったことを見るのはエキサイティングなことである。あるレベルでは、多数の単純な計算要素が予想外の驚くべきことを行うことができるという基本的な科学的事実の素晴らしい例である。また、人間の言語とその背後にある思考のプロセスという人間の条件の中心的な特徴について、その基本的な性質と原理をよりよく理解するための、この2千年間で最高の推進力を与えてくれるものでもある。

感謝

ニューラルネットの開発を始めてから約43年になるが、その間、ニューラルネットについて多くの人と交流していた。その中には、昔からの人、最近になってからの人、そして何年にもわたっての人がいる。Giulio Alessandrini, Dario Amodei, Etienne Bernard, Taliesin Beynon, Sebastian Bodenstein, Greg Brockman, Jack Cowan, Pedro Domingos, Jesse Galef, Roger Germundsson, Robert Hecht-Nielsen, Geoff Hinton, John Hopfield, Yann LeCun, Jerry Lettvin, Jerome LeCun, Jenri R. Bodenste, Jenri R. Bodenste, Jenri R. Bodenste, John Hopfield, Jenri R. Bodenste, Jenri L,Jerry Lettvin, Jerome Louradour, Marvin Minsky, Eric Mjolsness, Cayden Pierce, Tomaso Poggio, Matteo Salvarezza, Terry Sejnowski, Oliver Selfridge, Gordon Shaw, Jonas Sjöberg, Ilya Sutskever, Gerry Tesauro and Timothee Verdier. この作品に協力してくれた、Giulio AlessandriniとBrad Kleeに特に感謝したい。