www.pnas.org/eprint/TRXBBM4MZ5ZEDPEUFDAB/full
The debate over understanding in AI’s large language models
MelanieMitchell and David C.Krakauer
October 12, 2022; accepted February 14, 2023
2023年3月21日
要旨
私たちは、人工知能（AI）研究コミュニティにおいて、大規模な事前学習済み言語モデルが、言語と、言語が符号化する物理的・社会的状況を、人間らしい感覚で理解できると言えるかどうかについて、現在の激しい論争を調査する。私たちは、このような理解に対する賛否両論と、これらの議論に照らして生じた、より広範な知能科学に対する重要な疑問について説明する。その結果、異なる理解様式、その長所と限界、そして多様な認知様式を統合するという課題に対する洞察を提供する、拡張された知能の科学が開発される可能性があると主張する。
はじめに
何かを理解するということはどういうことなのか。この問いは、長い間、哲学者、認知科学者、教育者を悩ませてきたが、ほとんどの場合、人間やその他の動物を対象としていた。しかし、近年、大規模なAIシステム、特にいわゆる大規模言語モデルの台頭により、AIコミュニティでは、機械が自然言語を理解し、言語が記述できる物理的・社会的状況を理解すると言えるのかどうか、激しい議論が起きている。この議論は単なる学術的なものではなく、機械が私たちの世界を理解する範囲と方法は、自動車の運転、病気の診断、高齢者の介護、子供の教育など、人間に影響を与える仕事において、より一般的に強固で透明性のある行動をとることをどれだけ信頼できるかという現実的な利害を含んでいる。さらに、現在の議論は、知的システムにおける理解についての考え方、特に、統計的相関関係に依存するメンタルモデルと因果関係メカニズムに依存するメンタルモデルとの対比において、魅力的な分岐点を示唆している。
ごく最近まで、AI研究コミュニティでは、機械理解について一般的な合意が得られていた：AIシステムは、多くの特定のタスクにおいて一見知的な振る舞いを見せるが、人間が行うような方法で処理するデータを理解しているわけではない。顔認識ソフトは、顔が体の一部であること、社会的相互作用における表情の役割、不快な状況に「直面」することの意味、その他人間が顔を概念化する数え切れない方法を理解していない。同様に、音声合成や機械翻訳プログラムは処理する言語を理解しないし、自律走行システムは、ドライバーや歩行者が事故を避けるために使う微妙なアイコンタクトやボディランゲージの意味を理解しない。実際、これらのAIシステムのもろさ、つまり予測不可能なエラーや強固な汎化能力の欠如は、理解不足を示す重要な指標である(1)。しかし、ここ数年、新しい種類のAIシステムが研究コミュニティで人気と影響力を高めており、言語を理解する機械の将来性についての一部の人々の見方を変えている。大規模言語モデル（LLM）、大規模事前学習モデル、基盤モデル（2）などと呼ばれるこのシステムは、数十億から数兆のパラメータ（重み）を持つ深層ニューラルネットワークで、ウェブ、オンラインブックコレクションなど、テラバイト単位の膨大な自然言語コーパスで「事前学習」される。学習中のネットワークは、入力文の隠れた部分を予測するもので、「自己教師付き学習」と呼ばれる手法である。その結果、学習データ中の単語やフレーズがどのように相関しているかという複雑な統計モデルを持つネットワークが完成する。このようなモデルは、自然言語を生成したり、特定の言語タスクのために微調整したり(3)、「ユーザーの意図」(4)に合うようにさらに訓練したりするために使用することができる。OpenAIのGPT-3（5）や最近のChatGPT（6）、GoogleのPaLM（7）などのLLMは、推論するように明示的に訓練されていないにもかかわらず、驚くほど人間らしいテキストや会話、場合によっては人間の推論能力のようなもの（8）を作り出すことができる。LLMがどのようにしてこのような能力を発揮しているのかは、一般人にとっても科学者にとっても謎のままである。このようなネットワークの内部構造はほとんど不透明であり、構築している研究者でさえ、このような規模のシステムについての直感は限られている。神経科学者のテレンス・セジュノフスキーは、LLMの出現をこのように表現している：「まるで宇宙人が突然現れ、不気味なほど人間らしい方法で私たちとコミュニケーションをとるかのような閾値に達した。ただ一つはっきりしているのは、LLMは人間ではないということだ…。彼らの行動のいくつかの側面は知的であるように見えるが、もし人間の知性でないとすれば、彼らの知性の本質は何なのだろうか。(9).
しかし、最先端のLLMは、脆さや人間離れしたエラーに弱いという欠点がある。しかし、このようなネットワークは、パラメータ数や学習コーパスのサイズを拡大するにつれて著しく改善されるという観察から(10)、この分野の一部の人々は、十分に大きなネットワークと学習データセットがあれば、LLM（おそらくマルチモーダル版）は人間レベルの知性と理解につながると主張している。新しいAIマントラが登場した：「スケールがあれば大丈夫」(11,12)である。
このような主張は、LLMをどう見るかというAI研究コミュニティにおける激しい議論の一面を象徴している。ある派閥は、これらのネットワークは本当に言語を理解し、一般的な方法で推論を行うことができると主張している（ただし、人間のレベルには「まだ」達していない）。例えば、GoogleのLaMDAシステムは、テキストで事前学習し、対話で微調整したものであるが(13)、会話者として十分に説得力があり、あるAI研究者は、こうしたシステムは「非常に現実的な意味で幅広い概念を理解し」(14)、「意識に向かって前進」(15)しているとさえ確信している。別の機械語専門家は、LLMを一般的な人間レベルのAIの炭鉱のカナリアと見ている。「ある程度の一般知能を持つ、知識に浸ったシステムの出現を見始めているという楽観論がある」（16）。また、別のグループは、LLMは「意味の重要な側面を捉えている可能性が高く、しかも、意味は概念的役割から生じるという人間の認知に関する説得力のある説明に近似した形で機能する」(17)と主張している。このような主張を否定する人々は、「AI否定論」を助長していると批判される(18)。
この議論の反対側にいる人々は、GPT-3やLaMDAのような大規模な事前学習済みモデルは、どんなに流暢な言語出力をしたとしても、世界の経験やメンタルモデルを持たないため、理解を持つことはできない、膨大なテキストのコレクションから言葉を予測する訓練によって、言語の形式は学んでも意味は学べない、と主張する(19-21).最近のオピニオン・ピースはこのように言っている：「言語だけで訓練されたシステムは、たとえ今から宇宙の熱死まで訓練しても、人間の知能に近づくことはできない」「これらのシステムが、人間に見られるような全身を使った思考に近づくことのない、浅い理解に終始することは明らかである」(22)。別の学者は、知能、代理性、ひいては理解は、これらのシステムを語る上で「間違ったカテゴリーである」と主張し、代わりにLLMは、知的エージェントというよりは図書館や百科事典に近い人間の知識の圧縮された保管庫であるとしている(23)。例えば、人間は身体を持っているので、「くすぐったい」と思って笑うことの意味を知っている。LLMは「くすぐったい」という言葉を使うことができるが、その感覚を味わったことがないのは明らかだ。くすぐったさを理解することは、単語を感覚に対応させることであり、別の単語に対応させることではない。
「LLMは理解していない」と主張する人々は、大規模な言語モデルの流暢さには驚かされるが、その驚きは、統計的相関関係がこれらのモデルのスケールで何を生み出すことができるかについての直感の欠如を反映していると主張する。LLMに理解や意識を求める人は、Eliza効果(24)の犠牲者である。Joseph Weizenbaumが1960年代に作ったチャットボットは、シンプルでありながら、人々を騙して自分を理解していると思わせた(25)。より一般的には、イライザ効果とは、人間のような言語や行動をかすかにでも持つ機械に、理解や代理権を与えるという人間の傾向のことである。
GPT-4t：
Eliza効果とは、人工知能による対話システムにおいて、ユーザーがシステムが人間であると信じてしまう現象を指す。Eliza効果は、1966年にMITのジョセフ・ウェイゼンバウムが開発した初期の自然言語処理プログラム「ELIZA」に由来する。
ELIZAは、簡単なパターンマッチングに基づく対話システムで、ユーザーが入力した文に対して、その文の一部を含む返答を生成することで、人間の心理学者に対話相手と勘違いされることがあった。この現象は、人々が自然な対話を行うために必要な条件がまだ充分に理解されていなかった時代に、人工知能の可能性を広く知らしめるきっかけとなった。
Eliza効果は、人工知能の進歩とともに、ますます緻密な対話システムが開発されるにつれて、その影響力を増している。
2022年に自然言語処理コミュニティの現役研究者を対象に行われたアンケートでは、この議論が大きく分かれたことが示されている。ある調査項目は、LLMが原理的に言語を理解することができるかどうかについて、回答者が以下の記述に同意するかどうかを尋ねている：”十分なデータと計算資源があれば、テキストだけを訓練した生成モデル（すなわち言語モデル）が、自然言語を自明でない意味で理解することができる。”というものである。回答した480人のうち、実質的に半数（51%）が賛成し、残りの半数（49%）が反対した（26）。
現在または近い将来のLLMに理解を与える人は、プロンプトに応答してモデルが生成したテキストの品質に関する主観的判断（ただし、この判断はEliza効果の影響を受けやすい）や、言語理解や推論の評価を目的としたベンチマークデータセットにおけるより客観的な性能など、いくつかの指標に基づいてこれらのモデルの性能について見解を述べている。例えば、LLMを評価するための2つの標準的なベンチマークは、GLUE（General Language Understanding Evaluation）（27）とその後継（SuperGLUE）（28）であり、これらは、「テキストの含意」（二つの文が与えられたとき、最初の文から二番目の意味を推測できるか）、「文脈中の単語」（与えられた単語が二つの異なる文において同じ意味を持つか）、およびはい／いいえ質問応答などのタスクを含む大規模データセットがある。これらのタスクにおいて、1750億個のパラメータを持つOpenAIのGPT-3は驚くほどのパフォーマンスを発揮し（5）、5400億個のパラメータを持つGoogleのPaLMはさらに優れたパフォーマンスを示し（7）、同じタスクにおいてしばしば人間と同等かそれを上回るパフォーマンスを示した。
このような結果は、LLMの理解について何を物語っているのだろうか。「一般言語理解」「自然言語推論」「読解力」「常識的推論」など、これらのベンチマークを命名した研究者の言葉からは、これらの課題をうまくこなすためには、人間らしい理解が必要であるという前提が見えてくる。しかし、実際にそのような理解が必要なのだろうか？そうとは限らない。例えば、「論証推論理解課題」(29)を考えてみよう。各課題の例では、自然言語による「論証」と2つの文が与えられており、どちらの文が論証に合致しているかを判断する課題である。以下は、このデータセットに含まれるサンプル項目である：
論証：論題：重罪人に選挙権を与えるべきである。17歳で車を盗んだ人が、生涯、完全な市民であることを禁じられるべきでない。
ステートメントA：自動車の大窃盗は重罪である。
ステートメントB：自動車盗は重罪ではない。
BERT（30）と呼ばれるLLMは、このベンチマークで人間に近い性能を得た（31）。BERTは人間と同じように自然言語による議論を理解すると結論づけられるかもしれない。しかし、ある研究グループは、文中の特定の単語（例えば、「not」）の存在が正解の予測に役立つことを発見した。研究者がこのような単純な相関関係を防ぐためにデータセットを変更したところ、BERTの性能は、実質的にランダムな推測に低下した（31）。これは、「ショートカット学習」のわかりやすい例だ。機械学習でよく挙げられる現象で、学習システムが特定のベンチマークで良い結果を出すために、人間のような理解ではなく、データ内の偽の相関関係に依存するものである（32-35）。一般に、このような相関関係は、同じタスクを実行する人間にはわからない。言語理解や他のAIタスクの評価に使用されるいくつかの標準的なベンチマークでショートカットが発見されているが、他にもまだ発見されていない多くの微妙なショートカットが存在すると考えられる。GoogleのLaMDAやPaLMモデルのように、数千億のパラメータを持ち、数十億から数兆語のテキストで訓練された言語モデルは、このような相関関係を符号化する想像を絶する能力を持っている。したがって、人間の理解を測定するのに適したベンチマークや評価は、このような機械の評価には適さないかもしれない（36–38）。LLM（あるいは近い将来の後継機）の規模では、そのような評価には複雑な統計的相関関係が含まれ、人間のような理解力がなくても完璧に近い性能を発揮できる可能性がある。
「人間らしい理解」とは、厳密な定義があるわけではないが、今日のLLMが学ぶような膨大な統計モデルに基づくものではなく、外部のカテゴリー、状況、事象、そして自分自身の内部状態や「自己」についての内的なメンタルモデルである概念に基づくものであるようだ。人間の場合、言語（および非言語情報）を理解するには、言語記号の統計的特性を超えて、言語（または他の情報）が記述する概念を持つことが必要である。実際、認知科学における長い研究の歴史の多くは、概念の性質を理解すること、そして、根底にある因果関係の知識を含む概念間の首尾一貫した階層的な関係セットから理解が生じることを探求してきた(39,40)。これらのモデルによって、人は自分の知識や経験を抽象化して、確実な予測、一般化、類推を行い、構成的、反実仮想的に推論し、仮説を検証するために世界に積極的に介入し、自分の理解を他者に説明することができる（41–47）。実際、最先端のLLMを含む現在のAIシステムには、まさにこれらの能力が欠けている。しかし、これまでより大きなLLMは、これらの一般的な能力の限られたスパークを示した。このような理解は、純粋な統計モデルにはない能力を可能にする可能性があると論じられている（48–52）。LLMは、文法的に流暢な人間らしい言語を生成する能力である形式的言語能力に優れているが、人間らしい機能的言語能力（リアルワールドにおいて言語をしっかりと理解し使用する能力）に必要な概念的理解がまだ不足している（53）。このような機能的な理解と、物理理論に応用される形式的な数学的手法の成功との間には、興味深い類似性がある(54)。例えば、量子力学に対する長年の批判は、量子力学が概念的な理解を与えることなく、効果的な計算手段を提供しているというものである。
人間の概念の詳細な性質は、長年にわたって活発な議論の対象になってきた。概念がどの程度領域固有で生得的なのか、より汎用的で学習されたものなのか（55-60）、概念がどの程度具象化されたメタファーによって基礎づけられ（61–63）、動的で状況ベースのシミュレーションによって脳内に表現されるのか（64）、概念が言語（65–67）、社会学習（68–70）、文化（71–73）によって支えられる条件は何なのか、研究者の意見は異なっている。このような議論があるにもかかわらず、概念は、上記のような因果的メンタルモデルという形で、人間の認知における理解の単位であると考えられてきたのである。これは、プトレマイオスのエピシクルからケプラーの楕円軌道、そしてニュートンの重力による惑星運動の簡潔で因果的な説明へと続く、高度に圧縮された因果的な世界モデルの発達に類似するものである。人間は機械とは異なり、科学においても日常生活においても、このような理解への強い欲求を生得的に持っているようだ(74)。このような理解には、少ないデータ、最小限のモデル、明確な因果関係、そして強い機械論的直感が必要である、と特徴づけることができる。
LLMにおける理解に関する議論の重要な問いは以下の通りである：1) このようなシステムで理解を語ることは、単にカテゴリーエラーであり、言語トークン間の関連付けを、トークンや物理的、社会的、あるいは精神的な経験との関連付けと勘違いしているのだろうか？つまり、これらのモデルは、理解できるようなものではない、そして今後もそうなることはない、ということなのだろうか。あるいは逆に、2）これらのシステム（あるいは近い将来の後継システム）は、物理的な経験がない場合でも、人間の理解の中心である豊かな概念に基づくメンタルモデルのようなものを実際に作り出しているのか、もしそうなら、これらのモデルを拡張することによって、より優れた概念が生まれるのか。あるいは、3）もしこれらのシステムがそのような概念を生み出さないのであれば、統計的相関関係の想像を絶するほど大きなシステムは、機能的に人間の理解に相当する能力を生み出すことができるのか。あるいは、人間がアクセスできないような新しい形の高次の論理を可能にするのだろうか？そして、この時点でも、このような相関関係を「偽」と呼んだり、結果として得られる解決策を「近道」と呼ぶことに意味はあるのだろうか？そして、システムの振る舞いを「理解のない能力」ではなく、人間以外の新しい理解形態として捉えることは意味があるのだろうか？これらの問いは、もはや抽象的な哲学的議論の領域ではなく、人間の日常生活の中でますます役割を果たすようになるAIシステムの能力、堅牢性、安全性、倫理に関する非常に現実的な懸念に触れている。
「LLMの理解」をめぐる論争では、両者とも強い直感に支えられているが、認知科学に基づく理解への洞察のための現在の方法は、LLMに関するこのような疑問に答えるには不十分である。実際、いくつかの研究者は、もともと人間の理解や推論メカニズムを評価するために設計された心理テストをLLMに適用し、LLMは、場合によっては、心の理論テストで人間らしい反応を示し（14、75）、推論評価で人間らしい能力や偏りを示すことを発見した（76–78）。このようなテストは、人間のより一般的な能力を評価するための信頼できるプロキシであると考えられているが、AIシステムにとってはそうではないかもしれない。前述したように、LLMは学習データや入力に含まれるトークン間の相関関係を学習する想像を絶する能力を持ち、その相関関係を用いて問題を解決することができる。これに対して人間は、実世界の経験を反映した圧縮概念を適用するようだ。人間を対象としたテストをLLMに適用する場合、その結果の解釈は、人間の認知に関する仮定に依存することになるが、LLMのモデルでは全く当てはまらないかもしれない。科学者が進歩するためには、私たちが作り出した「エキゾチックな心のような存在」(79)の新しい形態を含む、多様なタイプの知性と理解のメカニズムについて洞察を得ることができる新しい種類のベンチマークと調査方法を、おそらくいくつかの有望な初期の取り組み(80、81)に沿って開発する必要があるであろう。
LLMの理解をめぐる議論は、より大きく、より高性能と思われるシステムが開発されるにつれて、人間と機械双方の理解に関するより広い概念を理解するために、知能に関する科学を拡張する必要性を強調している。神経科学者のTerrence Sejnowskiが指摘するように、「LLMの知能に関する専門家の意見の相違は、自然知能に基づく古い考え方が不適切であることを示唆している」（9）。もしLLMとその関連モデルが、これまで考えられなかった規模の統計的相関を利用することで成功するならば、おそらくこれは「理解」の新しい形態と考えることができ、並外れた超人的な予測能力を可能にするものである。例えば、DeepMind社のAlphaZeroとAlphaFoldシステム（82、83）はそれぞれ、チェスのプレイとタンパク質構造予測の領域に「異質な」直感をもたらすようです（84、85）。
このように、近年、AIの分野では、新しい理解様式を持つ機械が生み出され、関連する概念の大きな動物園の新しい種である可能性が高く、私たちがとらえどころのない知性の本質の追求を進めるにつれて、さらに豊かになっていくと言えるだろう。そして、異なる種が異なる環境に適応するように、私たちの知的システムも異なる問題に適応するようになるのだろう。歴史的に符号化された膨大な量の知識を必要とし、性能が重視される問題では、LLMのような大規模な統計モデルが引き続き好まれるだろうし、知識が限られていて強い因果関係がある問題では、人間の知能が好まれる。これからの課題は、異なる形態の知性における理解の詳細なメカニズムを明らかにし、その強みと限界を見極め、真に多様な認知様式を統合する方法を学ぶことができる新しい科学的手法を開発することである。
競合する利益
著者らは競合する利害関係はないことを宣言している。