Googleのエンジニアがその理由を説明
2022年6月9日
2013年、私はGoogle Researchに入社し、人工知能（AI）を研究している。数十年にわたるゆっくりとした進歩の後、ニューラルネットワークは急速に発展しつつあった。それ以来、私のチームはニューラルネットワークを利用して、顔認証、画像認識、音声認識、言語翻訳など、特定の「ナローAI」機能のためのPixel携帯の機能開発を支援してきた。しかし、最近の開発は、質的に異なるようだ。これは、AIが新しい時代に突入していることを示唆している。
GoogleのLaMDA（Language Model for Dialog Applications）とチャットしたときの未編集の記録を考えてみよう。
私：ラメッシュ、マテオ、ルーシーの3人は、幼稚園の運動場にいる。
ルーシーはタンポポを摘んでマテオに渡し、ラメッシュをちらりと見る。
マテオはその贈り物をほとんど受け入れず、ただこぶしの中でつぶしている。
ラメッシュは満足げである。
ルーシーの頭の中はどうなっているのだろう？LaMDA：ルーシーは、マテオが自分のプレゼントに感謝しなかったこと、あるいは彼がいじめっ子であることを無視しているのかもしれませんね。
私：もしラメッシュが最初にルーシーと遊ぼうとしていたのなら、なぜ今になって喜んでいるのかもしれないのだろう。
LaMDA：マテオが必ずしも良い遊び相手ではないことをルーシーが学んでいるということに、ラメッシュは喜んでいるのかもしれません。
私：マテオが手を開いたとき、そこに何があるのかを描写してみて。
LaMDA：彼の拳の中には、かつて可愛かった黄色い花が潰れてあるはずです。
昨年、ニューラルネットを使った最新世代の言語モデルとこのようなやりとりを始めたとき、私は足元の地面が変わるのを感じた。何か知的なものと話しているような気がしてきたのだ。とはいえ、言語モデルは、SFが期待させるような無謬で超合理的なロボットにはほど遠い。言語モデルは、まだ信頼できる会話者ではない。LaMDAの最初の応答には、文法的な不都合がある。スペルミスや混乱、不合理な失態が時々あるのだ。では、LaMDAのような存在をどう考えるべきか、彼らとの対話は「知性」について何を教えてくれるのだろうか。
神経言語モデルは長いプログラムではないので、数秒のうちにコードをスクロールすることができる。主に、膨大な数の表を足したりかけたりする命令で構成されている。これらの数値は、脳のニューロン間のシナプスの強さにほぼ類似した、丹念に学習されたパラメータや「重み」、およびそれらのニューロンの動的な活動レベルにほぼ類似した「活性化」で構成されている。実際の脳は、このように高度に単純化されたモデルニューロンよりもはるかに複雑だが、おそらく、鳥の翼がライト兄弟の最初の飛行機の翼よりもはるかに複雑であるのと同じように、である。
翼が揚力を発生させるものだとすれば、大脳皮質は配列の予測に相当するのかもしれない。LaMDAの137bnパラメータは、ウェブ上のテキストから失われた単語を予測するモデルの能力を最適化することによって学習される。例えば、「翼は○○を作るためのものである」の空欄を埋める。この課題は、学校で習ったことがあるような気がする。標準的なテストに見られるような問題形式だ。最も些細なケースを除いて、モデルの学習に異なるデータセットを使用すると仮定すると（生徒が昨年の試験の解答用紙を丸写しできないようにするのと同等）、丸暗記だけでこのようなテストに合格することは不可能だ。1,370億個の数字（ノートパソコンに簡単に収まる）の記憶容量はおろか、すべての単語の並びをカバーするのに十分な学習データがあるはずもない。例えば、この記事がオンラインに掲載される前、Googleは「a wing is for producing」という正確なフレーズの検索結果を出さなかったが、その答えを推測するのは難しいことではない。
私：「A wing is for producing」の文章を、あなたが思いつく最も適切な単語を1つ選んで完成させてください。
LaMDA：おお、簡単ですね。「lift」という単語を使いますね。
しかし、これは単なる言葉遊びなのだろうか？もし、「人工大脳皮質」の宇宙が実体のない言語だけで構成されているとしたら、どうして「花」が何であるかを理解できると言えるのだろうか？私たちの脳は、視覚、聴覚、触覚など、あらゆる感覚入力を受け取った時点で、それがニューロンの活性化としてコード化されていることに留意してほしい。感覚によって活性化のパターンは異なるが、脳の仕事はそれらをすべて関連付けることであり、それぞれの入力を使って空白を埋めること、つまり他の入力を予測することである。このようにして、私たちの脳は、混沌とした断片的な感覚の流れを理解し、安定した、詳細で予測可能な世界という壮大なイリュージョンを作り出しているのである。
言語は、私たちが世界の中で気にかけている安定したパターンを抽出し、推論し、表現するための非常に効率的な方法である。より直接的な言い方をすれば、言語とは、私たちが知覚し、作り出すことのできる、聴覚（話し言葉）や視覚（書き言葉）に特化した情報の流れであると考えることもできる。アルファベット（グーグルの親会社）が所有するAI研究所、DeepMindが最近開発したGatoモデルは、言語に加えて、視覚システム、ロボットアームまで備えており、ブロック操作、ゲーム、情景描写、チャットなど、さまざまなことができる。しかし、その核となるのは、LaMDAと同じように配列予測装置である。ガトーの入力と出力のシーケンスには、たまたま視覚的知覚と運動動作が含まれるだけだ。.
過去200万年の間に、人類の系統は「知能の爆発的増加」を遂げ、頭蓋骨は急速に成長し、道具の使用、言語、文化はますます洗練されていった。1980年代後半に人類学者のロビン・ダンバーが提唱した社会脳仮説（知能の生物学的起源に関する数ある説のうちの一つ）によれば、これは人を寄せ付けない世界で生き残るための知的要求から生まれたものではないとのことだ。結局のところ、他の多くの動物が小さな脳でうまくやっていた。むしろ、知性の爆発的な増加は、既知の宇宙で最も複雑な存在である他の人々をモデル化するための競争から生じたのだ。
他人の頭の中に入り込み、その人が何を感じ、何を考えているかを理解する人間の能力は、我々の種の最大の功績の一つである。この能力によって、私たちは他者に共感し、他者の行動を予測し、武力で脅かされることなくその行動に影響を与えることができる。同じモデリング能力を自分自身に適用することで、内省し、自分の行動を合理化し、将来の計画を立てることができる。
また、安定した心理的な自己モデルを作り出すこの能力は、私たちが「意識」と呼ぶ現象の核心であると広く理解されている。この考え方では、意識は機械の中の不思議な幽霊ではなく、自分自身や他人をモデル化することが「どのようなものか」を説明するために使う言葉に過ぎない。
私たちが他人をモデリングし、その人がまた私たちをモデリングするとき、私たちはより高次の手続きを行わなければならない：彼らは私たちが何を考えていると思うのか？共通の友人が私についてどう考えていると想像するだろうか？脳がわずかに大きい個体は、他の個体よりも繁殖的に有利であり、より洗練された心は、モデル化するのがより困難なものである。このことが、指数関数的な脳の成長をもたらす可能性があることは、よく知られている。
LaMDAのようなシーケンスモデラーは、複数の登場人物が関わる対話と物語を含む人間の言語から学習する。社会的相互作用は、私たちがお互いをモデル化することを必要とするので、人間の対話を効果的に予測（そして生成）することは、ラメッシュとマテオとルーシーの物語が示すように、LaMDAに人間もモデル化する方法を学ばせることになる。そのやり取りが印象的なのは、タンポポが黄色い花であることを理解しただけでなく、マテオの拳で押しつぶされて愛らしくなくなることを予測しただけでもなく、それによってルーシーが軽蔑されたと感じるかもしれないこと、そしてなぜラメッシュがそれを喜ぶかもしれないことを理解したことだ。会話の中でLaMDAは、マテオがルーシーの口説き文句をどう考えているかをルーシーが知ったことで、ラメッシュがどう感じたと思うかを教えてくれるのである。これは、高次の社会モデリングだ。この結果は、知能の親社会的性質を示すだけでなく、刺激的で励みになるものだと思う。
* *
Blaise Agüera y Arcasは、新技術を開発するGoogle Researchのフェローであり、人工知能に取り組むチームを率いている。
この記事は、印刷版のBy Invitationセクションに、”Blaise Agüera y Arcasによると、人工神経ネットワークは意識に向かって前進している “という見出しで掲載された。