A conversation between Terry Sejnowski and Stephen Wolfram
Stephen Wolfram 0:56
皆さん、こんにちは。インタビューQ&Aをお届けします。今回は私の長年の友人であるテリー・シノフスキーです。シノフスキーは計算論的神経科学運動の創始者として有名です。私たちが最初に会ったのはいつだろうと考えていました。1984年、1985年、そんなところでしょうか。そうだったかな？
Terry Sejnowski 1:23
そうですね、80年代前半ですか。下の研究所にいるんじゃないですか？
Stephen Wolfram 1:30
ああ、それはありそうですね。私はプリンストンの研究所にいたかもしれませんが、私は複雑性理論の研究所のようなものを始めようとしていたと思いますし、あなたは今、小さな計算機を始めようとしていました。
私は複雑性理論の研究所を立ち上げましたが、私はその全てから手を引きました。そして、あなたは神経計算の研究所を立ち上げました。そして、今までずっとそれを続けてきて、そこでいろいろなものを作ってきたんですね。
Terry Sejnowski 1:57
その通りです。新しい計算機のための研究所は1989年にUCSDで設立され、現在に至っています。
Stephen Wolfram 2:05
私が知っている限りでは、最初にお会いしたときにはすでにニューラルネットワークの話をされていました。つまり、私のモデルでは、あなたは生まれながらにしてニューラルネットワークをやっていたのだと思います。しかし、どうやってそのような考えを持つようになったのでしょうか？
Terry Sejnowski 2:21
実は、私の大学院時代にさかのぼります。私はプリンストン大学の物理学部にいました。彼はブラックホールで有名で、非常に影響力のある物理学者でしましたが、私は当時、ジョン・ホイーラーと一緒に仕事をしていました。ご存知のように、Stephen、ええ。
Stephen Wolfram 2:49
そうですね。彼のアイデアは、「世界全体を計算で作ることができるか」というようなもので有名ですが、彼は計算についてはあまり話しませんでした。つまり、彼はコンピュータを使ったことがあるのでしょうか？ありません。
Terry Sejnowski 3:06
私は彼を見たことがありません。実際、私がガリ版印刷をしていた頃の話ですが、彼は自分の講義をガリ版印刷で書いて、クラスに配っていました。ですから、コンピュータが登場する前のことです。
Stephen Wolfram 3:18
しかし、彼はチューリング・マシンやそのようなものについて知っていましたか？彼はチューリング・マシンについて知っていましたか？
Terry Sejnowski 3:24
思い出せませんね。しかし、あなたの言うとおり、彼はビットのアイデアを持っていました。つまり、桁数の多いデジタルコンピューティングのアイデアを持っていたということですが、それは彼のDNAの一部ではありませんでした。そうですね、ダイナミクスを理解することを目的としていましたからね。
もちろん、一般相対性理論は、彼が当時、本当に取り組んでいた分野です。その前は核物理学で、ニールス・ボーアと一緒に効率的な研究をしていました。このように、彼は非常に幅広いキャリアを持っています。実際、当時私が彼と取り組んでいたプロジェクトは、ブラックホールに関するものでした。
ブラックホールがあったらどうなるか」という質問に対して、彼は、彼のオフィス、つまり彼の研究室に来た初日に、「銀河の真ん中にブラックホールがあっても、テリーは起こらない」と言って、これをくれたんです。それで私は研究室を出て、ひたすら計算、つまりシミュレーションをしたんです。
すると案の定、重力放射による巻き込みのために、ブラックホールは引き裂かれて降着円盤を形成することがわかりました。これこそが、クエーサーや恒星、CUSOなどを動かす巨大なエネルギー源になると思ったのですが、当時は大きな謎でした。それがジョン・ジョン・ウィーラーとの出会いでした。ビジョンでは、ブラックホールが存在するかどうかを調べていましたが、当時は数学的なオデッセイに過ぎませんでした。どこを探せばブラックホールがあるのでしょうか？そして何をするのでしょうか？
Stephen Wolfram 5:02
これは何年前のことでしょうか？
Terry Sejnowski 5:06
驚いたことに、それは70年代前半までさかのぼりますね。
Stephen Wolfram 5:10
ホーキング放射などの前で、まだ未来の話なんですね。
Terry Sejnowski 5:15
そうですね、ホーキング博士は少なくとも5-10年は先の話です。いずれにしても、本当に重要だったのは、私の次のプロジェクトが「重力波をどうやって検出するか」だったことです。当時、ジョー・ウェーバーが、そのことを覚えていてくれたので、非常に興奮しました。
Stephen Wolfram 5:39
私はその事業全体を覚えていますよ。アルミのシリンダーですね。
Terry Sejnowski 5:43
アルミの円筒、そうですね、大きな貸し出し用の円筒、つまり10フィートくらいの長さのものを、電気変換器の前に置いて、それによって振動、キロヘルツの振動を見ることができたのです。偶然の一致というのは、そうでなければあらゆる種類のバックグラウンドノイズがあるということですが、水素原子の何分の1かの大きさの距離を測ろうとしているわけですから、これは本当に無理な話です。
そこで私は理論的な研究を始め、これは私の論文に最適だと考えました。信号はどこから来ているのでしょうか？超新星やブラックホールの衝突など、信号を得るためには膨大なエネルギーを記録しなければなりませんが、これらは非常に微弱なものです。
私の計算によると、彼は既知の信号や原因となりうる多くの既知の物体から3桁も離れたところにいたのです。そして、彼のプログラム、つまり分析プログラムにバグがあることを発見したとき、幕が下りました。
Stephen Wolfram 7:18
そうだったんですか？はい、そうです。
Terry Sejnowski 7:20
実際には、私の目が正しかったことはわかっていて、それが目だったという事実以上の物理的な物体は存在しないわけですから、私は非常に落胆しました。この波を誰かが検出できるようになるには、どのくらいかかるだろうかと考えました。
まず最初に、干渉計を使った方法に注目しました。私は、10年で1桁の大きさになると考えました。つまり、30年、あるいは30年ということになります。30年後には私は老人になっているでしょうから、私には無理だと思いました。
しかし、インパクトのあるものを。同じ頃、生物学者、特にマーク小西の講義を受けていました。彼はフジツボの音の定位を研究していました。脳はどのように機能するのかという、宇宙と同じくらい神秘的な問題に、私はただ魅了されていました。思考したり、見たりするという信じられないような能力をどうやって生み出すのか、ということです。
Stephen Wolfram 8:45
そうですね。しかし、先ほどの話に戻ると、ブラックホールや銀河系の中心のようなものをやっていたとき、実際にコンピュータで計算していたのでしょうか？何を？どうやってフルタイムのカードを作るようになったんですか？それとも？家は何だったの？わかりました。
Terry Sejnowski 9:01
カードのデッキを持っていました。ええ、まったくその通りです。コンピュータの規格がありました。私はカードのデッキを持っていき、翌日には戻ってきて、文字通りラインプリンタでプリントアウトしていました。
Stephen Wolfram 9:13
ええ、そうですね。私がコンピュータをやり始めたのは、物事がそのように動いていた頃です。
Terry Sejnowski 9:17
そうですね。しかし、今の基準では、これらのコンピュータは本当に遅かったんです。
Stephen Wolfram 9:25
そしてもちろん、このアイデアは、誰が中央集権的なコンピュータを持つことになると考えたでしょうか。誰もが自分のコンピュータを持っているとは限らないのではないでしょうか。もちろん、今はクラウドコンピューティングがありますが、これはまた昔の考えに戻ったものです。
Terry Sejnowski 9:35
実際、私はこのことについてよく考えました。複雑なシステムには、スマートフォンのようなローカルなエッジデバイスと、それらの情報を集約する何かが必要であり、最終的にはクラウドが必要になります。しかし、その間には何層ものレイヤーがあるわけです。それが、脳の仕組みなのです。脳は層状のシステムで、多くの異なるスケールで相互に作用しなければならない多くのコンポーネントがあります。
Stephen Wolfram 10:13
私にとっては、ニューロンを理解し、思考がどのように機能するかという集合的な見解について何かを理解しているようなもので、その間に何があるのか興味がありますが、それはもっと大きな話だと思います。しかし、興味があるので、歴史的な物語に戻りましょう。
さて、私たちはメンフクロウですね。では、メンフクロウについての授業を受け始めたきっかけを教えてください。
Terry Sejnowski氏 10:38
それは、好奇心からです。自分が何をしたいのでしょうか？他の人がどんなことをしているのか知りたかったんです。そして、私があなたに伝えなければならないことがあるんです。さて、これも誰にも話したことのない話です。2年生になると、プリンストン大学の物理学科の大学院生は、一般試験を受けなければなりません。それは1週間の過酷なマラソンで、午前中にテストを受け、午前と午後に物理学のあらゆる分野で3時間のテストを受けるのです。
古典力学、電気と磁気、核物理学、一般相対性理論、固体物理学、当時は固体物理学と呼ばれていましたが、現在は凝縮系物理学と呼ばれていますね。それで、私はポジトロニウムの3つのガンマ崩壊を測定しました。わかりました、わかりました。つまり、頭の中ですべての物理学を同時に理解していなければならなかったわけですね。試験を受ける前の夏は、暑くて蒸し暑くなるので、みんなプリンストンを離れるんです。
しかし、私はオフィスにいました。オフィスといっても、Homer研究室の屋根裏にある大きなスペースでした。ただ座って物理学の勉強をするのは、本当につらいものでした。そこで私は、図書館には行かず、気晴らしに面白そうなことを調べていたのですが、「ホセ・ジオン・メイシー会議」と呼ばれる一連の会議の記録を見つけました。ノーバート・ウィーナー、ウォーレン・マカロック、マーガレット・ミード、ラルフ・ジラードなど、さまざまな分野の著名人が集まっていました。
次々に開催されるミーティングでは、非線形フィードバックシステムのアイデアをより深く掘り下げているようで、人の行動を理解するだけでなく、それを社会にどのように適用できるのかを考えていました。盗み聞きをして、人々が話していることを一字一句書き起こしているところを想像してみてください。
Stephen Wolfram 13:19
そういえば、テリー、これらの記録は最近再出版されましたね。何の記念日だったかはわかりませんが、70歳の誕生日だったのではないでしょうか？なぜなら、それらは1950年代、1950年代半ばのものだからです。
Terry Sejnowski 13:31
19年半ばですね。その通りです。そして、最終巻を読み終えた日のことを覚えていますが、これで終わりなら、これで終わり。それで、ああ、あれだ、これだ、この70年代の今だ、と言っていたんです。だから、20年もあるんだから、あれから何があったのか知りたかったんです。そうですか。それで、図書館に行っていくつかの論文を調べて、質問を立てたんです。非常に素朴な疑問です。
脳は決定論的なシステムなのでしょうか？デジタルコンピュータのようなものでしょうか？それとも、確率的なのでしょうか？つまり、信号は常に大きく変動しているということです。論文を見ても、誰もその質問に直接答えることはできません。
そこで私は、生物学の建物、ギルドホールに行ってみました。そして、文字通り、適当な研究室に入りました。そして、尋ねてみたのです。
Stephen Wolfram 14:43
脳が確率的ではなく、ランダムな研究室の選択には何もなかったので、何もできませんでした。
Terry Sejnowski 14:51
まあ、私たちの人生は確率的なものかもしれませんが、私は脳がどのように働くかを知りたいのです。そうでしょう？それで、最初に会った人に聞いてみたら、実は技術者だったんですよね。また、当時は知らなかったのですが、そこはミバエを研究しているハエの研究室だったのです。そして、そこが誰の研究室なのか、チップ・クインという人物まで知っていたのですが、彼はそこにはいませんでした。
私は技術者の話をしているのです。当時は知らなかったのですが、研究室の誰かだと思っていました。すると彼女は、「あのね、その質問の答えはわからないけど、どこに行けば見られるかは教えてあげる」と言ったんです。そして、ヒューベルとウィーゼルの論文があると言ったのです。ジャーナル・フィジオロジーに掲載されたものですね。案の定、行ってみると、6019 62は古典的な論文で、一次視覚野から初めて記録したものでした。
最初の論文ですから、生の記録があり、記録を見ただけでは明らかにデジタルコンピュータではありませんでした。
Stephen Wolfram 15:55
そうですね。しかし、その伝統という意味では、そうですね。フォン・ノイマンは信頼性のない部品について話し、信頼性のない部品から信頼性のある計算を得ることができるかもしれないと話していました。
しかし、サイバネティックスの人たちは、この問題は彼らにとって中心的な問題ではありませんでした。しかし、そうか、でも、イタチごっこになるのでしょうか？さて、あなたは今までに、脳細胞からの実際の録音などを延々と行ってきたはずです。
しかし、フーベルとヴィーゼルが単一細胞の記録を始めることを可能にした技術とは何だったのでしょうか？
Terry Sejnowski 16:30
ご存知のように、科学の進歩には、それまでできなかったことを記録するための新しいツールや技術がつきものですからね。興味深いことに、私はずっと後になってこのことを知りました。デイビッド・ヒューバーがマイクロ電極を発明したことで、単一の神経細胞からの記録が可能になったのです。
この時代は、一般的には針金を入れるだけの時代だったんですね。1000個のニューロンを同時に扱う場合はハッシュと呼ばれ、頭皮からの脳波は数百万個のニューロンを平均化したものでした。しかし、それでは必要な粒度が得られないのです。
そこで彼は、タングステンマイクロ電極を発明し、単一のニューロンから発生するスパイクを分離することができました。そして、トーステン・ヴィーゼルとともに、一次視覚野の個々の皮質ニューロンは、特定の刺激、特に視野の特定のパッチにあるバーやエッジに対して選択されるチューニングカーブを持ち、トポグラフィカルに組織化されていることを発見しました。これは、1000個のマイクロ電極を視覚野だけでなく、脳全体に打ち込むきっかけとなった記録だったと言ってもいいでしょう。
脳の実際の粒度は、個々のニューロンを計算していたことがわかり、とてもエキサイティングでした。聴覚野、筋肉を動かすための運動野など、それぞれの領域で刺激の特徴が異なるのです。つまり、20-30年ほどは黄金時代だったということです。
しかし、振り返ってみると、今では限界があることがわかります。私はこれを見ていたので、すべてのプロセスに参加していたことになります。ところで、あなたの脳には約1,000億個のニューロンがありましたが、これは天の川銀河にある星の数とほぼ同じです。
Stephen Wolfram 18:45
そうですね、ただの数ですね。数を知るという意味では、宇宙にある銀河の数でもあります。このように、私たちはとてもスケールの大きな存在なのです。
Terry Sejnowski 18:55
はい、そうです。スケールフリーです。よし、それでは行きましょう。ここで問題があります。一度に1つのニューロンから記録するのはどうでしょうか？まず第一に、すべてのニューロンから回復するには時間がかかるだろう？しかし、それよりももっと悪いことがあります。なぜなら、ここに例えがあるからです。誰かがあなたにイメージを与えたとします。
あなたには画像とは何かという概念がなかったとしましょう。しかし、1ピクセル、1画素の強度を記録できる機器があるでしょう？そしてこれを言うと、メガピクセルですよね？でも、100万画素ですから、一度に1つずつチャンスがあります。それで、分布をサンプリングして、統計を取り、そこに信号があるというアイデアを得ますが、実際にはよくわかりません。常に変化しているからです。
ですから、どこまで到達できるかはわかりませんが、神経細胞の時間を記録するという非常に粗雑な技術で進歩を遂げたという事実は、実際に賛辞を送りたいと思います。粗いアイデアではありますが、多くのニューロンを同時に記録するにはどんな課題があるのかを示してくれています。そして今、私たちはそこに到達しています……ご存知の通り、30-40年かかっています。
ところで、この図式、概念的な枠組みは、今ではすっかり変わってしまいました。
Stephen Wolfram 20:27
さて、話を少し戻して、視覚野の話をしましょう。少なくとも最初の数層は地形的にレイアウトされていることがわかっていますし、聴覚野や運動野などもそうです。つまり、脳の他のすべての領域と、そこで起こっていることをどれだけ理解できるかについては、後ほどお話しすることになると思います。
なぜなら、それはまた別の話だと思うからです。しかし、フーベルとヴィーゼル、ボンドフクロウの話に戻りますが、申し訳ありませんが、フーベルとヴィーゼルはいつ頃、マッカロク・ピッツ・ニューラルネットのことを考えていたのでしょうか。それとも、そんなことは知らなかったし、気にもしなかったのでしょうか？
Terry Sejnowski 21:07
ああ、面白いですね。それはとても興味深いですね。私は実際に彼の部署でポスドクをしたことはありません。彼とはいろいろな話をしましたが、その質問をしたことはありませんでした。しかし、その時代に大きな影響を与えた論文のひとつに、マカロック・ピッツのものがあります。「カエルの目がカエルの脳に伝えること」と呼ばれていましたね。
この論文では、身体や脳の仕事は、感覚の流れから特徴を拾い上げ、それを表現することであるという特徴の概念が紹介されました。ハエの網膜の場合、動いている小さな黒い斑点に反応するのは、上流にある赤い細胞でした。
これは、火事を捕まえるのに適しているわけですね。それが当時の時代の流れだったわけです。だから、ヒューペルはおそらくその影響を受けたのだと思う。そして、それを次のレベルに持っていこうとしました。つまり、視覚野が表す特徴とは何か？そして、それは素晴らしい仕事でした。
Stephen Wolfram 22:13
そうですね。そこで気になるのが、実はWheelerの話に戻ってしまうことです。私たちがよく話していたことの一つに、宇宙のフィードバックループの重要な部分としての観測者のことなどがありますが、脳を物理学に持ち込むという意味で、とても脳に近いものでした。そのことについて、彼と話したことはありますか？そうですね。
Terry Sejnowski 22:34
彼は非常に情熱的な人でした。彼は非常に情熱的で、すべてが彼の中で結びついていました。彼は、このような電話が、素粒子のレベルよりもはるかに低いところで起こっていると考えていたのです。これは、彼が実験をはるかに超えたことを意味しています。
しかし、一度だけ覚えているのは、講義だったかどうかわからないけど、彼がYesの講義をしている最中に、少しだけ講義をしていたんです。そして、彼は大きなyou the letter you write thisの絵を描いた。そして、「あなた」の昇順の線の一つの視界の外に、小さなポケットが出ていたんですね。そして彼は言った、「その小さなポケットが君だ」と。それは宇宙の残りの部分を見ているあなたの網膜なのですね？そうです。
彼の天才的な能力の1つは、抽象的なアイデアを誰にでも理解できるように非常に具体的な形で表現できることでした。そうすれば、すぐに「ああ、わかりました、何が起こっているのかわかった」と言うことができるでしょう。
Stephen Wolfram 24:04
ただし、その特定のアイデアのセットは、ごく最近になるまで、実際には仕事にならなかったものでした。
Terry Sejnowski 24:22
当時はウィラーではありませんでしましたが、彼の研究の一部はおかしなことだと思われていました。まあ、それは強く言い過ぎでしょう。彼らは非常に高く評価されていて、賞をもらったりしていたので、誰もそれをどう考えていいのかわからなかったのです。
しかし、しかし、彼は本当に思い切ったことをしたのです。彼は、「これがどのように機能するかを本当に言いたい」と考えました。そこで彼は、一般相対性理論を深く掘り下げ、時空間の構造を深く掘り下げていったのです。ところで、私が学部生だった頃、彼が書いた『時空物理学』という本を読んで、最も大きな影響を受けました。これは主に特殊相対性理論について書かれたものですが、彼が空間と時間がどのように入れ替わるかを図解しているのが印象的でした。そうですね、あなたが取り組んでいることがあれば教えてください。その
Stephen Wolfram 25:21
この本で私を夢中にさせたのは、ポールを持った人間が光速のかなりの割合で結合を走り抜けることでした。人が実際にどのような理想化をしているのか、そのような種類の大規模なものや用語について考えているのか、私には理解できませんでした。
これは、私たちが現在取り組んでいる物理学のプロジェクトと非常によく似ています。ただ一つ残念だったのは、私たちが幾何学的力学についての本を書いたことを知っていたのに、それを見たことがなかったことです。ビジネスオーナー向けの「重力の輪」の本の中でも言及されていますが、その本は見たことがありません。わかりました。
Terry Sejnowski 26:06
読んだ記憶があるので、その本を持っているかもしれません。
Stephen Wolfram 26:09
なるほど、その本を手に入れました。見たことがないのは、その本がニュートリノにグラビトンを仮定しているからではないでしょうか。
Terry Sejnowski 26:20
そうですね、人は間違いを犯すものですからね。
Stephen Wolfram 26:23
そうですね。そうでなければ、素晴らしい本ですよね。
Terry Sejnowski 26:28
重力子は、ご存知のように、スピンして書く機械は、スピンしてお金にならないからです。本に書かれていたのは、ワームホールのようなものでしたよね？そうです。ところで、重力波についての話を終わらせないといけないんですが。30年はかかるだろうと思っていたので、本当にがっかりしました。だからこそ、脳や生物学で何が起こっているのかをもっと調べようと思ったのです。
しかし、その過程で、自分がやったことを発表すべきだと考え、70年代の『Physics Today』誌に記事を掲載しました。そして、同じウィーラー派のキップ・ソーンに電話をかけたんです。そうですか。そして私はこう言ったんです、「Kipはこれをどう思う？これはジョー・ウェーバーのものだよね？うまくいかなさそうだな。君はどう思う？彼はこう言いました。
「テリー、今から8年後、最も近い銀河団であるおとめ座銀河団の超新星から来る重力波を初めて発見する時を楽しみにしているよ」と。そして私は、「その引用文が私の論文に載るように電話してもいいですか？そうですね。つまり、私はそれを受け取って、「これはあなたですか？これがあなたの、つまりあなたの予測ですよ。
Stephen Wolfram 28:02
つまり、間違っているのは半分の桁か、5分の1か何かだけなのです。そして
Terry Sejnowski 28:07
で、これでは寂しいですよね。それで、2015年だったか16年だったか忘れましたが、発表がありました。それで、彼にお祝いのメールを送ったんです。そして、あなたはこのことを覚えていないかもしれませんが、あなたはこう言っていますよと、この引用文を送りました。
すると彼はすぐに返事をくれましたが、不思議なことに、おそらく何千何万というメールが殺到していたのでしょう。なぜか私のことを覚えていたのです。私は「テリー、おとめ座銀河団については間違っていたよ。でもね、宇宙のタイムスケールでは、8年と3年の違いは何なのでしょうか？
Unknown Speaker 28:46
それはいいですね。
Terry Sejnowski 28:51
いずれにしても、私は物理学の頂点に立ったわけですが、残された問題は非常に難しく、私が生きている間には、新しい装置がなければ攻略できないだろうと考えました。一般相対性理論で利用可能だったものを見渡しても、かなり情けないものでした。
Stephen Wolfram 29:11
そうですね。だから、皮肉なことに、この後の話で、深層学習のビジネスでは、何が起こるかはっきりしない30年のスパンがあったということになります。
Terry Sejnowski 29:21
でも、大丈夫ですよ。わかりました、まあ、ここでは先走っているんです。ええ、そうですね。
Stephen Wolfram 29:25
でも、それでいいよ。フーベルとヴィーゼルの話に戻りますが、ラトビア語を介したマッカロクとピットの影響とか、そういう話になりますね。しかし、あなたはブラックホールや重力放射、重力波を研究していましたよね。その後、いつの間にか正式な神経科学の分野に転向したのですか？
Terry Sejnowski 29:50
それは、海洋生物学研究所の夏期講習を受講するという運命的な決断でした。生物学者にとってはメッカのようなもので、世界中のさまざまな場所から人が集まり、数週間、場合によっては数ヶ月間の夏期講習を受けて、生物学の分野や部分を紹介していました。また、研究室を立ち上げて、夏の間ずっと働いている人もいました。
例えば、神経科学の分野で最も有名な生物の1つであるイカですが、イカの巨大な軸索は、ホジキン・ハクスリーという重要なチームが使用しました。彼らは活動電位の伝搬のメカニズムを発見した人たちです。そして、以下のようになりました。
Stephen Wolfram 30:48
は、イカの巨大な軸索に到達するのに、マイクロ電極を必要としなかったのです。
Terry Sejnowski 30:52
ああ、彼らがやったことは、実に興味深いものでした。脳内のほとんどの神経細胞は1ミクロン程度ですが、イカの軸索はそれほど大きく、逃避反応のために非常に高速なゲートを持っているのです。そして、ミエリンを持っていない、つまりシースの断熱材を持っていないのです。そのため、基本的には直径が大きいほど、実際の電位が筋肉に到達するのが早くなります。そして筋肉に入り、黒いインクを吹き出して、実際にジェット推進であるIXexeを起動し、水を吹き出します。
いずれにしても、イカの実験をしに来た人たちは、そこにあった研究室の1つでした。でもAKsでは、神経生物学のコースを取りました。11週間のコースでしましたが、人生の中で最も激しい時期でした。毎日、何か新しいことが起きていて、とても刺激的でした。
私は初めてニューロンを記録しました。研究室では、活動電位が実際にニューロンではなく筋肉であることがわかりましたが、ニューロンよりもはるかに大きな活動電位も持っていました。電子顕微鏡を使ったプロジェクトでは、凍結骨折を撮影しました。 スケートの電気受容体の画像ですが、電気受容体は、例えばサメなどに見られ、非常に微弱な電気信号を検出することができます。その感度の高さを示すために、1.5ボルトの電池で大西洋を横断するのと同じです。
私はこの中に何が入っているのか見てみたいと思いました。それまで誰もやったことがなかったので、最終的には出版されました。しかし、素晴らしいことに、このコースは、基本的には自分で実際に手を動かし、講師はすべてハーバード・メディカル・スクールの人たちでした。
Stephen Wolfram 33:01
ところで、あなたはサメの電子受容体などについて話していましたが、あなたが視覚や画像について話していたことは、1ピクセルずつ見て、画像について考えるための全体的な枠組みを見つけようとしていたことです。電子受容体のようなものについては、サメが何が起こっているかを判断するための全体的な枠組みはどうなっているのでしょうか？
Terry Sejnowski 33:22
そうなんですか？それはいい質問ですね。サメは、磁場を使ったV字型のクロスBによって、自分がどこに向かっているのかを把握することができます。つまり、私たちが視覚を持つように、サメも自分の周りの磁場を感じ、それによってナビゲーションができるのです。
Stephen Wolfram 33:51
しかし、例えば、電極受容体には、特徴を検出するものがあるはずなのです。私たちがエッジなどを認識しているように、電極空間では何を認識しているのでしょうか？
Terry Sejnowski 34:01
私が初めてサンディエゴに来たとき、この道の先にあるスクリップス海洋研究所にいたウォルター・ハイリゲン・バーグがまさにそれをやっていて、脳のさまざまな段階から記録していました。これは電気魚で、サメではありませんが、電気魚です。
彼らにも講義用の受容体があります。そして、彼は妨害回避反応というものを研究していたことがわかりました。つまり、自分の電気受容体が自分の電気受容体によってオーバーロードされるのをどうやって防ぐかということです。つまり、受動的なだけではなく、彼らは積極的に電界を作り出し、それを利用して、例えば、餌を探したり、同胞やコミュニケーションを取ったりすることができるのです。非常に洗練されています。つまり、電気魚がこれらすべてのことを計算できる信号を発見したということです。
Stephen Wolfram 35:02
さて、話は戻って、ここではまだメンフクロウの話をしていますが、あなたは実際にコールド・スプリング・ハーバーの話をしていたわけですが、海洋生物学研究所は違うと言っていました。別の半島にあるのですから。
Terry Sejnowski 35:23
MBLには、彼が所属していたHoelscher graphic研究所があり、ここは主要な研究機関のひとつです。
Stephen Wolfram 35:35
ここでは実際の水球のグラフィックを送っています。ああ、そうですね。では、実際に研究したり、実際に神経生物学的な実験をしたりする機会があったのでしょうか？そこでは理論的なコースもあったのですか？マッカロク・ピッツ・ニューラルネットやパーセプトロンなどについての知識を得ることができました。
Terry Sejnowski 35:58
では、この話の背景を説明しましょう。私は理論物理学の世界から飛び出し、研究室に足を踏み入れたのですから。当時、このようなことをしている人はいなかったと思います。ニューラルモデリングを行っていたのは、世界でも数人の孤立した人たちでしましたが、それは非常にフォーマルな数学的作業でした。内容はほとんどなく、生物学との接点もほとんどなく、現実的ではない単純な分析モデルばかりでした。
しかし、毎年開催されるSociety for Neuroscience（神経科学学会）では、最大のミーティング、つまり全国ミーティングが開催されます。3万人もの人が集まります。イオンチャネルから精神医学まで、さまざまなレベルで脳のさまざまな側面を研究している人たちを目の当たりにするのは、とても貴重な体験でした。
つまり、私はコンピュータ関連のポスターを探しに行ったんですよ。文字通り1マイル（約1.6km）の長さのポスターが何千何万とあります。1つか2つ？これは非常に経験的な分野であり、いくつかの孤立した論文を除いては、ほとんど意味も伝統もありませんでした。
しかし、『COVID Pitts』は非常に、いや、私が実際に書いたのですが、それは芸術でした。私が書評を書いたのはマカロックの伝記でしましたが、私はこのことについて考えていました。私たちが彼らに残したのは、ネットワークの発展という点で、彼らは時代の最先端を行っていたということです。
例えば、不変性に関する非常に洗練されたネットワークモデルを持っていました。畳み込みニューラルネットワークよりもずっと前に、彼らはそれを理解していたのです。そして、彼らは
Stephen Wolfram 38:07
パーセプトロンは、マカロッホ・ピッツ・ネットワークを数学的に単純化したもので、1950年代や1960年代には、光学式文字認識などのために実用的な単純なニューラルネットを作っていました。しかし、これは工学的な伝統であり、生物学とは別のものだと思います。
Terry Sejnowski 38:28
そうでしたね、それに時代を先取りしていたと思います。しかし、BDSのおかげで、私は異国の地に足を踏み入れ、外国語の語彙を学ばなければならないという現実に直面しました。
実際には、言葉だけではなく、概念的な枠組みも必要でした。なるほど。では、例を挙げてみましょう。どんな違いがあるのかを感じてもらうために。物理学者は、SLACで電子の実験をするときにはどうしますか？そうですね。ロシアのどこかで誰かが研究している電子と同じですよね？つまり、どれも同じなのです。
Stephen Wolfram 39:16
そう考えています。
Terry Sejnowski 39:18
実際には、同じ電子かもしれませんね。
Stephen Wolfram 39:26
これはファインマン・ウィーラーのアイデアだったと思います。あれはうまくいかなかったと思います。しかし、私は
Terry Sejnowski 39:30
ここでは冗談を言っているだけです。しかし、私が言いたいのは、実験を簡単に再現できるほどの類似性があり、生物学の場合はそうではないということです。生物学の場合はそうではありません。一人一人が違うのですから。ゲノムの多様性という考え方もありますが、すべての細胞は異なります。
同じオレゴン州の隣り合った細胞であっても、それらは異なっており、異なった方法で制御されています。つまり、不均一性から一般的な原理を導き出すことは非常に難しいのです。だから、違う方法で考えなければなりません。
ところで、レオは偉大な、もう一人の偉大な物理学者ですが、人生の最後に生物学の道に進むことにしました。彼は、それによって自分のライフスタイル全体が変わったと言っていました。それはなぜですか？彼がそう言ったのですか？
私が物理学の問題に取り組んでいるときによくしていたことは、熱いお風呂に入って、ただ浸かることでした。物理学の第一原理からアイデアを考えている間に。生物学に転向したら、数分おきにお風呂に行って事実を調べなければならないだろう、と。
Stephen Wolfram 40:45
それは面白いですね。
Terry Sejnowski 40:47
なぜなら、生物学の多くは歴史だからです。原理的なことだけでなく、歴史的な事故や、異なる時代に異なる状況で異なる種が生まれたこともあります。例えば、生物学全体を大きく変えた大発見であるDNAのように、規則性のあるものもあります。
しかし、ご存じのように、次の2つの間には激しい争いがありました。
Stephen Wolfram 41:09
脳はどこまでが一般的で何をするものなのか、どこまでが重要なのか、個々の神経細胞の詳細はどうなっているのか、などについてもっと話し合うべきでしょう。しかし、あなたの話に戻りますが、計算神経科学者がいないことがわかったのですか？基本的にはそうですね。
Terry Sejnowski 41:29
そうですね。それで、もし自分がこの仕事を長く続けられるなら、それはそれでいいかなと思ったんです。私は生物学者のように考えることができるようになりたいと思いました。しかし、私は信じられないほど幸運でした。
私のキャリアは、次から次へと幸運に恵まれてきました。コースが終わった後、さらに2週間ほどウッズホールに残って、このゲームの講義用レセプターの電子顕微鏡写真を撮っていたんですが、これまで誰もやったことがなかったんですね。
これまで誰もやったことがなかったからです。だから、ちゃんと出版して、きれいな図をたくさん手に入れようと思いました。私は生物学棟の地下にいて、電子顕微鏡室にいました。すると、外で電話が鳴っているのが聞こえました。周りには誰もいありません。で、外に出て、電話に出て、「こんにちは」と言うと、相手は「こんにちは。テリー・シノフスキーさんですか？そうです。私の名前はスティーブン・コトラーです」と言ったんです。そうです。
彼は60年代にハーバード大学で神経生物学の学部を設立しました。彼は60年代にハーバード大学で神経生物学の学部を設立しました。私は君にとても感銘を受けたし、ポスドクを募集しています。私と一緒に働いてみないか？現代神経生物学の父が、私に電話をかけてきたのですね。
オーケー、ハイ。いいですね。そうそう、帰国したら、自分のことを整理しなければなりませんでした。翌年、私は彼のもとで働きました。神経科学の入門書を手に入れただけでなく、最高レベルでは、フーベルやヴィーゼルが実験をしていた部署で、彼らはスティーブの元ポスドクでしたから。そして、あの、あの、あの。
Stephen Wolfram 43:49
彼の神経科学への大きな貢献とは何だったのでしょうか？彼の大きな貢献は何だったのでしょうか？
Terry Sejnowski 43:53
たくさんありますよ。彼は、重要な質問に答えるための適切な準備、つまり実験、種、測定を実際に思いつく天才でした。例えば、シナプスはどのように機能するのか、シナプスにはどのような種類があるのか、などです。例えば、彼がした典型的なことは、「これらは、グリア細胞であり、アストロサイトのこれらは、ニューロンを包み込み、ニューロン間の接着剤を提供する細胞ですが、他にも多くの機能を持っており、それらを探ってみよう」というものでした。
そこで彼は、ヒルがこの巨大なグリア細胞を持っていることを発見しました。そこで彼は、ポスドクの一人であるジョン・ニコルズと一緒に入って、いくつかの簡単な質問に答えました。そして、SLCは「このジョンを連れて行って、調べてみたらどうだ」と言ったのです。
彼はそれでキャリアを積んだ。何度も何度も繰り返して、ザリガニを釣ったり、受容体を伸ばしたりしていました。つまり、何度も何度も繰り返していたのです。彼が最初に就職したのは、ジョンズ・ホプキンス大学の眼科であるウィルマー眼科研究所でした。
ちなみに、私は最初の仕事をジョンズ・ホプキンスで得ました。彼はジョンズ・ホプキンスの伝説的存在です。彼はシナプスの生理学者なんです。彼は、自分が視覚系の研究をしていないことに罪悪感を感じていました。
そこで彼は、何が行われているのかを調べたのです。そして、網膜の単一の神経節細胞から脳に投影される信号を、起きている動物、つまり生きている動物で、in vivoで記録した人はいないことに気づいたのです。そこで彼は、電極システムを考案しました。電極を網膜のこの部分に挿入し、マセオ神経節細胞を記録します。
当時は最先端の技術でしましたが、1つの神経細胞に小さな光を当てながら、その反応特性を調べ、円対称であること、光が当たると興奮反応が得られる小さな領域があり、その周りには実際に反応が減少する抑制領域があることを示しました。そして、光が消えるとオフの反応となり、スパイクのバーストが発生します。
これは、すべての脊椎動物に共通していることがわかったので、現在ではすべての教科書に載っています。これは、彼が授業を受けただけで、次のステップに進んだということですね。ところで、彼は自分のポスドクに、ホプキンス大学でイタチごっこをしているようなものですが、「いいか、これを追いかけて、どこに利得があるのかを見つけてくれ」と言ったのです。1980年、私はホプキンス大学に在籍していましたが、ノーベル賞が発表されたのは1980年から81年にかけてのことでした。So So I’m
Stephen Wolfram 46:53
ちょっとした好奇心からなのですが、ヒルには大きなグリア細胞があり、イカには巨大な軸索があるとおっしゃいましたが、誰かがどこかに在庫を持っているのでしょうか？そうでしょうか？映画のロケハンのようなものでしょうか。映画のロケハンのように、何かを持っている生物を見つけたいと言いますよね。
Terry Sejnowski 47:10
いやいやいや、大丈夫ですよ。あなたが行くことができる本はありません。しかし、生物学者には膨大な文献があります。
彼らは切手収集家のように、外に出てそこに何があるのかを調べるのが好きなんです。そして、これは重要なことですが、始めるためにはそうしなければなりません。典型的な例として、シドニー・ブレナーの話をしましょう。
Stephen Wolfram 47:38
mRNAの発見は有名な話ですね。
Terry Sejnowski 47:41
これは、彼がLMBにいたとき、分子生物学のブッチャーだったとき、つまり、DNAが発見された黄金期とケンブリッジ、そしてRNAなどが発見されたときに、これこそが原理ではなく、ドグマと呼ばれていた、DNA RNAタンパク質であるということです。
このような時期に、次のステップとして何をするかということです。当時、有名な人たちは皆、新しいプロジェクトを探していました。そこでシドニーは、神経細胞の数が少ない小動物を使おうと考え、膨大な種類の動物を調べ、非常に曖昧な文献を調べた結果、線虫にたどり着きました。線虫は丸い虫で、神経細胞の数は300個です。
しかし、精神的には生き延びることができ、運動能力もあり、あらゆる種類の興味深い行動をします。このようにして、ひとつの分野が生まれました。今では、何百人もの人々が線虫を研究しています。なぜかというと、線虫は神経細胞が分裂するとき、神経芽細胞が分裂するときに、それぞれの神経細胞の全系統を得ることができたからです。
Stephen Wolfram 49:18
機能 すべての細胞が一緒になって機能しています。
Terry Sejnowski 49:21
しかし、彼は特に脳に興味があると言っていました。そして、彼は本当に驚くべきことをしました。彼は、電子顕微鏡と協力して、1ミリほどの長さのSearly断面を作成したのです。そして、すべてのニューロンを追跡し、すべてのニューロンに名前を付けたのです。
これが最初のコネクトームで、今では大きな話題になっています。今ではマウスの脳でも同じことをやろうとしています。
Stephen Wolfram 49:46
線虫以外で実際に行われたことはありますか？
Terry Sejnowski 49:49
はい、わかりました。最近、他の2つの種に対して行われました。1つは、約10万個のニューロンを持つハエの脳で、もう1つはゼブラフィッシュです。
Stephen Wolfram 50:02
線虫のようなハエの脳ですが、再現性はありますか？線虫のようなハエの脳は、再現性がありますか？
Terry Sejnowski 50:07
線虫の場合でも、シナプスレベルでのばらつきがあるので、そうではないことがわかりました。ニューロンは多かれ少なかれ固定されていますが、それらがどのように接続されているかはまだ変化しています。同じことがハエの脳にも当てはまると思いますが、これまでに1つや2つ以上のことはやっていないようです。だから、難しいのです。と言うには早すぎますが、しかし、驚くほどのステレオタイプがあります。
Stephen Wolfram 50:42
私たち人間の脳は、そのようなものではないということがよくわかりました。
Terry Sejnowski 50:46
私たちが知っている唯一のことは、ニューロンの数です。 どうなるかというと、発生の過程で、分裂を続ける前駆細胞を手に入れます。大脳皮質のようにどんどん新しいものを作っていき、やがて止まります。どの時点で停止するかは、転写因子によって制御されています。そしてそれは種によって異なります。
実際には、個体ごとに異なるのですが、それが重要なのです。そして、より多くの皮質を作ることで、より多くの能力を持つことができるのです。これが違いであり、数の多さなのです。ところで、大脳皮質には、すべての皮質領域に同じニューロンが存在します。
しかし、それらは全く同じように配線されているわけではありません。イオンチャンネルやニューロンなどに微妙な違いがあるのです。しかし、それにもかかわらず、多くの類似性があります。つまり、あるテーマのバリエーションです。
しかし、生物学における大きな驚きの一つは、脳の構築方法に関する遺伝子の青写真が明らかになったことで、無脊椎動物の脳と脊椎動物の脳には驚くほどの類似性があることがわかりました。ハエでもヒトでも同じです。さらに、ハエで発達する神経細胞の多くは、脊椎動物でも、オンオフされる遺伝子や特殊化の仕方などの点で、似たような背景を持っています。つまり、非常に多くの類似性があると同時に、非常に多くの洗練されたものがあるのです。全く同じイオンチャネルが何度も複製され、脳の異なる部分の異なるニューロンに特化されていくのです。
Stephen Wolfram 52:56
興味深いですね。さて、話を戻しましょう。今、あなたはハーバード大学の神経生物学グループにいて、実験をしていますね。その頃、計算機を使った実験をしていましたか？
Terry Sejnowski 53:12
毎日、実験をしていました。実際、私はコンピュータには触れないという貞操の誓いを立てました。
Stephen Wolfram 53:23
女性にとっては、これは1979年頃の話でしょうか。
Terry Sejnowski 53:26
7980 81 わかりました。
Stephen Wolfram 53:29
コンピュータをハグすることができるようになった頃の話ですね。
Terry Sejnowski 53:33
はい。研究室のコンピュータが十分に安くなっていました。それで、彼らが学部に入ってきたんです。私は彼らのためにプログラマーになるつもりはないんだ、と言いました。私は彼らのコンピュータをプログラミングするために来たのではなく、彼らから学ぶために来たんです。つまり、彼らが知っていること、やっていることを、私もやってみたいのです。だから私はとても幸運でした。スティーブ・カプラーは実直な人でした。
実際、私たちはウシガエルの交感神経節というものを研究しましたが、これは自律神経系の一部であり、ウシガエルが末梢で分泌物を分泌するのに重要な役割を果たしています。そして、私たちの、私たちのシステムでは、合成システムは、一方ではリラックスに関係する機能を調整するために重要であり、他方では、覚醒して気合を入れるために重要なのです。
私は、脳の外にある脊髄と神経節細胞の間の特定のシナプス通信システムを研究しました。これは
Stephen Wolfram 54:53
あなたはウシガエルの話をしましたが、ウシガエルを発見したのはいつなのかという質問には最後まで答えられませんでしたね。さて、彼らは博物学の本などを調べて、「誰か丸い神経細胞を持つ生物を持っていないか？誰か丸い神経細胞を持っている生物はいないか、探しに行ってみましょう。
Terry Sejnowski 55:12
ああ、あの時スティーブに聞いておけばよかったですね。それは素晴らしい質問ですね。本当にいい質問ですね。どのようにして出会ったのですか？一般的にどうなるかというと、私も議論したことがあるので言えるのですが、世の中にはカタログのような人がいて、彼らは頭の中にすべての蝶々を知っていて、すべての回虫を知っていて、何かに興味があれば行って話をする、ということです。
そうすれば、特定の専門分野や特定の種類の種などについて知っていることを教えてくれるでしょう。私が思うに、そういったことが起こるのは、口コミによるものだと思います。そうでなければ、図書館に座らなければならないなんて、絶望的ですよね。
Stephen Wolfram 55:58
生物と一緒に。あなたのお気に入りの生物を教えてください。
Terry Sejnowski 56:03
ああ、そうですか。
Stephen Wolfram 56:05
人間が働いていることを忘れてしまう。
Terry Sejnowski 56:09
それは、質問の内容によります。生物学の素晴らしさは、先ほど申し上げたように、信じられないような行動の多様性にあります。例えば、メンフクロウは人間よりもはるかに音の定位に特化した素晴らしい生物です。暗闇でネズミを狩るのにもそれを利用しています。エコロケーションを使えば、ガサガサという音を聞くことができます。ですから、私が今までで一番聴力のある動物は何かと聞かれれば、今はバイヤーだと思います。
しかし、私が研究した特定のシナプスについて言うならば、私はこの研究に数年を費やしました。私たちの脳内のほとんどのシナプスは、ミリ秒単位のタイムスケールで、非常に高速です。生物学の基準では当然ですが、コンピュータの基準では、これは本当に、遅いですよね？ナノ秒とミリ秒では、100万倍の差がありますからね。
しかし、私が研究したこのシナプスは、タイムスケールが分単位で測定されていました。つまり、細胞の中にある神経電極を刺激し、電圧クランプ実験を行うと、10秒ほどかかりますが、ゆっくりと膜電位が上昇し始めるのがわかります。その時点で、あなたはコーヒーを飲みに出かけます。1分後に戻ってくると、ちょうどピークに達しています。ちょっと遅いな。その後、ベースラインに戻るまで10分ほど待たなければなりません。
私がこれまでに経験したアセチルコリン、ノルエピネフリン、セロトニンなどの小さな分子の神経伝達物質とは異なり、これらはすべて生物由来のアミンでした。これはLHRHというペプチドで、DECAペプチドと呼ばれる10アミノ酸のものです。このペプチドは、脳の視床下部にも存在します。このペプチドは黄体形成ホルモン、つまり生殖ホルモンを分泌します。この生殖ホルモンは、ウシガエルの交感神経節にあり、数分というタイムスケールでこのニューロンの活動を制御しています。
Stephen Wolfram 58:45
ある種の冷静な動物です。そうなんです。
Terry Sejnowski 58:50
どの種も異なるニッチを持っています。しかし、今は驚くべきことに、脳内には何百ものペプチドが存在することがわかっています。そして、そのうちのいくつかのペプチドの機能しかわかっていません。そして、おそらく、それらのペプチドには、非常に多くの受容体、G、Gタンパク質共役受容体が存在します。
このようなミリ秒単位のものに比べて、神経細胞内のセカンドメッセンジャーと呼ばれるものが関与しているので、遅いのです。
Stephen Wolfram 59:23
つまり、自律神経系と関係があるのでしょうか？感情的な反応に関係するものでしょうか？それとも、何と関係があるのでしょうか？
Terry Sejnowski氏 59:34
推測するのは難しいですね。まず、非常に多くの機能があると思いますが、私の推測では、ホメオスタシス（恒常性維持）のバランスに関係しているのではないかと思います。つまり、脳は火遊びをしているわけです。つまり、ポジティブ・フィードバック・ループやエンジニアリングは忌み嫌われているのです。工学的には忌避すべきものです。だから、負のフィードバック、それがコントロールをする方法なのです。
しかし、正のフィードバックがあれば、物事はより迅速に進むことがわかりました。そして、もっともっと洗練されたタイプの変換を計算することができます。錐体細胞の間には、興奮性、正のフィードバック、そして、深みにはまらないようにバランスを保つために、抑制性細胞があり、明らかにループになっています。抑制性細胞があり、明らかにループの中にあります。
しかし、全体がしっかりと存在していなければならず、様々な抑制性細胞があり、それらはすべて異なる方法で制御されなければなりません。推測するに、多くのてんかんを起こさずにバランスを維持するためには、非常に高度なシステムが必要であり、数秒から数分のタイムスケールでバランスを維持する必要があると思います。
Stephen Wolfram 1:01:00
しかし、てんかんの特徴の一つは、多数のニューロンにまたがるグローバルな効果をもたらすことです。つまり、何かが多くのニューロンに影響を及ぼすのを防ぐために、局所的に物事を制御しなければならないという考えなのでしょうか？
Terry Sejnowski 1:01:15
私はてんかんの研究をしていて、てんかんのモデルや、人間のてんかんを研究している人たちと共同研究をしています。掘り下げていくと、まず最初に発見するのは、てんかんにはたくさんの異なる種類があるということです。
これまでお話してきたのと同じ、壊れたレコードのようなものです。局所的なてんかんと全般的なてんかんがあり、あなたがおっしゃっているのは全般的なてんかんです。ある程度までは、特定のイオンチャネルをブロックする薬を使えば可能ですが、その薬自体が問題や副作用を引き起こすことがあります。
私はマス・ジェネラル大学のグループと共同で、グリッド状の電極を設置し、数週間にわたって記録を取り、発作の焦点、どこから始まり、そこから広がっていくのかを調べています。これらの患者は、薬が効かない難治性の患者です。
彼らにとっての唯一の希望は、この発作の焦点を見つけて、外科手術でそれを取り除くことです。それまでの間、私は2620 474週分の記録にアクセスすることができます。最初に興味を持ったのは、私が睡眠や睡眠状態、人間に興味があったからで、そこで「睡眠紡錘」というものについて重要な発見をしました。
しかし、その後、私たちはてんかんの発作に悩まされるようになりました。そこで私たちは、てんかんの研究を始めようと考えました。そして、最新の論文では、発作が起こる数時間前に起こる状態の変化を検出する方法を発見しました。つまり、いつ発作が起こるかを予測することができるのです。
Stephen Wolfram 1:03:16
といった具合です。さて、どのくらいの数のニューロンから記録しているのでしょうか？
Terry Sejnowski 1:03:20
ああ、このビットは本当に粗いです。センチメートル単位の大きさです。しかし、これは大脳皮質の表面です。そのため、非常に高い空間分解能を持っているのです。
Stephen Wolfram 1:03:32
ピクセル？にはどれくらいのピクセルがあるのでしょうか？
Terry Sejnowski 1:03:35
2,100ピクセルくらいでしょうか。
Stephen Wolfram 1:03:39
もっと簡単なのは、典型的なニューロンの数を感知することです。
Terry Sejnowski 1:03:42
それぞれのニューロンは、おそらく10万個以上のニューロンの平均値を記録していると思います。非常に粗雑な方法ですが、このようにしています。しかし
Stephen Wolfram 1:03:54
脳波よりは一歩進んでいますが、単一細胞の記録ではありません。
Terry Sejnowski 1:03:58
その通りですね。その通りです。今では、脳の大部分の単一細胞を記録できる全く新しい技術があります。VSI技術を用いたニューロピクセルでは、1000個のニューロンを記録できます。VSI技術では、1000個のニューロンを記録することができます。
今では、10個から5万個のニューロンを、脳の数十個の部分を同時に記録することができます。このように、技術は非常に速く進歩しています。
Stephen Wolfram 1:04:25
さて、話を戻しますが、眠っている紡錘体とは何なのかを見逃したくありません。
Terry Sejnowski 1:04:30
眠りにつくと、脳はさまざまな睡眠の段階を経ます。深い徐波睡眠と呼ばれる回復性の睡眠が交互に繰り返され、眠りについた直後にその状態に入ります。その状態が1時間ほど続きます。その後、夢を見るようになりますが、これは急速眼球運動（REM）と呼ばれるもので、夜になるとREM睡眠の時間が長くなり、徐波睡眠の時間は短くなります。
しかし、この2つの睡眠の間に、脳は約半分の時間を中間レベルの睡眠に費やしていることがわかりました。この中間レベルの睡眠は非常に神秘的で、あまり研究されていませんでした。
睡眠紡錘体が発生する第2段階は、非常に同期性の高い状態で、大脳皮質とそれに投射する視床と呼ばれる領域の両方で、多くのニューロンが同時にバースト的にスパイクしている状態です。そして、このようなフィードバック接続があります。つまり、これらは同期しているのです。10～14ヘルツのバーストが約2秒間続きます。
そこで考えられたのが、ミシェル・ステリオドとの共同研究です。彼は大脳皮質の単一ニューロンからスプリットスピンドルの間を記録しています。文字通り、私たちは多くの論文を一緒に発表しました。そして、ほんの一握りのニューロンからの記録から、彼は細胞内で同時に3つの記録を取ることができ、大脳皮質全体、つまり皮質全体の紡錘体が同時に同期していると言いました。
私はそれが本当だと思っていました。今回、文字通り1つの半球を覆うような電極アレイを使って、私たちが示したのは、完全に同期しているのではなく、むしろ進行波があるということです。それは円形の進行波で、1サイクルに1回、文字通り1サイクルあたり約100ミリ秒の速さで回っています。
これが不思議なんです。なぜそんなことをしているのでしょうか？私たちは挑戦しました。なぜなら、彼らはてんかん患者だからです。大脳皮質に何か問題があるのかもしれません。しかし、私たちは赤ちゃんの声を聞いてみました。赤ちゃんは1日の半分は寝ています。彼らは美しい紡錘体、巨大な紡錘体を持っていて、それらはすべて移動しています。
Stephen Wolfram 1:06:54
つまり、脳を掃除するブラシのようなもので、100ミリ秒ごとに巡回しているのですね。
Terry Sejnowski 1:06:59
睡眠紡錘体は記憶を定着させるのに重要であることが、行動学的にも示唆されています。つまり、日中の経験は海馬に結びついています。そして夜になると、海馬はその経験を再生し、紡錘体を作動させます。紡錘体はパンをこねるようなもので、その経験を長期的な意味記憶に入れると考えられています。
Stephen Wolfram 1:07:24
スピンドルという言葉は何ですか？スピンドルという言葉は何を意味しているのでしょうか？つまり、物理的な物体だとなんとなく想像していましたが、それは何ですか？
Terry Sejnowski 1:07:30
調べてみると、人が糸を紡いで服を作っていた時代にさかのぼるようですね まあ、そうですね。
Stephen Wolfram 1:07:39
そういう紡績品の話は聞いたことがあります。しかし、私は
Terry Sejnowski 1:07:42
そうですね。その人が繰り返しているものがあって、それが紡錘体のように見えて、そこから記録すると、そこがあって、それがあって、それが一番遠くて混乱しているように見える、という考え方なんですが、それで
Stephen Wolfram 1:07:59
it’s a it’s an action, it’s not a thing. It’s a it’s a process. そうですね。
Terry Sejnowski 1:08:05
それは動的なプロセスの過程です。実際、私はこのことについて一冊の本を書きました。ケンブリッジやオックスフォードのアプリを使って、600ページにも及ぶ単行本を書きました。生物物理学的なメカニズムもわかっていますし、イオンチャネルや伝導性の詳細なモデルも再現できます。
この袖、紡錘体は、最もよく研究されている脳内振動です。多くの脳内振動がありますが、最もよく研究されているのは、分子メカニズムとその機能の可能性の両方を最もよく理解しているものだと思います。
Stephen Wolfram 1:08:43
私たちの伝統的な研究では、通常、脳波にはアルファリズムのようなものがあります。あるいは、それは
Terry Sejnowski 1:08:52
先ほどの話に戻りますが、1つのニューロンから記録しようとすると、どれだけ制限があるかというと、1つのニューロンから記録された進行波を見ることはできません、絶対に。ですから、1つの電極から振動を記録しても、そのことを知らないのです。
実際、振動を研究していたほとんどの人は、アレイを可視化する方法を持っていませんでした。しかし、今、私はこの件に関するレビュー論文を持っています。2ヘルツから100ヘルツまでの様々な周波数の何十もの振動が、すべて移動しているのです。
私は昨年、自然の中で、視覚野を記録した同僚であるジョン・レイノルズ氏と共同で論文を発表しました。サルに弱い刺激である光の点を閾値で検出するように指示した場合、50％の確率でしか検出できないことを示しています。それが見えるか見えないかは、その場所を通る進行波の位相に依存することを示すことができます。
いいえ、大脳皮質の中です。つまり、細胞の脱分極を促して脅威に近い閾値になるような好条件であれば、サルはそれを見ることができます。しかし、それが逆の方向に行くと、サルはそれを見ません。
Stephen Wolfram 1:10:34
そうですね。それでは、私たちはまだ、彼らの物語に戻ってみましょう。ハーバード大学がウシガエルを研究していた頃の話ですが、その後どうなったのでしょうか？
Terry Sejnowski 1:10:53
2つ目の幸運は、先ほど言ったように、私の人生はこれらの連続でした。サンディエゴでニューロ・モデリングに関するミーティングが開催されるという招待状を見つけたんです。私は物理学者で、ハーバード大学の神経生物学で働いていて、ニューロンを記録しています」と答えました。
そういえば、言いそびれたことがありました。ウィーラーとの間にはちょっとした章があって、私は修士号をウィーラーから取ったのですが、結局、生物学に脱線してしまったため、ジョン・ホップフィールドと一緒に働くことになりました。私の卒業論文は、ネットワークモデルの非線形モデルを分析するものでした。そこで
Stephen Wolfram 1:11:46
それ以前の話です。ジョン・ホップフィールドに出会ったのは、1981年くらいにカリフォルニア工科大学で、単純なニューラルネットワークのホップフィールドモデルの研究をしていたときでした。その通りです。
Terry Sejnowski 1:11:57
有名な82年の論文ですね。プリンストン大学では、彼はまだ生物物理学者であり、物性物理学者でもありました。そして、彼が戻ってくると、何が起きているのかを話し合うのです。結局、私は非常に抽象的なネットワーク論文をいくつか書きました。それが私の卒業論文でした。
Stephen Wolfram 1:12:28
彼はジョン・ホップフィールドといって、伝統的な物性物理学者で、スピンネットワークなどの研究をしていました。スピンネットワークなどの研究をしていました。そして、その後です。つまり、あなたがネットワーク理論と呼んでいるものについて、あなたが行ったことは、それがどういう意味を持つかということです。
それは、グラフが何をするかということですか？それとも、スピンのようなニューロンの配列がある、というような意味でしょうか？それとも、「ああ、そうだったのか」と。
Terry Sejnowski 1:12:53
つまり、彼はホップフィールドの前にいたんですね。ネットです。David MarrやTommy Poggioが立体視のために提案した有名なネットワークモデルがありますが、私はそれを分析しようとしていました。
私はそれを分析しようとしていました。アトラクターは何か、ダイナミクスはどうなっているのか、などなど。皮肉なことに、私は確率論的解析を行い、相関関係を見れば単純化できることを示しました。なぜなら、ある合理的な仮定の下での相関構造は解析的に分析できるからです。
Stephen Wolfram 1:13:32
1981年にジョン・ホップフィールドと交流した時のことですが、アトラクターはまだ彼が話していたものではなく、動的システム理論から来たものでした。
Terry Sejnowski 1:13:48
私はそれらをアトラクターとは呼ばず、単にソリューションと呼んでいました。
Stephen Wolfram 1:13:52
わかりました、納得です。その通りです。
Terry Sejnowski 1:13:53
でも、私には正しい考えがありました。私には、時代を先取りしたいくつかのアイデアがありましたが、今では実験しやすいものになっています。でもそれは、コースを受講する前の話で、全体的にはそうだったんです。これが私のものです。
Stephen Wolfram 1:14:14
しかし、これらはまだ連続的な微積分のシステムなのでしょうか。それとも、もっとデジタルなデジタル化されたシステムですか？
Terry Sejnowski 1:14:23
いやいや、私の論文は完全に理論的なものでした。シミュレーションは一切しませんでした。すべて分析的なものでした。非線形解析などを多用しました。
Stephen Wolfram 1:14:37
そうですね。しかし、そうですね、では、ウシガエルの時の話に戻りましょうか。
Terry Sejnowski 1:14:45
そうですね。私がこのミーティングに参加したのは、このミーティングの告知を受けて、「私は本当に興味があり、ニューラル・ネットワーク・モデリングのバックグラウンドを持っていますが、私は実験をしています」と答えた瞬間でした。
当時、私は個人的に誰も知り合いがいませんでした。このようなネットワークモデルを作っている人たちは、みんな論文を読んでいました。それで、私は招待されて、サンディエゴにあるUCSDに行きました。ここでGeoffrey Hintonと出会ったのです。
当時、彼はポスドクでした。私と同じようにポスドクでしましたが、彼は心理学とAIの出身でした。彼は、当時のネットワークモデルには単純な連想記憶モデルがあって、それは高度なホップフィールドネットではなく、もっと単純なものだったと確信していました。
Stephen Wolfram 1:15:46
サンディエゴでの会議を主催したTerry Sejnowski氏は、「リニア・スリム」と呼んでいました。
Terry Sejnowski 1:15:50
Geoff Hinton、それにBrownの人もいましたね。ジム、誰だったか忘れてしまいましたが、とにかくジム・アンダーソンがいました。その中には、フィンランドから来た声楽家のフォノンや、ブラウンから来た統計学者のゲーミングなども含まれていました。
Stephen Wolfram 1:16:21
しかし、これらの人々は皆、非常に異なった、つまり、Kemmonsのような、何か特定の種類のモデリング・アプローチを持っていたのです。当時は、少なくとも10種類以上の、まったく異なるタイプのモデリングが行われていたように思います。
Terry Sejnowski 1:16:38
そうですね。それで、私の著書「The deep learning revolution」では、次のようなことを試みました。
Stephen Wolfram 1:16:43
これを見てください、私はそれを試しました、これでいいのです。
Terry Sejnowski 1:16:47
ありがとうございます、声をかけていただいて。しかし、もし私が1つの章を持っていたら、その時点でのことを話します。みんながそれぞれ別のモデルに取り組んでいて、それぞれが孤立していて、クロストークがほとんどない状態だったんですね。
しかし、共通しているのは、どのモデルも難しい問題を解決できないということでした。そこには断絶がありました。私と私とジェフ、そして彼が企画したミーティングでは、人々が一堂に会し、本当に前例のないものとなりました。人々がお互いの話を聞き、それを聞いて思ったことは、実際に紙に書いてあること以上のことでした。
その会議で発表された論文や、並行して発表された「モデルと社会的記憶」のチャプターブックが、わずか2年後に出版されたのです。過去にさかのぼって、当時の人々が何を考えていたかを見るのはとても楽しいことです。なぜなら、それは非常に示唆に富んでいたからです。そして、私の論文は基本的にその章にまとめられています。
Stephen Wolfram 1:17:49
しかし、それが後の並列分散処理につながっていったのでしょうか？ビジネス？そうです。
Terry Sejnowski 1:17:54
そうです。ジェフは、当時とても有名だった2人の心理学者の種をまいたようなものでした。David Romo、Hart、Jay McClellanの3人です。
Stephen Wolfram 1:18:06
準備は万端です。それはそれでいいと思います。
Terry Sejnowski 1:18:09
そうなんです。その本にはいくつかの章がありますね。ジェフと私はボルツマン・マシンの章を担当しています。私たちは基本的に意気投合しましたが、基本的には2人とも同じような、つまり直感的なものを持っています。
では、なぜこの男の脳を調べないのかというと、ここで何かを学ばなければならないからです。アルゴリズムを解明し、何かを見つけ出すのです。そこで、様々な種類のネットワークを調べれば、おそらく進歩するだろうという単純な考えが生まれたのです。
しかし、パーセプトロンの本当の障害は、ご存じのように、重みの層が1つ以上になると、勾配降下法を使ってネットワークを訓練しようとしても、行き詰まってしまうことでした。勾配降下法を使ってネットワークを訓練しようとすると、行き詰まってしまうのです。
次の層を追加するとすぐに隠れユニットができてしまい、重みやシナプス、その下にある特徴、必要な特徴をどうやって訓練すればいいのかわかりません。いずれにしても、ジェフと私は、面白いことに、その方法を見つけ出しました。
私たちは、統計力学からボルツマン分布などの数学を学びました。それをボルツマン・マシンと呼んでいました。驚いたことに、このボルツマンマシンには学習アルゴリズムがあって、それによって、多層パーセプトロンをどうやって作るかという、これまでの分野では越えられなかった壁を越えることができたのです。
しかし
Stephen Wolfram 1:19:45
模擬アニーリングはすでに話題になっていたことですが、それとどう関係があるのでしょうか。
Terry Sejnowski 1:19:52
Scott Kirkpatrickが論文を発表しましたね。実は、これこそがボルツマンチェーンの起源なのです。なるほど。ジェフと私はロチェスターの会議に参加していました。そしてホップフィールドがホップフィールドネットワークについて講演していました。スコット・カークパトリックが発表したシミュレーテッド・アニーリングの論文を読みました。
当時の私とジェフは、局所的な最小値が多い非線形ネットワークで、どうやって大域的な最小値を見つけるかという問題に悩んでいました。というのも、私たちは最適な解を見つけることが重要だと考えていたからですね。Hopfieldが持っていたグローバルミニマムとエネルギーは、彼がネットワークのエネルギーを定義したものです。
Stephen Wolfram 1:20:37
極めて線形代数的なアルゴリズムを使って、最適なものを見つけ出しました。
Terry Sejnowski 1:20:44
彼はもっと賢かったですよ。これは、彼が作ったローカルミニマムが、レモンをレモネードに変えた時のことで、そのローカルミニマムは、パターンの補完を行うローカルメモリでした。だから、そうなんですが、でも、グローバルミニマムについて考えるのは、ホップ、スキップ、ジャンプでしかなかった。
そこで私たちは、ホップフィールドネットワークを温めて、温度を下げていきました。案の定、ゆっくりと温度を下げれば、ゴールド・ミニマムに到達しました。しかし、途中で驚くべきことが起こりました。ゼロまで下げずに、平衡状態で一定に保ち、平衡状態になるのを待つと、驚くべき線形化が起こり、入力と出力の相関関係を見るだけで、ネットワーク全体の重みの変化を、層数に関係なく計算できるのです。
しかし、これには代償が必要でした。入力と出力が固定された2つの条件で行う必要があったのです。1つは入力と出力が固定されている状態で、これは日中です。入力と出力が固定されている状態（昼間）と、入力と出力が解放されている状態（夜間）です。これを「2つのフェーズ」と呼んでいます。そして、この2つの相関関係を引くことで、ウェイトの更新が行われます。
これが最も機械学習的なアルゴリズムです。脳の働きを解明したと確信していた私たちは、ただただ大喜びしています。そしてジェフは、デイブ・ロモ・ハートの直後に、ダムが決壊したかのように、「いや、それは間違っている、問題を解決する方法がある」と誰かが言ってくれれば、誰も彼もが別の方法を考え出したのだと、今でも思っています。DaveのRaimo hearts backpropアルゴリズムは、最も効率的で、より速く、ネットワークを最適化することができます。さて、何百もの層があることはわかっています。
Stephen Wolfram 1:22:41
つまり、ボルツマンマシンのようなもので、昼夜のサイクルのアイデアが、このアプローチの重要な特徴だったのです。
Terry Sejnowski 1:22:48
絶対に必要ですね。直感的には、もしあなたがこの大きなネットワークの真ん中にいるニューロンだとしたら、つまり中間層のどこかにいるとしたら、あちこちから入力を受けているだけなので、入力と出力が何なのかわからないでしょう？
入力と出力から何が関連しているのか、タスクから何が関連していて何が関連していないのか、他のすべてのデータから何が関連していて何が関連していないのか、どうやって知ることができるのでしょうか。そして、タスクがあると、相関関係は変化します。そして、線形なので、タスク相関からベースラインを差し引きます。
これが、課題を学習するために必要な信号です。
Stephen Wolfram 1:23:39
さて、ボルツマンマシンができましたね。この時点で、あなたと私は1週間ほどマットを使っていたと思いますが、あなたがネットトークをしていたのを覚えています。そうですね。そして、私のComplex Systems誌の創刊号に掲載していただきました。
Terry Sejnowski 1:23:56
そうですね、3000件くらい引用されました。すごいですよね。貢献してくれてありがとうございます。
Stephen Wolfram 1:24:03
に貢献してくれてありがとうございます。
Terry Sejnowski 1:24:06
私たちはね、科学の力で断られたと言わざるを得ないんですよ。そこで
Stephen Wolfram 1:24:11
が2つ目のことを言っていますが、あれはあの場合、人間のようなタスクを学習しているところの例ですね。
Terry Sejnowski 1:24:21
のようなものです。だから、それが面白いんです。この話は、プリンストン大学のジョージ・ミラーの大学院生が、夏休みに言語学のプロジェクトをやりたいと言ってきたときのことでした。繰り返しになりますが、非常に素晴らしい子供で、非常に優秀なプログラマーでした。
ジェフや私と同じように、これがすべての答えになると確信していました。そこで私たちは、彼に「いいかい、言語は本当に複雑だ。もっと単純な問題を探そうよ。と言うと、彼らは「いやいや、言語に決まっているだろう」と言いました。
私はOKと答えました。
Stephen Wolfram 1:24:58
5つのチャンク（塊）で構成された「カム」や、ワードネットシステムで有名な人ですね。
Terry Sejnowski 1:25:09
彼は2つのことに成功しました。ステップ7プラスマイナス2、つまり同時にいくつのことを考えていられるかということです。そして、言葉の曖昧さ、つまり、同じ言葉でも5つの異なる意味を持つということです。では、どうやってその意味を知るのでしょうか？そうですね。正しい文脈で曖昧さを解消しなければなりません。
当時、言語学は統語論に支配されていましたが、今でもそうです。これはもちろん、チョムスキーの偉大な貢献によるものですが、このことが言語学の妨げになっていました。
Stephen Wolfram 1:25:44
現代の機械翻訳システムは、そのようなことを何も知らないということですね。
Terry Sejnowski 1:25:50
いや、知っていますよ。単語の順番だけではなく、単語の意味を理解する必要があるんです。しかし、それは別の話です。私たちの話は、音韻論に落ち着きました。音声学とは、異なる文字が取る音のことで、音声合成のことです。図書館に行ってみると、300ページものルールが書かれた本がありました。
当時、AIはルールに支配されていました。例えば、単語を過去形にするにはどうしたらいいか、EDIを導入したことがあるか、などの規則性があると考えられていましたが、そこには様々な例外がありますよね？つまり、いろいろな例外があるということです。 そのルールがすべてではありません。
しかし、文字通り300ページもあるんですよ。また、当時のエンジニアリングシステムは 非常に粗雑なものでした。ところで、Dec talkというものがありますが、これを手に入れたかったので実際に購入しました。
Stephen Wolfram 1:27:02
そうですね、確か新しいので私のも持っていたような気がします。
Terry Sejnowski 1:27:06
はい、はい。7文字のウィンドウを用意して、そこに単語を1文字ずつ移動させていきます。驚いたことに、このネットワークは、単に訓練セットで訓練するだけでなく、新しい単語を与えると、本当に素晴らしい仕事をしてくれました。
彼らは規則性を理解していて、同じネットワーク上で、規則性と例外性を両立させることができたのです。このことから、これは言語を表現するより自然な方法だとすぐに分かりました。しかし残念なことに、当時のネットワークは小さく、2万個のパラメータがありました。パラメーターは2万個ほどで、ユニット数は100個ほどでした。VAX時代のVAX780ではそれしかできませんでした。
私はPresidential Investigatorを取得していましたから、当時の模造品を2、3台買うことができました。デスクトップは音素材を発音することができるので、実際に聞くことができますよね。そしてそれは問題なく聞こえました。
Stephen Wolfram 1:28:48
しかし、デッキトークやTrinsicの方法論では、これらのルールベースのシステムを使って、テキストを与えれば何かを言ってくれるということを解明しようとしました。 でも、だからこそ、モデルとなるニューラルネットを使って人間のようなことができるという証拠のようなものが得られたのです。
しかし、もう一方では、神経細胞からの記録など、実際の神経生物学を行っていたわけですね。
Terry Sejnowski 1:29:15
そうですね。私はウェットラボでの記録を維持していました。私たちが行ったことの1つは、長期増強が発見された海馬の神経細胞の記録でした。私たちは、長期的な抑圧を探しました。そして、いくつかの条件を見つけましたが、後に見つかった他の条件ほど強固ではないことがわかりました。なぜなら、理論的な質問をして、それに答えるために実験を計画するという、理論的な方法があるからです。そんなことができる研究室はありませんでした。
この実験は、私が考える上でさらに重要なものでした。脳は確率的なのか、それとも決定論的なのか」という疑問を抱いていた最初の頃に戻ります。スパイクのタイミングはどのくらい正確なのか、という疑問があり、延々と議論されていました。
当時、大脳皮質の神経細胞を記録していた人たちは、もし同じ入力を得たとしても、スパイクのタイミングは毎回異なることに気付きました。再現性のある平均発火率を得るためには、10回、100回と平均化する必要があるのです。つまり、スパイクのタイミングは重要ではなく、スパイクの数だけが重要だと誰もが考えていたのですね。
そこで、現在はソーク研究所にいるザックが、ラットの大脳皮質を使って実験を行いました。彼が行ったのは、錐体細胞に電流を流し、スパイクの出力がどれだけ正確かを確認することでした。従来の物理的な入力はステップ関数で、一定の電流を流していました。そうすると、スパイクはジッターのために、最初のバイトの後では好ましいスパイクのタイミングがありません。
しかし、in vivoで、実際に生きている動物の本物のニューロンから記録した場合は、すべての入力が入ってくるので、急速に変動します。すべての入力が入ってくるからです。そして、感覚入力が何であるかによって、私たちは急激にスパイクを打ち出すようになります。
そこで私たちは、ある一定の振幅と周波数スペクトルを持つ変動する入力を作り、ニューロンに注入しました。すると驚いたことに、スパイクはミリ秒単位の正確さで、ランダムに見える場所に出てきました。これで、何がシグナルだったのかを分析できるようになりました。
ステップニューロンをスパイクさせた特徴は何だったのでしょうか？興味深いことに、「単に興奮性の入力が多いだけだろう」と思うかもしれませんが、そうではありません。入力が実際に少ないとき、つまりニューロンが抑制されているときに、閾値から下がっていき、突然飛び出すことがわかったのです。
興味深いのは、両相信号が組み合わされていることで、これらのニューロンは非常に再現性が高く、何時間も何時間も非常に正確にスパイクすることができました。この論文は何千回も引用されていますが、私の考えを変えてくれました。いやいやいや、スパイクのタイミングを解釈できないからといって、それが何か重要なことに使われていないということにはならないだろう、と言ったのです。
ところで、話は変わりますが、何千ものニューロンを記録した結果、このランダムな背景の活動や、試行ごとのばらつきが、実はノイズではなくシグナルであることが発見されました。では、それは何なのでしょうか？何が起こっているのでしょうか？それは何でしょう？ネズミのビデオを撮ると、ただ座っているだけなのに、ヒゲが行ったり来たりしていることがわかります。鼻は匂いを嗅ぎ、目は行ったり来たりしています。
その結果、視覚野や脳の他の多くの部分における背景の活動には、顔の動きに関する情報が含まれていることがわかりました。実際、ビデオからニューロンの変動の半分以上を説明することができますし、逆にバックグラウンドの発火率を記録できれば、顔が何をしているかを予測することができるのです。
つまり、ノイズだと思われていたものが、突然、シグナルであることがわかったわけです。そこで問題になるのは、なぜそれがそこにあるのかということです。そしてそれが、ニューロンを無から記録することができると同時に、実際に進歩を遂げることができるようになった理由なのです。
Stephen Wolfram 1:34:31
そうですね、一般的な印象としては、ある種のランダムな現象が起きているものの方が、特定の道筋を歩いているものよりも壊れにくい傾向があると思います。
Terry Sejnowski 1:34:45
はい、そうですね。実は、この進行波が重要な理由のひとつに、次のようなものがあります。簡単な思考実験です。もし、誰もが思っているように、振動は多くのニューロンが同時に同期して発火するものであり、1つの大きなニューロンよりも多くの情報を伝えることはできないでしょう。そうでしょう？つまり、同期によって炎症を抑えることができるのです。
しかし、進行波であれば、局所的な同期をとることができます。しかし、空間を移動しているので、時間だけではなく、空間全体に情報を広げることができます。
これは、ホモグラフィーについて考えると、全体的な領域を与えてくれますよね。つまり、同期だけでは不可能な、トラベリングウェイトを使った新しいコーディングスキームの領域があるのです。
Stephen Wolfram 1:35:39
歴史的な話に戻りますが、あなたはGeoff Hintonでボルツマンマシンなどを研究していましたよね。ジェフは、バックプロパゲーションなどの研究を続けながら、長い間、ディープネットワークの研究を続けていました。そして、そのことについてはあまり耳にしませんでした。
つまり、外部からの観察者である私にとっては、普通のことなんです。それは本当に複雑で、何人かの人がそれに取り組んでいますが、ここでは何も起きていません。それは内部から見た印象でもありましたか？それとも、あなたとは全く違っていたのでしょうか？
Terry Sejnowski 1:36:15
振り子がどのように振れているかを示すために。私はneural information processing systems foundationの会長を務めていますが、ここでは毎年neuripsミーティングを開催しています。あら、名前を変えたの？名前を変えなければなりませんでした。neuripsという名前が定着してしまったのです。なるほど。さて、話が長くなってしまいました。
Stephen Wolfram 1:36:39
その話は覚えています。しかし、その話はやめておきましょう。
Terry Sejnowski 1:36:43
そうですか。あなたが始めたのは、文字通り、ニューラルネットワークムーブメントの全盛期でした。非常に複雑な大規模データセットを扱うという同じ問題を抱えていました。私たちがやっていることは、その助けになると思われました。私たちがやっていることは、脳がニューロンの非常に高次元の空間によって情報を表現することなのです。
その後、この分野は機械学習へと変化していきました。なぜなら、同じ問題を解決するためのアルゴリズムは他にもあったからです。サポートベクターマシンは非常に強力でした。カーネルトリックを使うと、1層の重みを超えて、より洗練されたモデルを作ることができますし、ベイジアンネットワークやグラフモデル・グラフィカルモデルもあります。このようなモデルは、5年ごとに登場していました。そして、その後です。
Stephen Wolfram 1:38:03
機械学習の分野、つまり機械学習と呼ばれるものは、私にとってはブラックアート・ブラックマジックのような分野の一つでした。
Terry Sejnowski 1:38:29
私たちは「いいえ」と答えました。その間、何が蓄積されていったのでしょうか？全く新しい次元を探求していたのです。そして、さまざまなツールやテクニックを使っていました。ベンチマークがあります。例えば、イメージネットでは、コンピュータビジョンの人々が何千万もの画像、何千ものカテゴリーを蓄積していましたが、さまざまな対象物の特徴を手作業で作成することで、毎年、性能を50％ずつ向上させていましたね。
つまり、あなたの言うとおり、非常に場当たり的な方法ですべてが行われていたのです。しかし、進歩はしていました。人々は、自分たちが直面していた問題の本質を理解し始めています。ところで、これらのアルゴリズムの中には、特定の種類のデータに対して非常に有効なものもありました。つまり、役に立たなかったわけではありません。ただ、万能ではなかったというだけです。
Stephen Wolfram 1:39:35
そうですか？私が覚えているのは、2000年代半ばだったでしょうか。2000年代半ばにあなたと話していて、Wolfram言語で画像処理をするにはどうしたらいいか、などと考えていました。顔認識用のビオラ・ジョーンズ・アルゴリズムなどは知っていましたが、これは奇妙なハックキーのようなものでした。
私が理解しようとしていたのは、もっと一般的な方法があるのではないかということでした。なぜなら、私たちは最終的にデータキュレーションのようなことをしていて、誰かが窓を認識するためのアルゴリズムや、木を認識するためのアルゴリズムなどを作っていたと想像しているからです。2000年代半ばには、このようなことをしなければならないと考えていました。そうだったんですね。
Terry Sejnowski 1:40:24
それがコンピュータ・ビジョンのやり方なんです。ちなみに、Paul Violaは、その時代に私の研究室で働いていた大学院生でした。ああ、そうですか。彼は自分の論文を出版するのに苦労しました。
Stephen Wolfram 1:40:39
でも、それは画像処理の分野でしたよね。つまり、彼の……ああ、美しかったですね。彼は
Terry Sejnowski 1:40:44
当時、彼は画像処理を担当していました。コンピュータビジョンは非常に幾何学的なものでしましたが、彼はそれを別の方向に進めていました。つまり、特定のオブジェクトに関連する特徴を見つけ出す方法を考えていたのです。
しかし、あなたが言いたいことは、次のようなことです。その時代には、ニューラルネットワークは古いものと考えられていました。そして、その期待に応えられなかったのです。実際、誰かが採用された6つの論文に出てきた単語を統計的に分析しました。その結果、ニューラルネットワークは論文の掲載に負の相関があることがわかりました。だろう？そうです。
これは、2000年代、あるいは2000年代初頭のことです。しかし、Geoff Hintonの話に戻ると、彼は「この問題を解決するにはこれしかない」という信念を決して捨てませんでした。当時、トロントにいた彼は、カナダ高等研究所（CIFAR）から資金を得て、ネットワークと学習アルゴリズムを研究するプログラムを立ち上げました。
最初は視覚に焦点を当てていましたが、後には幅を広げていきました。私は諮問委員会に参加していたので、その様子を見ていました。彼は、ニューラルネットワークを信じている人たちを集めていました。例えば、Appleはフィンランドやその他の国から書いています。
Stephen Wolfram 1:42:37
フィンランド人の名前の発音ができません。同じ人ですか？サポートベクターマシンの人ですか？それとも別人ですか？今のは
Terry Sejnowski 1:42:43
この人はコナンのグループから来た人です。
Stephen Wolfram 1:42:51
それは、自己組織化マップでした。
Terry Sejnowski 1:42:53
でも、彼は今ではとても著名な人物になっています。情報理論と非線形。例えば、ICAです。独立成分分析は、様々な目的のために非常に実用的なアルゴリズムであることが証明されていますが、これもまた、独立成分分析から着想を得ています。
しかし、これは脳からヒントを得たものです。しかし、ジェフはこのように考えていました。そして私は、ある会合に出席していたことを覚えています。
彼らを覚えているのは、青山クーンです。彼はそのグループの一員でした。そして、ベンギオさんもそのグループの一員で、私たちは夕食を共にしました。ベンギオが言うには、私の大学院生の一人がGPUグラフィックス・プロセッシング・ユニットを手に入れて、それをプログラミングしているとのことでした。
彼は、100倍のスピードを出せると言っています。うーん、いや、本当に100分の1かな。ご存知のように、少しずつ進歩しても、ムーアの法則でも、一晩で100倍にはなりません。文字通り、1年以内にすべての研究室にGPUが導入されたのです。そして突然、ネットワークの規模を大幅に拡大し、実験をより迅速に行うことができるようになったのです。
実際、2012年にタホ湖で開催されたneuripsミーティングでは、ジェフが、現在、深層学習と呼ばれているCNNを使って作業している大学院生たちに、「作業を学習します。テストセット上の画像から物体が何であるかを予測するイメージネットのエラーを20% 20%のファクターで削減します。
20分の1ですね。コンピュータサイエンスの1年あたりの平均的な進歩よりも大きいですね。20年後の未来に行くと、あるいは。
Stephen Wolfram 1:45:03
でも、これまでの認識大会で優勝した人たちは、伝統的な画像処理のモデルに手を加えたものだったんですよね。
Terry Sejnowski 1:45:15
ですよね？ええ、非常に手間がかかります。大学院生は、1つのクラスの物体に何年もかけて取り組みますが、そのためには、向きに影響されず、その物体に固有で、他の物体と区別できる特徴を見つけなければなりません。ですから、時間と労力がかかるだけでなく、労働集約的でもあるのです。
しかし、深層学習ネットワークの優れた点は、十分なデータがあれば、同じ学習アルゴリズムをどのような問題にも使用できるということです。そして、十分なコンピュータを持っています。その間にも、効率性や整理方法の理解において、数え切れないほどの進歩がありました。
例えば、畳み込みニューラルネットワークでは、畳み込みを行うだけでなく、パフォーマンスを向上させることができることに気がつきました。隣接した場所から特徴を抽出してプールすれば、視覚野ではある種の複合細胞がそうしているのです。また、正規化を行うことで、物事を一定の範囲内に収めることができます。
Stephen Wolfram 1:46:27
は、神経生物学へのアナロジーを知りませんでした。彼は物理学者ではありませんよね？
Terry Sejnowski 1:46:32
いやいや、あくびはエンジニアですよ。そして、その答えは、彼が何百、何千というトリックを試した時期があったからです。そのうちのいくつかはうまくいきましたが、ほとんどのものはうまくいきませんでした。そしてそれはトリックのグループの中にあった。そして、それらはたまたま脳内で発見されたものだったのです。なるほど。つまり、彼は脳を再現しようとしたわけではないのです。
しかし、重要なのは、それらが優れた構造的特徴であることを彼が示したという事実です。そうでなければ、人間を研究していた人たちは、複雑な細胞が何に適しているかという概念を持っていなかったでしょう。別の種類の細胞ですよね？今回の研究で、それについての直感が得られました。
Stephen Wolfram 1:47:20
しかし、ホップフィールドなどの時代には、誰もが「そうですね、脳のニューラルネットにヒントを得たようなものですね」と言っていました。しかし、これらのシステムの動作方法は、脳の動作方法とは全く異なります。バックプロパゲーションなどをやっていた頃は、まだそう言われていたと思います。工学的には優れたトリックですが、脳の働きとは違うということですね。
Terry Sejnowski 1:47:41
そうですね。それは80年代にさかのぼります。当時、私たちがやっていたことは、パターソンが書いた「The computational brain」という本で、これはデモンストレーションだと指摘しました。そして
Stephen Wolfram 1:47:56
これが私のテーブルの上にある最後の1枚です。
Terry Sejnowski 1:47:58
やっと戻ってきましたね。そうですね。これはベストセラーになりましたね。MIT Pressでは2万5,000冊ほどで、技術書としては多い方だと思いますが、あなたが売った数ほどではないでしょう。
Stephen Wolfram 1:48:10
ああ、そうですね。
Terry Sejnowski 1:48:14
見た目はともかく、メッセージとしては、隠れユニットの層を使って変換することで複雑な問題を解決できるような、分散型のニューロンの集団であるネットワークを初めて作り始めることができたということです。
当時は、とても小さくて小さなものでしましたが、ネットワークを構築する方法を与えてくれたのです。そして今では、ネットワークを分析し、原理を解明することができます。そして今、何が起こっているかというと、あなたが言うように、長い休眠期間があったのですが、突然、バーンと、より大きくて複雑な問題を解き始めることができる閾値に達したのです。
興味深いのは、なぜ視覚、音声、言語翻訳の分野で同じ時期に起こったのかということです。おそらく、必要最低限の計算は行われているはずです。しかし、これは私たちが理解していなかったことですが、すべてはスケーリングの問題であり、十分な規模のシステムが必要なのです。
これは驚くべきことに、非常にうまくスケールしていましたが、何が、どのように？なぜでしょうか？小さなプロセッサに負荷を分散できるアルゴリズムであれば、自然と大規模な並列マシンに落ちてくるからです。そうです。つまり、ハードウェアを活用するという点では、まさに天と地ほどの差があります。
今ではすべてがマルチプロセッサ・クラスターですよね？それが
Stephen Wolfram 1:49:55
そのようなトレーニングをするのはそれほど簡単ではありません。つまり、現実的な問題がたくさんあるということですね。
Terry Sejnowski 1:50:00
ああ、そうそう、いやいや、これはGoogleが取り組んでいるんですよ。そして実際に、最新の工夫は、データをノードに保持したまま、ネットワークを通過させるというものです。どんな場合でも、ああ、そうか、そうか、それなら大丈夫だ、それならすべてインクリメンタルだ。そして、それはすべてハードウェアの問題です。そして、ここではスケーリングです。スケーリングダウンが重要なのです。
私はPNASに論文を書きましたが、そのタイトルは、全米アカデミーで数学者たちが主催した会議で発表されたものです。論文のタイトルは「the unreasonable effectiveness of deep learning in artificial intelligence（人工知能における深層学習の理不尽な有効性）」で、ユージン・ビクターの章を参照していることがわかるかと思いますが、それは「the unreasonable effectiveness of mathematics and physics（数学と物理学の理不尽な有効性）」です。
私の考えでは、数学者や統計学者が持っていた定理や洞察力、直観はすべて低次元の問題から来ていると思います。そして、彼らはそれが得意なのです。彼らは、定理やアルゴリズムなどを持っていて、それが得意なのです。
しかし、超高次元空間に行くと、幾何学的には全く違うものになります。そのような場合には、それらの定理はもはや適用できません。ネットワークが学習して難しい問題を解決する方法を分析するために、新しい方法を考え出さなければならないのですね。
私たちはまだその始まりに過ぎず、そのような原理を理解しているわけではありませんが、今は私たちを阻むものは何もありません。なぜなら、私たちはすべてのユニット、すべての方法、すべての入力にアクセスできるからです。
もしこれがわからなかったら、どうやって脳の働きを解明するのでしょうか？
Stephen Wolfram 1:51:59
そうですね。しかし、いくつかのポイントがあると思います。まず、深層学習がどこで機能するかという問題ですが、深層学習はある種の問題で機能し、それは人間がそこそこうまくやれるように見える問題と似ています。
私たちは、人間の脳がなんとか対処できるような問題に直面するように、生活や環境を構成しているということでしょう。つまり、それで終わりではないかもしれません。つまり、ニューラルネットが苦手とするような問題を想像する限り、それらの問題もまた、私たちの脳が得意とするようなものではなく、いわば私たちが生きていくために選択するものではないのかもしれない、ということです。
Terry Sejnowski 1:52:43
はい、はい、どうぞ。私の深層学習の本の別の章ですが、コンピューティングの歴史は、理論的な面では、実際のマシン、フォン・ノイマン・アーキテクチャにまで遡ることができます。
50年代にはこのようなものがあり、私たちはこのようなものを作らなければなりませんでした。そして、すべてのアルゴリズムはこのアーキテクチャに最適化されているのです。
そして、素晴らしい結果を生み出し、すべての技術に浸透していきました。しかし、計算空間について考えると、ご存知のように、セル・オートマトンから、もっと広い空間になります。そして今、私たちはその空間を初めて探索しているところですが、ルイス・クラークのように戻ってきました。
Stephen Wolfram 1:53:49
しかし、重要なことの1つは、その空間のほとんどは、人間が関心を持ったり、通常扱うことのないものだということです。
Terry Sejnowski 1:53:57
確かにそうかもしれませんが、だからといってそれが役に立たないとか重要でないということではありません。
Stephen Wolfram 1:54:03
いやいや、同感です。すみません。わかりました。
Terry Sejnowski 1:54:07
私たちは同意します。いいですね。そして、私が思うに、計算の世界には宇宙があります。そして、私たちは、うまくいきそうなアルゴリズムをいくつか持っています。しかし、文字通り、異なる計算特性やアーキテクチャを持つアルゴリズムが銀河のように存在するのです。
そして、ご存知のように、私たちはまだ始まったばかりで、私たちと、そして、実際に、この分野で今最も大きなブースの1つである、それは、ちなみに、ニューラルネットワークと呼ばれていたものが、機械学習とアルスコ人工知能と呼ばれるようになりました。
Stephen Wolfram 1:54:46
また、本当に、またAIと呼ばれるようになったんですね、また死にかけているのかと思いました。
Terry Sejnowski 1:54:51
でも、私たちはそれを復活させました。今ではビジネスの世界で最もホットなものになっています。AIはミームのひとつのようなものです。
Stephen Wolfram 1:54:58
のようになっています。2年後だと思います。Go Terryです。私が思うに、それはいくつかのOh, okayだったと思います。私はダウンで少し出ていて、泳いで出ました。
Terry Sejnowski 1:55:07
もちろん、そういうことはあったりなかったりします。しかし、現実には、彼らはまだこれらのネットワークを使っていますよね。つまり、彼らは今でも確かにそうなんです。ヴァンパイアが持っているアプリケーションですね。
Stephen Wolfram 1:55:17
ニューラルネット技術は、1960年代70年代80年代の線形代数のようなものです。ニューラルネット技術は、1960年代70年代80年代の線形代数のように、多くの種類の物事を行う方法の構成要素となっているのです。
Terry Sejnowski 1:55:31
はい、そうですね。私もそのように考えています。つまり、「この画像の中の物体を認識しなさい」という機械語の命令があって、その命令を押すと答えが返ってくる、ということですよね。それが、今の私たちの姿です。しかし、それをシステムとして組み立てる必要があります。
実際にそうです。
Stephen Wolfram 1:55:55
しかし、話を神経科学に戻しましょう。例えば、「AIのような様々なプロセスがどのように機能するか、少なくともアナログ機械コードについては理解できた」とします。さて、問題は、機械コードについてはある程度わかりました。さて、次の質問は、発見したい神経科学の法則は何だろうかということです。
例えば、私たちの物理学のモデルでは、最近では、空間の原子のレベルでどのようなものが機能しているのかを理解しています。しかし、その空間の原子は、一般的なソーダや量子力学などのはるか下にありますよね。そのダイナミクスから生まれたのが、一般相対性理論や量子力学といった、物理学のグローバルな法則なのですね。
神経科学に興味があるのですが、もし、個々のニューロンという神経科学の原子のようなものから出発して、その神経ネットワークのようなものをやっていると想像できますか？それはどのようなものでしょうか？神経科学の一般相対性理論の中間層はどのようなものになるのでしょうか？
Terry Sejnowski 1:57:03
今、この分野は注目されているんですか？つまり、神経科学でも機械学習でも？例えば、あるニューロンから記録された典型的な体験を、そのニューロンに感覚刺激を与えて反応を見ると、それは相関関係です。因果関係とは違いますよね。そうでしょう？つまり、このニューロンがエッジに向かって発火したから、それがエッジの知覚、つまりあなたのエッジの知覚の原因になったと結論づけることができるでしょうか？
しかし、それは単なる相関関係であって、因果関係は証明されていません。ですから、本当の意味での、そして今では、知能を理解するためには、単なる相関関係ではなく、データから因果関係を抽出する方法を理解しなければならないと言えるでしょう。そして今、私たちはここにいます。
私は、信じられないような機会が今まさに増えていることを実感しています。これは、ちょうどオンラインになりつつあるということです。そして、これは因果関係の新しいフレームワークを考え出すことに関係しています。
伝統的なフレームワークは、AIの初期の頃のジュディア・パールに遡りますが、因果関係は、循環型有向グラフがあれば、xがy、zに影響を与え、zからzは戻ってきてxに影響を与えることはできない、というものでしたよね。つまり、それはDAG有向非環状グラフDAGとなります。その通りです。そしてそこでは、進歩することができます。進歩するためには、システムに何らかの刺激を与える必要があります。
Stephen Wolfram 1:59:20
物理学の話に戻りますが、閉じた時間軸曲線を持っていないということですね。これは、以下の基準のようなものです。
Terry Sejnowski 1:59:26
ええ、その通りです。それが伝承の一部なんですね。今では、神経科学者がまさにそれを行うためのツールやテクニックを生み出しています。現在、私たちができることは、ウイルスやチャネル・ロドプシンを使って、脳の特定の部分にある特定のタイプのニューロンを光で刺激し、その摂動が行動にどのような影響を与えるかを見ることです。これで次の段階に進むことができました。なぜなら、少なくとも私たちはDAGの世界にいると感じることができるからです。
しかし、それがすべての物語になるとは思いません。その理由は以下の通りです。脳の接続性のグラフを実際に見てみると、それはDAGではなく、膨大な量のフィードバックがあります。しかし、すべてのレベルで、つまり、感覚的な入力だけでなく、これまでの経験や記憶をどのように組み立てることができるかという点で、脳は異なるレベルやスケールで働いているのです。そしてそれは
Stephen Wolfram 2:00:45
ニューロン間の接続パターンにサイクルがあるというDAGについてのあなたの発言ですが、脳の時空の歴史を考えると、このニューロンの発火が他のニューロンの発火を引き起こすということを表す因果グラフが、ある種の、部分的に順序付けられた設定になることは完全に可能であり、実際にそうなるでしょう、つまり、このようなことが起こり、次にこのようなことが起こった、というように。
この構造で興味深いのは、私たちの物理学プロジェクトで現れるのと同じ形式的な構造であるということです。私たちの物理学プロジェクトとの唯一の違いは、私たちの中にもあるかもしれませんが、空間の基本的な構造はハイパーグラフで、基本的に空間の原子のようなものが接続されています。
これは、おそらく脳においても、ニューロンの接続をグラフのように考えることができるのではないかと思います。それは正しい表現でしょうか？それとも、ハイパーグラフのようなものでしょうか？つまり、コネクトームがグラフなのか、それともハイパーグラフなのか、全く違うものなのか、どうすればいいのでしょうか？
Terry Sejnowski 2:01:56
それを言うのはまだ早いと思いますが、その理由はこうです。なぜかというと、配線図には答えが載っていないからです。なぜなら、グラフの中にダイナミクスがあるからです。
例えば、文字通りのグラフとコンピュータしかなかったとしたら、どうしますか？情報がどのように流れているのか、どうやって知ることができるでしょうか？そして、そして、多くのダイナミクスがあります。
例えば、領域間の情報の流れを調整するゲートがたくさんありますよね？注意。では、注意注意とは何かというと、グラフのある部分からの活動のある部分を増幅させて、下流への影響をより強くする方法です。ですよね？それがアテンションです。
興味深いことに、GPT3のような最近のディープラーニングの進歩は、すべての時間をアテンションに費やしています。言い換えれば、アテンションを高めるだけです。そして今では、部分的に順序付けられたサブグラフを作成しています。
このサブグラフは、概念的なレベル、つまり言語の意味的な組織を整理するという点で、より柔軟でより強力なものになります。しかし、それだけでは十分ではなく、シナプスの動的特性やニューロンのゲートの仕方などを理解する必要があります。
Stephen Wolfram 2:03:30
そうですね。一つ興味深いことがあります。私たちの物理学のモデルでは、空間の構造をある種の超グラフに置き換えて扱っていますが、この超グラフのある部分が他の部分に与える影響を決定する局所的な規則があります。そして、あなたが注意と表現しているものは、不思議なことに、因果構造やジャンル性などの構造について考えているものと似ています。
言い換えれば、問題は、特定の異なる領域に分かれているとき、それは事象の地平線や因果関係のグラフのようなもので、つまり、他の領域とコミュニケーションを取らないタイプの空間の領域があるということでしょうか？あなたが疑問に思っているのは、実際にはもっと直接的な類似性があるのではないかということですが、ちょっと気になっているのは、個々のニューラルネットのレベルで混乱が起きていると想像してみてください。
問題は、もっとグローバルな理論があれば、脳で何が起こっているのかを教えてくれるものがあれば、ということです。単に特定のニューロンと特定の種類の細胞があって、それらがこのように相互作用しているというだけではありません、神経科学の大きなストーリーとは何でしょうか？空間についても同じことが言えます。 現在の空間の認識がなかったとしても、空間のすべての原子が更新されていると言えます。隣接する原子とつながっています。
しかし、これは非常に複雑です。一般相対性理論のようなものかもしれませんが、私たちは全体像を把握していません。そこで疑問に思うのは、神経科学を想像したときに、類似した種類のものは何だろうということです。より高いレベルの理論とはどのようなものなのでしょうか？別の言い方をすると、異なる種類の考え方からさらに上に行くと、個々のニューラルネットの層などのレベルのものがあり、例えばWolfram言語のものでは、これらの層がすべてプログラムされています。そして、層を組み合わせることでプログラムを構築することができます。
問題は、もっと高いレベルのプログラミングをしたいとしたら、それはどのようなものになるのかということです。また、一般相対性理論のようなグローバルな理論があったとしたら、それはどのようなものになるでしょうか、という質問です。
Terry Sejnowski 2:05:58
ええ、そうですね。これを言うのはちょっとためらわれるのですが、私は、脳の大統一理論はまだ早いと思います。と思っています。言い換えれば、世の中にはたくさんの人がいて、それらのうちのどれか1つが実現する可能性は低いと思います。
Stephen Wolfram 2:06:24
そのような統一理論の1つが教えてくれるのは、どのようなことなのでしょうか？つまり、時空間の話をしているときに、重力や空間の曲率に興味を持ったとしても、それは自明のことではなく、空間の個々の原子やつながりを見るレベルであれば、まったく自明ではないのです。そういう質問をしてみたいと思いました。
Terry Sejnowski 2:06:45
今、私が取り組んでいることを紹介しましょう。先ほど、このペプチドについてお話しました。これらは神経調節物質と呼ばれています。神経伝達物質と神経調節物質の違いは何かというと、神経伝達物質はイオンチャネルの開閉に直接作用します。一方、ニューロモジュレーターはそれを直接行いません。
神経伝達物質は、内部の生化学的経路に影響を与え、細胞内のあらゆる種類の機械に影響を与えて、細胞の実際の行動や他の入力に対する反応を変えます。つまり、細胞を調節するのです。ですから
Stephen Wolfram 2:07:28
それは、精神活性剤のようなものでもあるのではないでしょうか？
Terry Sejnowski 2:07:32
そうです。ちなみに、すべての精神薬は、精神障害に使用される薬で、精神病治療薬、ソラジン、躁鬱病などに使用されます。つまり、これらはすべて神経調節系に作用するのです。そして最終的には、LSDなどの幻覚剤、これらはすべて、そのモジュレーターに影響を与えています。
これらのニューロモジュレーターは、ネットワークを再構成することができます。典型的な例として、体性胃腸神経節と呼ばれるロブスター神経節があります。
Stephen Wolfram 2:08:20
これも動物の位置情報を利用したクレイジーなもののひとつです。ロブスター、ロブスター。
Terry Sejnowski 2:08:24
ロブスターやザリガニには胃があり、この小さな神経節に支配されていますが、神経細胞は30個ほどしかありません。30個ほどのニューロンしかありません。つまり、とても小さいのです。しかし、骨格筋のように筋肉が直交しているわけではなく、すべてが織り込まれているので、非常に洗練されています。
これは高次元の問題なのです。いずれにしても、この神経節には2つのリズムがあり、同じ30個のニューロンで構成されています。この1つのリズムは幽門周期で、1秒に1回程度の時間スケールだと思います。幽門サイクルは1秒に1回程度の時間スケールだと思いますが、胃のミルは1秒の10分の1程度です。
つまり、10秒周期ということです。驚くべきことに、ニューロモジュレーターは、これら2つの、全く同じニューロンのセットの間で、出力間の位相関係を全く変えて、切り替えられるのです。つまり、同じ筋肉が、入ってきた食べ物に対して、何か違うことをするのです。
このように、今、私たちが話している因果関係は、これらのニューロモジュレーターによってコントロールされているのだと思います。同じネットワークでも、グラフがあれば、いろいろなことができるように再構成したり、形を変えたりすることができます。
Stephen Wolfram 2:09:52
そして、ネットワークではなく、ネットワーク内の活動のパターンが、心臓か何かのようなものではないのです。Poking 間違った方向に行くと、細動になってしまいます。
Terry Sejnowski 2:10:02
そうですね。そして、それはそれでいいんです。固定されたネットワークのように見えますが、もっと柔軟で、堅牢でなければならないもので、活動のパターンを組織化するということです。多くの人が省いている重要な点は、ある範囲の温度に対して不変であることが保証されているものが必要だということです。すべての化学反応は温度によって変化し、反応速度が変化しますよね。そして、システムを迅速に再構成できるようにすることです。
Stephen Wolfram 2:10:36
のようなものではありません。ただし、システムの単一の静的な状態に関してではなく、本質的に時空間の特徴を持ったアトラクターのようなもののことを言っているのですね。その通り、その通り。しかし、私が質問したいのは、もしあなたが、これらの神経調節物質が、より大規模なアトラクターの空間を表現する方法であると言うならば、彼らは、個々のニューロンが神経伝達物質に媒介されて行っていることを、個々のレベルを超えて、より大規模なアトラクターの空間を彫刻することを認識しているということですか？そうです。つまり、もっとゆっくりとしたタイムスケールで、より大規模なことをしているということです。つまり、個々のニューロンがそれぞれの役割を果たしながらも、より大きなスケールをコントロールするという、システムの異なるレベルのモジュール性と考えているのですね？
Terry Sejnowski 2:11:30
それが、感情が起こるスケールです。
Stephen Wolfram 2:11:34
もしそれを表現するとしたら、おそらく、ニューラルネットを超えたマッカロク・ピッツのようなものがあって、個々のニューロンとその神経伝達物質を表現しているように、おそらく神経調節物質のレベルで起こることについても同様のモデルがあるのではないでしょうか。それは本当でしょうか？また、それは同じ種類のモデルなのでしょうか、それとも別の種類のモデルなのでしょうか？
Terry Sejnowski 2:11:55
私たちは現在、シミュレーションを行っています。リカレント・ニューラル・ネットワークの学習アルゴリズムを使って、再構成可能なネットワークを作る方法を実際に試してみました。その結果、現在修正中の論文があります。そう、この分野は今、ホットなのです。
先ほど言ったように、これはフロンティアなのです。繰り返しになりますが、インスピレーションの源は生物学にあります。実際、私の本のキャッチフレーズも、彼が拾ってくれました。そのキャッチコピーを読んでもらえますか？どのキャッチコピーですか？
Stephen Wolfram 2:12:31
これは右かな？一番上に赤い文字で書かれていると思います。一番上のこれはどれですか？そう、人工知能と人間の知能の融合です。テリーを思い出そうとしているのですが、私は、この本の名前を合理的なものにするよう、あなたに働きかけていました。
Terry Sejnowski 2:12:49
いろいろな名前がありましたからね。しかし、あなたの発言は、まったくその通りです。あなたは自分の手柄にすることができます。
私たちの議論は、こうだったと思います。
Unknown Speaker 2:12:57
思うに、これは私たちが持っていたものではないでしょうか。
Terry Sejnowski 2:12:59
あなたが提案したことは、あなたの手柄になるということです。さて、私ですが、あなたが本のタイトルをつけてくれましたよね。しかし、それが良いタイトルだと認識するのは大変でした。
Stephen Wolfram 2:13:11
そうですね。さて、それでは、人工知能と人間の知能の出会いについてです。深層学習とは何か、その理論についてのあなたのコンセプトを教えてください。
Terry Sejnowski 2:13:25
AI？それは、深層学習だけではありません。強化学習も良い例だと思います。実は、最適化理論の一部なんです。時間差学習は、エンジニアであるリッチ・サットンが考案しました。脳の大脳基底核とドーパミンニューロンは、報酬予測誤差と呼ばれるものを表していることが何度も証明されています。つまり、報酬だけではなく、それが期待した報酬であるかどうかに反応するということです。期待通りの報酬であれば、シナプスの強さを変えることはありませんが、報酬が多かったり少なかったりした場合は、シナプスを再構成します。
このように、強化学習システム自体が非常に遅く、粘着性があり、表現のための深層学習部分がなければ、あまり強力ではありません。つまり、難しい問題を解決するために、異なるアルゴリズムを持つ脳のさまざまな部分が連携しているということです。そして、私たちは脳のさまざまな部分からインスピレーションを得ているのだと思います。
しかし、あなたが言及しているような、因果関係のような大きな謎はまだ残っていて、私たちはそれを解明し始めたところだと思います。
Stephen Wolfram 2:14:48
しかし、私たちはさまざまな種類の記述を想像することができます。個々のニューロンやニューラルネットワーク、深層学習の物語のレベルでの説明を想像することができます。もっと象徴的なレベル、つまり人間が理解できる言語レベルでの記述も考えられます。つまり、これは私の人生の物語でもあります。
Terry Sejnowski 2:15:08
OK, OK, OK. いいですか、いいですか、これは昔からある問題で、トップダウンかボトムアップかということです。AIの歴史を見てみましょう。それは50年代にコンピュータと同時に生まれました。では、何をするのでしょうか？どのようなアルゴリズムを探すかというと、低速のコンピュータが得意とするアルゴリズムを探すのです。それが彼らの仕事なんですか？そうですね。そして、ルールですね。つまり、論理の世界で4つの解決策を探すわけです。
しかし、どんな解決策を探しているんですか？あなたは、言語がどのようにして作られているのかということについて、直感を働かせています。つまり、これらのシンボルが秩序によって操作されていることを知っているのは、非常に妥当なことなのです。概念的なものや抽象的なものなどを表現しているのです。
これは民間心理学と呼ばれていますが、そのようなものです。私たちが自分自身に言い聞かせている話で、単純な話だからです。なぜなら、現実の世界は非常に複雑で、さまざまな次元や要因、相互作用があり、非常に高次なものだからです。それを表現できるシステムが必要なのです。
私が思うに、これが本当に問題なのですが、もしあなたが何かについて直観を働かせるならば、自然があなたに脳の仕組みを理解させる理由はありません。そして、それができて、なぜそれをしたのかというストーリーを作ることができれば、それだけで生き延びることができるのです。
Stephen Wolfram 2:16:57
そうですね。しかし、私の考えでは、可能なプログラムの計算世界の中で、ほとんどのものは、私が言うところの計算不可能なことを行い、ほとんどのものは非常に複雑なことを行います。
しかし、人間は自分たちの活動のために、計算の世界で可能なことのうち、ある程度の計算上の再利用性を持つ小さな一角を切り開いています。つまり、私たちの世界で起こったことについては、予測可能なことがあるのです。
もし、私たちが計算上の再利用不可能性のレベルで生活することができたら、予測可能なことは何もないでしょう。私たちは科学を発明することもできなかったでしょう。
Terry Sejnowski 2:17:44
そうですね、ではどうやってそれを実現するのでしょうか？という質問をしているわけですが、では、どうやってその方法を見つけ出すのでしょうか？という質問ですね。それがあなたの質問です。私はそう思います。
Stephen Wolfram 2:17:51
いや、そうではなくて、それはアトラクターのようなものだと思うんです。感覚データがあれば、世界のある種の規則性を認識することができます。それを工学的に利用し、認識した規則性に基づいて技術を構築し、おそらく生物学的な進化においては、これまでに利用できたものを利用するために、より多くの感覚装置を構築します。つまり、私たちは、ある種の計算上の可能性の宇宙の片隅に自分自身を刻み込んでいるのだと思うのです。そうでしょう？
Terry Sejnowski 2:18:30
それはどのようにして行われるのでしょうか？脳はどのようにしてそれを行うのでしょうか？
Stephen Wolfram 2:18:33
私たちは、ある構造を持った脳を与えられています。その構造によって、私たちは世界の中である種の縮小された能力を認識することができますが、全く異なる構造の脳であれば認識できる、他の縮小された能力があるかもしれません。
例えば、より数学的なレベルでは、周期性を認識できるかもしれません。入れ子構造やフラクタル構造など、全く異なる構造があるかもしれませんが、それらは異なる種類のものによって認識されるでしょう。そして、進化生物学においては、間違いなく、私たちが利用することができた規則性は、その種の規則性に対処するのに優れた脳を生み出すことになるでしょう。
つまり、私の考えでは、自己実現の予言のようなもので、私たちは、言い換えれば、ある種の規則性に対処できる脳を持っているということです。だから、そのような規則性があるように世界を設定するのです。ニューラルネットの効果が不合理であると言われていますが、ある意味、私の主張は、ニューラルネットが不合理に効果的に見えるのは、私たちの世界にあるものは、そのような方法が通用するように私たちが構築したものだからです。
ちなみに、Vignaが物理学において数学が理不尽に有効だと考えたのも同じ理由です。物理学は基本的に数学が有効な分野と定義されていましたが、乱流などがあると、数学があまり効かない分野になってしまうのですね。そして、それは物理学では教えられていないことでした。
私の主張はこうですが、しかし、それではまだ問題を解決できないと思います。 つまり、あなたが話しているのは、物事に対する象徴的なパラダイムのようなものです。私は人生の大部分を計算言語の構築に費やしてきましたが、それは世界の象徴的な表現の一種です。
なぜそれが良いアイデアなのでしょうか？なぜニューロンだけではダメなのでしょうか？しかし、私が思うに、その答えは、人を高めてくれるもの、つまり、より高い塔を建てることができるもののレベルを超えたものは、いわば、その上に建てることができる実際の構造を持っているということなのです。
問題は、ニューラルネットを見たときに、あなたが説明したことを見て、それは一種の民俗心理学のようなものです。しかし、もし私がもっと下に行きたいとしたら、脳がどのように働くかを実際に記述したいとしたら、個々のニューロンのレベルではなく、私がどのようにして象徴的な言語を作るかという認知レベルと個々のニューロンのレベルの間のある種の中間のレベルで、その間に何があるのか、何を記述するのでしょうか？
深層学習システムを持っていて、これを何十万回もやってうまくいったとすると、標準的な画像認識ネットワークを途中で壊して、ネットワークの途中で何を考えていたかを見ることができますが、これはゴミのように見えますよね？問題は「何」かということです。
Terry Sejnowski 2:22:15
そうですね、そうですね、ここにあなたが私たちを助けてくれる場所があります。それは、あなたが微細なディテールをすべて含んだ下部構造から、因果関係が単純化されるレベル、あるいは大規模な構造を再編成することができるレベルへと移行することができたということです。
なるほど、それはどのようにして起こったのでしょうか？あなたが使っているのと同じツールを使えば、神経細胞にも似たようなことが起こるのではないでしょうか？
Stephen Wolfram 2:22:55
そうですね。物理学の場合は、一見無関係に見える空間の小さな断片がある方法で書き換えられることで、どのようにして生成性が生じるのかということを理解しています。実際、私自身がちょうどこのことについて書いていたのですが、私が「マルチ・コンピュテーショナル・パラダイム」と呼んでいるものは、システムを更新する多数の独立したイベントのことです。
問題は、それをどのようにして作るかということです。例えば、セルラー・オートマトンについて考える一般的な方法では、セルラー・オートマトンは、ある状態、白黒のセルの並びを持ち、次の状態をどのように作るかを示すルールを持っています。システムの状態がどのように進化していくのか、本質的には時間内の線形のシーケンスが得られますが、そのシーケンスは計算不可能な場合があり、すべてのステップを追わなければそのシーケンスの最終結果を知ることはできません。
しかし、基本的には、時間は1つの状態から次の状態へと移動する1次元のものです。私たちが物理学で行っていることの1つに、更新が起こりうるという考え方があります。そして、これらの更新は、起こることを選択した場所で起こることができます。つまり、単一の時間の流れではなく、私が「多元系」と呼んでいるものがあり、基本的にこのような時間の流れの分岐と合流の連続があるのです。つまり、このような時間の糸が織り成す一連の流れがあるのです。
このシステムの特徴の1つは、「時間tが何に相当するかの時点で、システムに何が起こったのでしょうか？答えは、はっきりとしたことは言えません。なぜなら、様々な時間の流れがあるからです。何が起こったかを言うためには、基本的に観察者を想像し、参照フレームを定義しなければなりません。そして、誰かがこれらの異なる糸をどのようにしてまとめ上げるのかを考えなければなりません。
実際、これはウィーラーの話や宇宙の観測などに戻るのですが、この多元系のパラダイムでは、観測者を関与させる以外に選択肢はありません。私たちが発見したのは、やはり物理学の場合はもう少し複雑で、他の場合はまだよくわかっていませんが、観察者自身がシステムの中に組み込まれている場合でした。観察者が、物理学における観察者の重要な点は、観察者が自分の時間を逐次化しているということです。
しかし、あなたは、観察者は、時間が逐次化されているという視点を持っているだけだと言います。観察者は、すべてがある種の時間の流れの中で流れていると想像しているわけですが、そう言った途端に、必然的に一般相対性理論が生まれます。
そこで問題は、脳にも同様のものがあるのかということです。すべてのニューロンがあり、それらはすべて更新されています。実際の脳では、このようなことが可能です。
Stephen Wolfram 2:26:10
実際の脳、つまり実際の特定の脳の例では、脳の中で起こった特定の発火のシーケンスがあります。しかし、脳のモデルでは、ニューロンが異なる時間に発火することを想像することができるでしょう。つまり、多元的なグラフの構築や因果的なグラフの構築など、技術的な詳細のレベルにまで踏み込んだ想像ができるのです。
しかし、全体としての疑問は、もしまとめて言いたいのであれば、脳について何が言えるのか、ということです。ですよね。進行波などの話をしてきましたが、これは非常に親切な、もちろん非認知的なレベルでの、脳への集合的な影響です。
そこで疑問なのは、もしもっと、つまりニューロンから心理学を導き出すようなレベルで物事を語るとしたら、それはどのようなものになるのかということです。どのようなことが想像できるでしょうか？誰かが「何年も先の未来」と言ったような理論を想像できるでしょうか？実際に生成性を脳に適用してみたら？それはどのようなものでしょうか？何だろう……どんなことを言うんでしょうかろう？それは？つまり、それは、それに似ているということです。
例えば、私は、物理学にある様々な考え方、その形式論がどのように異なる分野に適用されるかについて考えてきました。例えば、私が考えていたのは経済学です。経済学の重要な問題は、「異なるエージェント間で小さな取引が行われているというだけではなく、物に価値があると言うことはなぜ合理的なのか」ということです。
あなたは、金の価値は明らかではないと言うことでよく説明できると言いました。それはそうでしょうね。そこで質問なのですが、脳において、「ああ、そこか」というレベルを超えて、あなたが想像できる類似した種類の集合的な声明は何でしょうか？これは個々のニューロンなどで起きていることなのでしょうか？つまり、私は好奇心旺盛で、それはわかっています。
ジェフ・ホーキンスなど、私たちが知っている人たちは、脳がどのように機能するかについて様々な種類のやや高度な理論を持っていますが、私は何も知りませんし、理解したこともありません。ニューラルネット・スラッシュ・ブレインがどのように機能するかについて、考えなければならないような、新しい高次の理論はありますか？
Terry Sejnowski 2:28:45
つまり、あなたがたどり着いたのは「意識」というものではないでしょうか？
Stephen Wolfram 2:28:52
そうですね、私が思うに、他には
Terry Sejnowski 2:28:54
つまり、世界で起きていること、意識していることについて、私たちが言葉にできる高レベルの説明のことですよね。つまり、これは粗雑なやり方、言い方です。しかし、意識に関する理論は存在していると思います。複雑さに関係するものとして、次のようなものがあります。
Stephen Wolfram 2:29:20
が、私を悩ませるものには何があるでしょう？例えば、私は最近、意識について少し考えてみましたが、私はせいぜい応用意識研究者といったところです。統計力学の場合、箱の中で気体の分子が跳ね回っていますが、熱力学では何が起こっているのか、私たちの認識は気体の法則、つまり圧力や温度などに関するものです。気体をそのようなレベルで認識することは自明ではありませんが、個々の分子のレベルでは認識するかもしれません。
しかし、私たちは物事を粗く見てしまうので、圧力と温度で認識してしまうのです。それはつまり、熱力学の法則が働くことや、その他のあらゆることを信じているということです。つまり、私が「名言意識」を使って言いたいのは、「宇宙のようなものが存在すると結論づけられる属性は何か」ということです。その答えは、基本的には2つの属性が必要だと思います。計算による観察者の境界性と、連続した関係と時間です。
言い換えれば、この2つの属性があれば、統計力学の場合、粗視化を行うという考えを持つことで、熱力学の第2法則が得られ、気体の法則などが得られるようになります。それと同じように、意識についての基本的なことを知っているだけで、それは計算量に制限があり、時間が暗示するように連続しているので、私たちが知覚する物理法則を知覚することができるのです。もっと細かいことを言えば、時間的に逐次化され、計算機的に拘束されているということになりますが、脳を超える多くのものがそれを行います。つまり、そうではないかもしれませんが、それをしない宇宙人の知能を想像することはできます。
しかし、頭脳以外の多くのものはそれを行います。さて、脳について具体的に考えるとき、私たちが想像すべき属性は、順序的な因果関係や時間、計算機的な境界性だけではなく、もっとたくさんあるのかもしれません。物理学を理解するために必要な意識の理論だけではなく、脳の理論を語るためのより広いカテゴリーとは何か、という質問です。
Terry Sejnowski 2:31:43
では、ダン・ホフマンさんはご存知ですか？私は彼の本を持っていませんが、見てみてください。どこかに置いてあると思うんですが。いや、彼は面白い考えを持っているんですよ、その線で。ただ、次のようなものがあります。進化は我々が生き残るためのセンサーを与えてくれた、と。そして、生き延びるためには重要ではないので、私たちがセンサーを持っていない、もっとたくさんのことが起こっているのかもしれません。
Stephen Wolfram 2:32:18
もちろんです。気体中の分子の個々の配置は、私たちが利用するものではありません。私たちが利用するのは全体的なものだけで、例えば流体では、水が多かれ少なかれこのように流れていることを気にしますが、私たちはセンサーを持っていませんし、より詳細なミクロの動きには関心がありません。つまり、世界で存在しうる唯一のアトラクターに私たちが住んでいるとは必ずしも言えないと思います。
Terry Sejnowski 2:32:48
つまり、他にどんな現実があるのかということを探求しているのだと思います。しかし、私は、あなたが問題を設定した方法が好きです。それは、必要とされる制約、そして多分、避けられない制約に関係していますよね。
もしあなたが、私たちが知っているように、永続させることができるとしたら。
Stephen Wolfram 2:33:15
しかし、重要なのは、私の考え方では、一般的なセルラー・オートマトンなどは、計算上不可解な振る舞いをします。問題は、どうすれば世界の中に非簡約性のポケットを見つけることができるかということです。脳を個々のニューロンのレベルで表現しようとした場合、脳には計算上の非簡約性がたくさんあると思いますが、しかし、脳の中で起こる何らかの集合的なことは、いわば予測可能で有用なことなのです。
そこで疑問なのは、計算上の不可解さを超えた脳のレベル、つまり非簡約性のある層、ポケットのようなものが、いつ、どのように見られるのかということです。物理学では、私たちが知っている還元性のポケットは、基本的に3つの統計力学、一般相対性理論、量子力学であることがわかっています。
今では、この3つがどのようにして同じように機能しているかを理解しています。どれも同じように機能します。統計力学では、熱力学第二法則の有効性は、個々の分子がどのように動いているかを追跡していないという事実に起因しています。
私たちが知っているのは、このような集合的な事実だけなのです。だからこそ、エントロピーが増大するなどと考えられるのです。つまり、物理学が成し遂げたことは、通常であれば完全に計算不可能な、つまり何が起こっているのかわからないような構造物の中に、還元可能なポケットを特定することなのです。
問題は、脳の場合、脳が動作する方法の中で、私たちが利用していることは明らかです。画像認識システムや物体認識システムが動いているのを見ると、最も低いレベルで見ることができ、人工ニューラルネットであろうと本物のニューラルネットであろうと、個々のニューロンに何が起こっているかを見ることができます。それはとても複雑です。計算機上では解決できないような話なのです。
しかし、アトラクターなどに進化するものを知る方法の全体像には、個々のニューロンのレベルを超えた全体像があるように思えます。その全体像とは、アトラクターがあるとか、何かがあるとか、そういうことだけかもしれませんが、私たちができることは、「物事はうまくいく」と言うことだけかもしれません。アトラクターがあるという事実だけでは、動的な強化学習のようなものは得られないのです。
これはかなり静的な表現です。しかし、私が言いたいのは、もしかしたら常識から外れた、脳に関する一般的な事実のようなものの一つが、このアトラクターと引力の基底という考えだということです。
これは、個々のニューロンの詳細を超越したものであり、脳がどのように機能するかについての確固たる一般的な考えです。つまり、私が疑問に思うのは、もっとダイナミックなモデルとなる別のレベルがあるのではないかということです。
Terry Sejnowski 2:36:31
ところで、静的なアトラクターを超えて、今はラインアトラクターがあります。これは、安定したネットワーク構成が一列に並んでいる場合のもので、例えば円のようなものです。興味深いことに、これは脳でも発見されていて、ハエの脳でも発見されています。つまり、海馬の十分な数のニューロンを記録すると、マウスが右か左かを判断するようなタスクを行っていることがわかります。その結果、個々のニューロンが異なることをしていても、それらのニューロンが経時的に通過する部分空間を見ると、非常に小さなチューブに絞られていることがわかりました。
Stephen Wolfram 2:37:36
つまり、これは事実上の次元削減のようなものです。すべてのニューロンから記録を取り、ある種の次元削減を行い、ある意味で物がどこに住んでいるのかを見ようとしているのです。しかし、そうですね。
Terry Sejnowski 2:37:46
素晴らしいのは、どのような試行でも、チューブの中を異なる軌道で進むことです。もし、ニューロンだけを見ていたら、そんなことはわからないでしょう。ただ、ニューロンが異なる試行で異なることをしているというだけです。
しかし、空間全体を十分に把握していれば、サブスペースを見れば、脳はより大きな次元の中にサブスペースを切り分けており、行動が生きる場所は非常に限定されたサブセット、サブスペースであることがわかります。
Stephen Wolfram 2:38:29
つまり、記号的なものと神経的なものの話をしているということです。基本的に、アトラクターがあると言った時点で、それは象徴的なサイズ変更のようなもので、基本的なニューラルネットの考えを表しています。問題は、そのような構造を持っている場合、つまり個々のニューロンを持っていて、それらがそれぞれの役割を果たしている場合です。
あなたが言いたいのは、脳の説明は、個々のニューロンのレベルではなく、純粋にアトラクターのレベルで行われるかもしれないということです。さて、問題はそれをどのように類推するかということです。
統計力学では、個々の分子は気にせず、流体の流速などの集合体だけを気にする、というような例えになると思います。これとは少し違います。アトラクターの場合は、ニューロンネットワークを考え始めた初期の頃に話題になったような、「平均的な活動を見ればいい」というようなことを言っているのではないんですね。
このレベルは、統計力学をやっていたレベルで、「すべての分子の個々の速度ベクトルは見ないでおこう」と言います。集合的な速度ベクトルだけを見よう。これは、「すべてのニューロンの個々の活動を見ないで、平均的な活動だけを見よう」ということと似ています。平均的な活動だけを見よう。これは神経生理学などで行われていたことのレベルゼロのようなものですが、あなたが言っているのは、単なる活動の集合体のレベルではなく、ある属性を見ようということです。
つまり、実際のニューロンの発火パターンを基本的に次元縮小したものです。そして、縮小するのではなく、単に平均的な活動を取る、それが粗い粒度の測定である、と言うのではなく、代わりに次のように言っています。その代わりに、別の種類の、もちろん噴霧測定を想像してみてください。
そして、それがシステムで起こっていることを記述する方法なのですね。そうすると、平均的な活動に対してPDSか何かを導き出すことができたように、このような、次元削減された脳の表現に対して得られる理論はどのようなタイプのものになるのか、という明らかな疑問が生じます。
脳の次元縮小構造の集合的な理論はどうなるのでしょうか？どのようなものを想像しますか？言い換えれば、あなたはマウスのチューブを手に入れたわけですが、そこで効果的に記述しているのは、ある種の抽象的な概念空間の中で、平均速度ベクトルではなく、もっと複雑な次元縮小されたものを、抽象的な表現として、つまり抽象的な空間の中にあるかどうかを記述しているのです。
そこで問題になるのは、それらの集合的なもののダイナミクスはどうなっているのか、ということです。その抽象的なものとは？
Terry Sejnowski 2:41:38
私たちが言ってきたことを言葉で説明するのに最も近い数学の部分は、多様体の埋め込みですね。そうすると、この種のことを想定して、人々が数学的な説明を考え出した分野があるということになりますね。
Stephen Wolfram 2:41:57
明らかではありませんが、多様体を持っています。つまり、あなたが言っているのは、もしこの次元削減の問題が、集約された変数が多様体の中に存在するものとして記述できるのであれば、それでいい、ということです。
例えば、私たちが物理学のプロジェクトで研究してきた、時空の場合は多様体がありますが、量子力学の場合はヒルベルト空間があるので、もっと複雑になります。ユークリッド空間のような局所的な構造を持つ、伝統的なマニホールドではありません。
つまり、ユークリッドの氷の形をした空間は、たまたま物理的な空間をうまく説明することができましたが、それがいわば神経空間をうまく説明することになるかどうかは、まったく自明ではありません。
つまり、それです。神経空間といっても、ヒルベルト空間のようなものや、多様体という特定の概念を持たない他の構造に近いものかもしれません。つまり、マニフォールドがあれば、PDSなどがあることには同意します。
しかし、疑問に思うのは、次元削減を行って、ある種の疑似的な記号的記述を得たと言っていることです。そこで一つの疑問は、次元削減を行ったときに、次元削減したものを実行するのかということです。それは、何が起こっているのか、ある種の記号的な言語的記述があるものなのでしょうか。それとも、まだ科学では語られていない新しい種類の構成要素なのでしょうか？
Terry Sejnowski 2:43:42
明確ではありませんが、私が彼の研究に説明していることは、ここ2、3年の間に行われたものです。これらの新しい次元削減法は非常に高度なもので、単なるPCAでは得られません。基本的には局所的な線形エンベディングからパッチを当てていく必要があります。だから、複雑なビジネスなのです。
Stephen Wolfram 2:44:04
局所的な線形埋め込みを行って多様体を仮定すると、基本的には、そうですが、それは
Terry Sejnowski 2:44:09
絶対に多様体を仮定して、それが一緒になっているように見えます。これが最適な表現であるかどうかは、誰にもわかりません。しかし、私には多くの謎を説明しているように思えるのです。そして、もしそれがうまくいけば、私たちが築き上げることのできるものになると思います。
Stephen Wolfram 2:44:29
別の話をしましょう。Hubert Weasylの時代に発見されたことの1つに、視覚野が視覚シーンの特定の特徴を選ぶという事実があると言いましたよね。さて、質問ですが、あなたは深層学習ニューラルネットの内部を見ていて、様々な種類の特徴などを拾い出しています。
問題は、あなたが知っていることは、感覚の一形態であり、知覚の一形態であるということです。これは、電極の受容体のようなニューロンの内部を理解するのに適した知覚です。このニューロンは、私たちが感知しているものとは異なる世界のある側面を感知しています。私たちは通常、脳がどのように機能するかという内部構造には興味がありません。
しかし、例えば神経科学の分野では、脳の内部構造に興味を持つかもしれません。そこで問題になるのが、進化した神経科学者が持つべき、いわば脳の働きの内部を説明するための関連機能を持つ特徴検出器は何かということです。
これらの次元削減技術は、いわば進化した神経科学者が再レンダリングするための特徴検出器になろうとしているということですよね。つまり、それらの特徴検出器が明らかではなく、問題は、それが何か言えることなのか、ということです。
もし？つまり、その特徴検出器をどのように特徴づけるかということです。それらの特徴検出器は、私たちが知っているようなものなのでしょうか、例えば脳のようなものなのでしょうか？可能性はありますか？
5つの新しいアイデアがあるのかもしれませんね。視覚について考えてみると、エッジを認識したり、センターサラウンドセルを扱ったり、ブロブがあったりと、人間の言葉でも、シーンはどんなものか、ああ、このような直線的なエッジがある、このような幾何学的な構造がある、などと表現するようなものが一定数あることがわかっていますが、私たちが自分の種として表現する語彙は限られています。
では、たった5つの新しい概念を知っていれば、典型的な、つまり大量に訓練されたニューラルネットの典型的な内部構造を説明できるかというと、そうではないでしょう。それは確かなことなのでしょうか？そして、もしそうだとしたら、その概念とは何でしょうか？
つまり、あなたがおっしゃったように、例えば、サメの場合は自明ではありませんし、私たちの場合も、視覚野や視覚シーン、エッジディテクターのようなものではありません。わかりますか？
私たちの世界はエッジを持つ物体で構成されているので、エッジを持つ物体で構成されるべきだということは自明ではありません。つまり、あなたの後ろにある木は、多くの点であまり説得力のあるエッジを持っていません。つまり、あなたの後ろにある木は、いろいろな意味で説得力のあるエッジを持っていません。
しかし、言い換えれば、典型的な建築物の環境では、エッジ検出器のコンセプトはうまく機能しています。もしあなたがサメであれば、エッジ検出器のようなものが必ずしもポイントになるかどうかは明らかではないでしょう。
そこで質問なのですが、もし、あなたが神経科学の世界に身を置いていて、深層学習ニューラルネットの内部を見て、それが何をしているのかを想像したときに、エッジとは何か、抽出しようと思う特徴とは何か、ということを考えてみてください。
脳の中で単一細胞の記録を行ってきたことなどに類似している可能性があります。おそらく、何が、何が、何が、破壊的な概念のようなもので、エッジの類似性や、脳がどのように機能しているかの内部構造のようなものについて、何かを推測することができるでしょうか？そうですね。
Terry Sejnowski 2:48:30
深層学習ネットワークから始めたことが、私たちの足がかりになっていると思います。実際の脳は非常に高度に進化しているので、実際には難しいのです。
Terry Sejnowski 2:48:45
実際の脳は非常に高度に進化しており、動作させるための多くの詳細情報から、原理や本質的な部分を選別することは困難です。しかし、それらすべてが、最終的には理解するために重要になると思います。
しかし、少なくとも我々の深層学習ネットワークでは、進歩し始めています。いくつかお話しできることがあります。David silho氏はとても素晴らしい分析を行いました。彼は会計に関連した単純なタスクを取り上げ、詳細は省きますが、byやパロディなどをリカレント・ネットワークに訓練させ、入力に基づいて単純な決定を順次行うようにしました。そして、それぞれのネットワークは、異なる接続を持つように訓練されていることがわかりました。
なるほど。そして彼は、あなたが説明したような方法で、ダイナミクスを分析しました。活動パターンを見ると、どのネットワークも同じ順番でアトラクターの間にあることがわかりました。
これは、単純な問題のクラスを幾何学的に記述したもので、個々のニューロンの詳細を超越した普遍性があり、発見されたアルゴリズムを、正しい出力に導くためのネットワーク内の異なるウェイポイント間のダイナミクスとして記述したものです。これが始まりかもしれませんね。これが最初の一歩です。
Stephen Wolfram 2:50:43
質問の一つは、私たちの象徴的な言語には、人が考える特定の種類のものがあり、関数を持ち、関数を組み合わせたりします。現在、私たちにとって非常に実用的な問題の1つは、ニューラルネットを、層の接続を定義するグラフなどの観点から記述する、非常に優れた象徴的な方法があることです。
問題は、私たちの伝統的な記号的言語に近い、より高度な記述方法があるのかということです。あるいは、私が今取り組んでいるのは、ニューラルネットのための関数型プログラミングとは何か、ということです。つまり、個々のニューロンの機械コードではなく、もっと下の階層に到達するための記号的な構成方法とは何か？より大きなスケールの構造とは何でしょうか？
Terry Sejnowski 2:51:50
そのうちの1つ、「注意」についてはすでに触れました。私が説明した問題もそうですが、より複雑な問題では、入ってきた入力のシーケンスを見て、それが奇数か偶数かを判断するような、選択能力が必要です。
これは私たちにとって自然なことで、周りを見回したりしますが、内部的には、一度に1つのことにしか集中できませんよね。そして、言葉は一度に一つずつ出てきます。ですから、この高度に並列化された分散表現を実現する方法が必要なのです。そしてシーケンスを生成するのです。
Stephen Wolfram 2:52:36
ですよね。これは私が意識を応用したのと全く同じ話で、これは時間内の連続した位置であり、この多重計算システムから単一のスレッドである何かに向かっているのです。
さて、実際のところ、連続したIsingのアイデアは、私たちの物理学のモデルでは、参照フレームを使って行われています。興味深いことに、量子力学は、実際には逐次化されていないという事実から得られる傷の物語であり、言い換えれば、実際には多元的な構造があるということです。
問題は、脳や脳の心理学について考えるときに、起きていることが実際には逐次化されていないという事実の傷跡や影のようなものを見ることができるかということです。 注意のスレッドが1本だけではないという事実、注意の馬鹿げた並列化があるかもしれないという事実は、それについて語る理論を作ることができた場合の例だからです。
通常は古典物理学のように一本道ですが、実際には、いわば多元的な構造の兆候が見られる可能性もあるわけです。完璧な古典的銀河系からの逸脱があり、単一の注意の糸があります。では、脳にプランク定数はあるのでしょうか？
Terry Sejnowski 2:54:07
そうですか、わかりません。ただ、非常に奇妙な錯覚を思い出させてくれます。フラッシュラグ錯視と呼ばれるものです。なるほど。フラッシュラグとは、固定された環状のものと、動いている点があって、それがちょうど環状の真ん中で点滅しているように見える錯覚のことです。
しかし、それはその中を移動しています。見えませんよね。端の真ん中にフラッシュは見えません。ずれているのが見えます。それは、現実を破壊しているということですか？なぜなら、現実には真ん中でフラッシュが光っているのに、あなたはそのように認識していないからです。そうでしょう？
つまり、脳が報告していることと、実際にそこにあるものとの間に、何かミスマッチがあるということです。誰かが移動しているとき、あなたはその移動先を予測しているというのは、非常にもっともな理論です。つまり、先を予測するのです。そうすると、少し先にあるように見えるわけです。
さて、15年ほど前、私のポスドクがある実験を行い、それが間違っていることを証明しました。とても簡単な実験です。何をするかというと、こうです。同じ場所に来ているのです。そして、通常のフラッシュ・ラグ効果のように、フラッシュします。
しかし、前に進み続けるのではなく、後ろに下がり、反転してしまうのです。予測理論では、あたかも踊っているかのように見えるはずですよね？なぜなら、あなたはその瞬間に入ってくる入力に基づいて予測をしているからです。
しかし、私たちが示したのは、「サイエンス」誌に掲載されたとおり、実際には逆になっているのではないか、ということでした。つまり、実際には反対側に行っているのです。
さて、これで何がわかるかというと、これこそが科学の醍醐味なのですが、脳は予測するのが仕事ではなく、指示するのが仕事だということです。脳が教えてくれるのは、今見ているものに基づいて、後から入ってくるものに基づいて、何かを再構築しているということなのです。
Stephen Wolfram 2:57:00
では実際に、誰かにリアルタイムで質問すると、刺激が何であったかに関連して、リアルタイムで何が見えるか、ということはありますか？つまり、人々が見たと記憶しているものが、実際にリアルタイムで見たものではないという可能性があります。つまり、思考の形成が実際の刺激に遅れるということですね。その可能性は
Terry Sejnowski 2:57:23
それは、あなたがいつも、何を見たかを後から教えてもらうように頼んでいることと関係があります。だから、さらにわからなくなってしまうのです。そこで、脳の中に入って、「ネイト、まずはニューロンから記録してみよう」と言ってみましょう。大脳皮質の同じ領域であっても、上の方にある神経細胞は、情報、つまり最初のスパイクが到達するまでの時間が、下から上へと異なることがわかりました。
そして、階層の異なる領域では、異なるレイテンシーを持っています。また、スパイクのパターンも異なります。つまり、知覚の時間は1つではなく、レベルで見れば、階層の異なる部分で何度も活性化されているニューロンなのです。そしてそして、それを何とかして知覚に還元し、1つのレポートに還元するのです。そうでしょう？それがミステリーなのです。
あなたが説明してくれたことと非常によく似ていると思います。つまり、ミクロレベルでは、大脳皮質のさまざまな部分をさまざまな遅れで流れているあらゆる種類の糸があり、それが何とかして自分の知覚に折り込まれるということです。それが私たちが知らないことであり、好きではないことなのです。
Stephen Wolfram 2:58:50
私たちが物理学について理解していることからすると、古典物理学では、活動の明確なスレッドのようなものがあるという事実は、私たちが、世界で起こっていることを見るときに物事を順序立てて見るという事実と密接に関係しています。そして実際、先ほど述べたように、基本的には量子力学の影のようなものとして存在しています。
このことは、脳の中で想像される他のある種の効果についての疑問を提起しています。それは、本質的に注意の連続性の効果からの逸脱であり、いわば量子効果のようなものですが、脳の中の量子力学の意味での量子ではなく、形式論の意味での量子です。物理学では、古典的な整列性からの逸脱量を特徴づける固定定数メモリ・プランク定数があるように、脳ではどうなのか、つまり定数は何なのか、ということになります。
しかし、もしかしたら、私が知らない何かがあるのかもしれません……それは……それは……何かです。わかりました、それは別の機会にしましょう。さて、聞いてください、私たちはおそらくここでまとめるべきでしょう。
しかし、でも、でも
Terry Sejnowski 3:00:26
でも、でも、最後に考えてみてください。あなたは本当に重要な問題を提起しましたが、それは神経科学者のようなタイプではなく、自然と、どうやって計測したらいいのか、どうやって運用したらいいのかわからないので、遠ざかってしまう傾向があります。意識は氷山の一角であって、脳の中では常に非連続的な動きが行われていて、それは無意識と呼ばれています。
そう、あなたはそれを意識していません、あなたはそれを意識していません。しかし、それが重要であることはわかっています。なぜなら、多くのことが無意識の中から生まれてくるからです。まあ、脳のどこかから来たんでしょうね。どこかの糸が急に昇格したのかな。
いずれにしても、今いる場所の謎をうまく表現しているのはさすがだと思います。そうでしょう？
Stephen Wolfram 3:01:45
私が本当に興味を持っているのは、未来のある時点でのことを想像してみることです。経済学にも、神経科学にも存在しない場所です。神経科学のグローバルな理論について、どんなことを想像し、どんな議論がなされるでしょうか？例えば物理学では、合理的な物理法則が存在するにもかかわらず、それに基づいて選択した測定値は明らかではありません。
同じように、神経科学においても、必ずしも明らかではないと思います。しかし、ニューロンの活動などの次元の低下を調べ始めれば、脳がこのように機能していることが明らかになるかもしれません。
しかし、私たちは正しい機能を見ていなかったので、いわば明白な理論を見ることができなかったのです。だから、私は不思議に思っているんです。私たちの物理学モデルに起こった大規模で奇妙な出来事は、いわば物理学の基礎となるマシンコードモデルを持っているからだと思うのです。
物理学という分野で多くのことを成し遂げてきましたが、その物理学に関連づけることができるということは、同じマシンコードを他の分野に応用すれば、物理学が発見したすべてのことを活用できるということになります。
例えば、物理学から神経科学に至るまでのあなたの人生において、物理学で学んだブラックホールや重力放射などの研究を、神経科学ではどのように活用したのかを知りたいと思います。しかし、物理学で学んだことの多くは、神経科学に持ち込むことができませんでした。つまり、深層学習システムの理論は、ほとんどが物理学から持ち込むことができなかった理論なのです。
今、私たちがやっていることの中で驚いているのは、物理学の機械コードから得られる形式論の一部が、同じ機械コードを使えば、より高いレベルの形式論が移植可能だということです。
Terry Sejnowski 3:04:19
そうなるかもしれませんね。物理学で何を使えばいいかという問題ですが、それは特定のものではありません。道具、つまり数学のようなもので、彼らは最も効果的であると書きますが、磁気の特定の理論は翻訳されていません。
Stephen Wolfram 3:04:47
数学を見てもそうです。平均的なディープラーニングネットワークを見て、これをGPUにぶつけてみようと思ったとします。物理学で使われているような、何が起こるかを示すような数学は、ほとんどありません。まあね。
Terry Sejnowski 3:05:04
つまり、これは人々が「説明可能性」と呼んでいるものなんです。説明できるかどうか？とか？答えは「まだ」です。しかし、タンパク質の折りたたみを見てみましょう。でしょう？これは生物学の聖杯のようなものです。
深層学習や深層心理が、新しいタンパク質の配列を利用して、X線結晶学に迫るパフォーマンスレベルを達成したことに、誰もが衝撃を受けています。つまり、ショックを受けているのは、これが非簡約性の典型的な問題だからです。
あるいは、微分方程式のシミュレーションという力学的な作業を実際に行わなければ、タンパク質を折り畳むことはできないと誰もが思っていたのではないでしょうか。
Stephen Wolfram 3:05:57
問題は、たくさんの切手のようなタンパク質がある限り、いわば、たくさんの異なるタンパク質がある限り、問題は、その空間が解釈できるかどうかです。つまり、限られた数の切手でうまく補間できるほど、空間が複雑になっているということでしょうか？私はそうだと思います。
Terry Sejnowski 3:06:21
そうらしいですね。つまり、可能なタンパク質の配列の数は、ほぼ無限にあるということです。そして、実際に見られるものは、比較的小さなサブセットなのですね。
Stephen Wolfram 3:06:32
実際に使っているタンパク質がランダムなタンパク質なのかどうかというのは、まったく別の問題ですね。私の標準的な質問は、生物学で使われるタンパク質はランダムに選ばれていると思いますか？
Terry Sejnowski 3:06:53
この質問に対する答えはいろいろありますが、よくあるのは、何度も使われるモチーフで、機能を変えない置換があることがわかっています。そのため、複雑な答えになっています。
Stephen Wolfram 3:07:05
しかし、α螺旋のようなものは非常に一般的です。つまり、タンパク質の構造の物理学的性質を利用して、αらせんを作ることができるのです。
Terry Sejnowski 3:07:16
二次構造は非常に典型的なもので、何度も何度も発見されていますが、すべてのタンパク質に共通していることです。
Stephen Wolfram 3:07:31
しかし、私たちが話しているのは、タンパク質の空間において、関連する特徴とは何かということであり、一つには、アルファヘリックスとベータシートがあるということです。
Terry Sejnowski 3:07:45
なぜかというと、タンパク質には目立たない他の機能が必要だからです。それは、タンパク質が堅牢であること、折り畳まれた状態を維持すること、特定の場所に結合するために特定の方法で屈曲することを可能にするものです。言い換えれば、タンパク質が生存するためには、他にも多くのことをしなければならないということです。そして、それらが明白でない限り、それがポイントなのです。
Stephen Wolfram 3:08:11
そうですか？まあ、でも、そうですね。しかし、特定の属性を持つタンパク質を進化させた後、問題は、記入するのに十分な切手を持っているかどうかです。
Terry Sejnowski 3:08:21
そうですね。どうやら答えはイエスのようですね。しかし、これは明らかではありませんが、最大の発見かもしれませんよね。なぜなら、やはり明らかではなかったからです。
Stephen Wolfram 3:08:30
ですよね？そして、あなたが提案するように、それは、ある意味では、タンパク質を記述するとしたら、アルファ・ユリシーズなどのように、私たちが知っている特定の特徴しかありませんが、おそらく、実際には別のレベルの記述があるのでしょう。つまり、科学のポイントの1つは、起こっている複雑な物事の中で、何か特定の記述可能な特徴があるのではないか、ということです。
Terry Sejnowski 3:09:05
説明可能性？私の予想では、それは言葉の形ではなく、数学の形で現れるのではないでしょうか。数学的な構造、たぶん多様体が出てくるでしょう。
Stephen Wolfram 3:09:16
これは問題ですよね。それが伝統的な数学なのか、それとも計算機的なものなのでしょうか。
Terry Sejnowski 3:09:22
わかりました、わかりました。説明になるような計算上の抽象化があるかもしれないということは、完全に受け入れますが、しかし、それ以上のことがあるでしょう。とても複雑なものになるでしょうね。ところで、もう1時間半を超えてしまいましたね。
Stephen Wolfram 3:09:39
ええ、そうですね。越えていませんが、越えます。
Terry Sejnowski 3:09:41
私は思いました。帰る前に、Stephenさんに思い出していただきたいのですが、私の本「The deep learning revolution」のネーミングに、あなたがとても重要な役割を果たしたことを思い出しました。
あなたの後ろの棚にある 新しいタイプの科学ですね。1.1 私が言うところの「複雑さ」とは何の関係もない、ということですね。
Stephen Wolfram 3:10:04
そうですね。私の後ろにはたぶん、「The Science of complexity」という前のバージョンがあると思います。
Terry Sejnowski 3:10:10
そうですね。そのタイトルは、一般的なタイトルではなく、あなたが望んでいないものだと確信したのは、私とベアトリスだったと思います。
Stephen Wolfram 3:10:17
さて、市場調査のポイントをひとつお話ししましょう。この話をしたことは覚えていますが、市場調査のポイントの1つは、「複雑性の科学」という本を持っているとします。そうすると、次に聞かれるのは、「とても複雑そうですね」という言葉です。
良い名前があれば、新しいタイプの科学になります。そうですね、最初に聞かれる質問は「何が新しいの？面白いことに、あの本のタイトルは、私があの本を書いてから20年近く経ちますが、人々はこう言うのです。
私がその本で説明しようとした基本的な計算パラダイムは、その間にかなり一般的なものになっています。人々は、「あの本は何についてのものだったのか」と考えます。と言われるようになりましたが、最終的には、その本のタイトル通りのことが書かれている、いわば新しいタイプの科学のことだと気づくわけです。そして人々は、実際に振り返ってみると、それが実際に正しいタイトルであったことに、ちょっとしたショックを受けているようです。
もうひとつ、あなたのコメントによると、新しい種類の科学を発展させるには、例えば物理学との関係はどうしたらいいのでしょうか？皮肉なことに、私たちが物理学について理解したことで、実際にそのようなことが起こっていることがわかりました。
というのも、新しいタイプの科学に通じる考え方は、この物理学への新しいアプローチに通じる考え方の基礎部分であり、人々が物理学で考えている多くのことに非常にうまく食い込んでいることがわかったからです。最終的には、物理学のレバレッジド・バイアウトとは呼ばないでしょうね。
しかし、最終的には、物理学とは何だったのかを再定義することになりました。物理学で何を勉強すべきか？言い換えれば、どんな種類のモデリング方法を使うべきか？これは実際に起こっていることですが、説明可能性、知っていること、持っていること、そしてどうやってそのようなことをするかという点について、私は指摘したいと思います。
私の主な人生の活動は、世界を説明するための計算言語を定義しようとすることですが、それはまさにそのためのものです。数学ではなく、新しいタイプの表記法を見つけることなのです。数学の表記法は400年前のものですが、私たちがやろうとしているのは、世界を表現するための新しい、本質的には計算的な表記法を見つけることなのです。
ある意味、あなたが求めているのは、神経科学に適した計算機上の表記法とは何か、ということです。そう、それが今日ここで話そうと思っていた最初の質問だったのです。そして私たちは、その多くの側面について話すことができました。
私が思うに、神経科学に適した計算機の表記法は何かというと、マシンコードやニューラルネットかもしれませんが、より高いレベルの記述は何かというと、数学的なものかもしれませんし、一般相対性理論のように、数学的で非常に多様体に基づいたものかもしれませんし、計算言語設計の問題のようなものかもしれません。
私が解決したいと思っているのは、計算言語の記述とは何なのか、あるいは、神経科学との会話に必要な高次の記述とは何なのか、ということです。
Terry Sejnowski 3:14:26
私たちはそこにたどり着かなければなりません。私たちは、スティーブン、私たちの軌道は異なる方向に向かっています。しかし、私は彼らが一緒に戻ってくると思っています。私たちは、非常に複雑なものを表現する言葉を持っていると思います。システム。
Stephen Wolfram 3:14:41
そうです。その通りです。いや、面白いものを読みましたよ。では、そろそろ終わりにしましょう。テリー、ありがとうございました。素晴らしい会話でした。たくさんの異なる種類の事柄を取り上げましたが、またいつか戻ってきて、同じことをしましょう。今後、この問題を解決するための次のステップに進むことができたら、私はそれを楽しみにしています。
Terry Sejnowski 3:15:03
私はとても楽しかったし、初期の議論に戻ってこのことについて再び考え始めるよう、あなたが私を刺激してくれたと思っています。
Stephen Wolfram 3:15:14
そうですね、そうしましょう。