Stephen Wolfram on AI’s rapid progress & the “Post-Knowledge Work Era” | E1711
127,211 回視聴 2023/04/01 今週のスタートアップ情報
(0:00) ニックが番組をスタートさせる
(1:24) ChatGPTの裏側を紹介します。
(7:53) ニューラルネットって何？
(10:05) Cast.ai – 個人相談でクラウドコスト診断を無料で受けられる cast.ai/twist
(11:33) ニューラルネットの値や重みの決定
(18:28) Vanta – vanta.com/twist でSOC 2を1000ドル引きで購入できます。
(19:33) 人間の脳をエミュレートする
(23:26) 計算機的還元可能性の定義
(26:14) 創発的な行動と言語のルール
(31:49) 論理を発見する＋計算言語を作る
(38:10) Clumio – 無料でバックアップを開始、または clumio.com/twist でデモにサインアップする。
(39:38) WolframのChatGPTプラグイン
(43:46)急ピッチで進むAI化
(58:45）「ポスト知識労働」の時代へ
(1:03:52) AIがもたらす意図しない結果
(1:11:45) イノベーションへのやりがい
(1:16:12) AGIの可能性
(1:20:07) 汎用的なロボットシステムの作成
アップルのThis Week in Startupsを購読する: rb.gy/v19fcp
Wolfram Researchをチェックする： www.wolfram.com/
FOLLOW Stephen: twitter.com/stephen_wolfram
FOLLOW JASON：https://linktr.ee/calacanis
パートナーに感謝です：
(10:05) Cast.ai – 個人相談でクラウドコスト診断を無料で受けられる cast.ai/twist
(18:28) Vanta – vanta.com/twist でSOC 2を1000ドル引きで購入できます。
(38:10) Clumio – 無料でバックアップを開始、または clumio.com/twist でデモにサインアップする。
ここで聞いてください：
Apple: podcasts.apple.com/us/podcast…
スポティファイ: open.spotify.com/show/6ULQ0ew…
オーバーキャスト: overcast.fm/itunes315114957/t…
私たちからもっと
ツイッター: twitter.com/twistartups
インスタグラム：https://www.instagram.com/twistartups
公式サイト： thisweekinstartups.com
YouTubeに登録すると、全編を視聴できます：
/ @startups
最高の瞬間をお届けするTWiST Clipsをご購読ください：
/ @twistclips
#スタートアップ #起業 #投資 #angelinvesting #tech #news #business
スピーカー1 0:00
今日のThis Week in Startupsでは、ジェイソンがWolfram Researchのスティーブン・ウルフラム氏と一緒に、AIについて素晴らしい会話をしました。ウルフラム氏は最初のチャットGPTプラグインの1つを立ち上げ、ニューラルネットの歴史、ジェットGPTの正確な仕組み、この技術が将来の仕事を形作ることになるなど、多くのことを話してくれました。
どうぞお付き合いください。This Week in Startupsはcast AIがお届けしています。もしあなたがクラウドでソフトウェアを運用しており、それが重要なコストドライバーになっているのであれば、ぜひ聞いてください。
cast AIはクラウドコスト削減を自動化し、クライアントが平均60%以上節約しています。Twistリスナーは、無料で個人相談付きのクラウドコスト監査を受けることができます。casper.ai/twist はじめに vantaコンプライアンスとセキュリティはスタートアップが新規ビジネスを獲得するための条件分岐ではないはず vantaにより企業は簡単にソックスから高速レポートができます。
twistリスナーはvantaで期間限定で1000ドル引きになります. com/twistとclue mioは、あなたが会社を作るとき、バックアップやコンプライアンス要件に気を取られてはいけません。clue mioのデータ保護の専門家は、コンプライアンスを自動操縦にする不変のエアギャップ・バックアップであなたをサポートします。
ジェイソン・カラカニス 1:24
さて、今日は次のゲストが来るのでとても楽しみです。スティーブン・ウルフラムの登場です。Wolfram Researchの共同創設者兼CEOで、Wolfram Alphaを使ったことがある人もいるかもしれません．彼は多作な作家で、そんなに紹介する必要はないでしょう。まずは、Chad GPTについてお話ししましょう。
この1年で3.5と4が発売され、さらにプラグインやWolfram Alphaがどのようにプラグインされているかを見て、どのような印象を受けましたか？
スティーブン・ウルフラム 2:03
そうですね、私は1980年頃からニューラルネットに注目していました。私が初めて神経細胞をプログラムしたのはその時で、たいして面白いことは何もしていませんでした。その後、2012年になって、深層学習のニューラルネットが面白いことをするようになり、それを言語化したりするようになったんです。
私はしばらく大規模な言語モデルを追跡していたのですが、それほど刺激的なものではありませんでした。しかし、それほどエキサイティングなものには思えませんでした。ところが、GPTが登場したんです。そして突然、エキサイティングなものになったのです。
そして、本当に便利なことができるようになったのです。何がきっかけでそのようなことができるようになったのか、まだ完全にはわかっていません。しかし、このジャンプが起きたことで、私たちはもう一度、「なぜこれがうまくいくのか」ということを考えることができるようになったと思います。本当に起きていることは何なのか、などです。
ジェイソン・カラカニス 2:50
そうですね、素人には、チャットに質問を入力すると、GPT、つまりGoogleのBardが出ますね。CoraのPoを見ると、実に様々な言語モデルがリリースされています。実際に私たちが質問するとき、その下では何が起きているのでしょうか。
「ねえ、鮭があるんだが、どう調理したらいい？どうすればいい？」と聞いたとき、その裏側で実際に何が行われているのでしょうか？
スティーブン・ウルフラム 3:15
つまり、信じられないほど平凡なことをやっているのです。それが、実際と同じように人間そっくりに出力できるのはとても驚きです。というのも、結局のところ、「あなたがテキストを入力したので、そのテキストを継続します。
つまり、もしあなたが文字を入力したら、ACUと入力すれば、少なくとも英語で次に来る可能性が圧倒的に高いということです。それをもっと精巧にしたものがあるんです。もし、あるフレーズがあったら、「このフレーズはウェブ上で何回出現するのでしょう？」というのも、ウェブ上には十分なテキストがないからです。
ウェブや書籍などで、1兆個の単語を見つけることができるかもしれませんが、「AIは最高です」の次に来る単語は何かという統計を取るには十分ではありません。だから、モデルが必要なんです。興味深いのは、ニューラルネットのアイデアであるこの特定のモデルが、非常に人間的な結果をもたらすということです。
つまり、ウェブ上の純粋な統計からどのように外挿するかを考えなければならないとき、人間が行うのと似たような方法で外挿するのです。結局のところ、ニューラルネットは、私たちの脳の配線と同じように機能するからだと思います。
この歴史は、1940年代には、脳には神経細胞があることが知られていました。そして、私たちの脳には約1000億個のニューロンがあることがわかっていました。そして、それらはすべて、基本的には小さな電気装置で、1つ1つが他の1,000～10,000個に接続されています。これは、大きくて、複雑で、巨大な神経配線なんです。
そこで人々が考え始めたのが、「これを正式に表現するにはどうしたらいいか」ということでした。それを表現する数学的な方法は何でしょう？これは1943年に発明されました。その頃、そして1950年代、60年代には、ニューロン5個、ニューロン10個、ニューロン間の接続30個などではどうなるんだろう、というようなことが言われ、何もできませんでした。
ところが、1,000億個のニューロン、あるいは1,000億個のニューロン間の結合、数百万個のニューロンがあれば、実際の脳が行うことをより多く捉えることができることがわかったのです。その数がどれくらいになるかは明らかではありませんでした。
人間のような行動をとるためには、どれくらいのデータ量で、どれくらいのニューロン数で訓練する必要があるのかも明らかではありませんでした。もうひとつの重要なポイントは、現在ではウェブ上で十分な量のテキストが利用できることです。
テキストから統計量を割り出し、ニューラルネットを十分に訓練して、いわば人間らしい文章の続き方によく似たものを作り出すことができます。しかし、このような統計は、エッセイなど全体が首尾一貫したものに仕上がるのです。
ジェイソン・カラカニス 6:52
それで、3つのことを一緒にやる必要がありました。1つは、私が学習したコーパスで、誰が知っているかというと、結局はワールド・ワイド・ウェブでした。そして、言語モデルは誰かが書いたり構築したりする必要がありました。これが、実際にこれを実現するために必要な3つの要素です、
スティーブン・ウルフラム 7:20
言語モデルのような巧妙なアイデアもありますが、実は1940年の間に、もっとたくさんの、とても賢いアイデアがありました。しかし、実際には1940年から現在までの間に、もっとたくさんの、つまり、とても賢いアイデアがあったのですが、うまくいきませんでした。
そして今、私たちが実際に持っているのはニューラルネットの構造で、いくつかの重要なピースが追加されていますが、それはその間に試されたことに比べれば小さなもので、1940年代に人々がニューラルネットを想像したものに近いものはありません。しかし、うまくいった。
ジェイソン・カラカニス 7:52
そうですね。ニューラルネットとは何か、どのようにしてこのような接続が生まれるのか、素人に説明してください。そして、私たちが考えていたとおりのものであることに、とても驚かされます。私たちはただ、計算機とデータのコーパス、トレーニングデータが臨界量に達するのを待つだけだったのでしょう。
スティーブン・ウルフラム 8:10
では、何が知られていないかというと、そうなんです。脳にはニューラルネットがありますが、ニューロンにはこのような特徴があります。ニューロンには、樹状突起と呼ばれる、いわば神経細胞の断片に過ぎない接続があります。
神経細胞は基本的に電気機器です。神経細胞が発火すると、電気パルスが発生し、その電気パルスが神経細胞の外線に送られるのです。つまり、いつ、おおよそいつ、最初の近似値、そしてこれが設定された当初の方法では、信号の入った電線が十分にあるとき、神経細胞は「よし、発火するぞ」と言い、信号を生成して、それに接続されている次の神経細胞に送り出すのです。
さて、この「重み」という考え方は、ニューラルネットで語られる大きなものですが、これは、様々な白線に信号が入力された場合、単に信号があって、どの信号も同じように扱われるのではなく、それぞれの入力線に一定の重み（正の数であったり、負の数であったり）がある、という事実に関係しています、 つまり、7点の重みからマイナス3点、4点の重みまで、さまざまな重みがあり、信号と重みを掛け合わせ、それらをすべて足すと、関数に閾値のようなものがあり、それによってニューロンが発火して次のニューロンへデータを送るかどうかが決まります。これだけです。これが脳内の仕組みのようです。人工神経網でもほぼ同じように機能します。
【宣伝】
スティーブン・ウルフラム 11:33
さて、最初の質問ですが、あなたはこのプロンプトを手に入れ、プロンプトを書き出しましたね。エンベッディングという考え方がありますが、これは言葉を数字に変換する方法です。この考え方は、もし良い埋め込みがあれば、意味の似ている単語は、近くにある数字の集まりに対応するというものです。
例えば、象と犀のように、1000個の数字が並んでいて、象を表す1000個の数字と犀を表す1000個の数字はかなり似ていますが、木星を表す1000個の数字とはまったく違います。ですから、まず最初に、単語を粉砕して数字に変え、その数字を使って、第1層のニューロンの強度を決定します。
そして、何層にも分けていくのです。ChatGPTの場合は、数100層から400層くらいでしょうか。つまり、最初の数字が最初の層のニューロンに入り、その重みを経て、掛け算が行われ、次の層へ、次の層へ、という具合に、データを積み重ねていくのです。
そして、400層くらいになると、別の数字の集合体にたどり着きます。そして、その数字の集まりから、基本的に、その後に続く可能性のある言葉の設定の確率を知ることができます。そして、どの単語を選ぶか、いわばウェブの統計に従って最も確率の高い単語を選ぶか、2番目に確率の高い単語を選ぶか、といった判断をしなければなりません。
このようなシステムを実際に機能させるためには、さまざまな黒魔術のようなものがあるのか？そうですね。少なくとも英作文などでは、最も可能性の高い単語を選ぶと、単調になりがちなんです。繰り返しになってしまうこともあるし、いろいろと悪いこともあります。
しかし、確率の高くない単語を選んだり、温度パラメータという、ランキングのどのくらい下の単語を選ぶかを決めるようなパラメータを使うと、より生き生きとした結果になるようです。もうひとつ、Tracks up Tのようなものでは、トランスフォーマーという考え方が重要な役割を担っています。
つまり、すでに書かれている言葉があるとき、その言葉をどう使うか、ということです。ニューラルネットにどのように送り込むのでしょうか？そして、その疑問は、その単語が連続したものであるということです。ただ単に、違う単語が違う場所にある、というわけではありません。
そこで、学習するニューロンが、次の単語を追加することを知ると、「3つ後ろの単語はこの程度の重要度です。5つ後ろの単語はこの程度の重要性がある、といった具合に。そして、非常に奇妙な方法で、前の単語に注目する方法の複数の異なるパターンを組み合わせ、全体を何度も繰り返します。
そして、その結果、1回で結果が出るのです。さて、1つの質問ですが、プロンプトを入力し、テキストを入力すると、次に書くべきテキストをどのように決定するのか、という設定です。次の質問は、このニューラルネット全体が、すべての重みを持つということです。
GPTの担当者は、現在、1750億個の重みをもっていますね。その重みはどうやって決めるのですか？重みのコレクションは、単語を入力すれば、いくつかの単語が出てくるという性質を持っています。しかし、その重みを無作為に選ぶと、出てくる言葉はまったくナンセンスなものになってしまいます。
問題は、どうすればウェブの統計に合致するような重みを選べるか、ということです。これがニューラルネットのトレーニングのプロセスです。基本的には、ウェブからテキストを選びます。私たちは次の単語が何であるか知っていますが、規範は次の単語が何であるか知らないのです。
そこで、真ん中の人に、次の単語を推測してもらいます。そして、正解するかもしれないし、間違っているかもしれませんが、通常はまず間違えます。次に、ニューラルネットの重みをどのように変えれば、実際に出てきた単語よりも正解に近くなるかを考えます。
これを繰り返し行うことで、トレーニングの過程ですべての重みを調整するのです。バックプロパゲーションというメカニズムがあり、重みを調整することで、実際にテキストを読み取ることができるようになるのですが、これは数学的にとんでもなく難しい問題ではありません、 テキストの末尾にある単語をマスキングして、その重みが、マスクキングを外したときにテキストの末尾にある単語が本当にそこにあった単語となるように、トレーニングするのです。
ジェイソン・カラカニス 17:01
つまり質の高いテキストを見つけたとします。これがウィキペディアのページで、中国で審査された質の高いものだとします。そして、それを読み始めると、単語を間違えてしまうのです。罰するのではなく、「ちょっと、間違えてるよ」と教えてあげるのです。そして、単語を覚えるまで、クッキーをもらったり、何らかの罰を与えるわけですね？そうですね、
スティーブン・ウルフラム 17:19
そのコツは、まるで進化のプロセスのようなもので、生物学的な進化のように、正しい答えに近づくために徐々に適応させていくようなものなのです。そのための体系的な方法があるのです。そして、それがトレーニングのプロセスということになるのです。
実際、1兆個の単語で訓練されています。もし100万語しか学習させなかったとしたら、Qに従うとか、そういうことは学べるでしょうが、意味のあるエッセイのようなものは学べないでしょう。そのためには、私たち人類が生産し、世に送り出し、一般にアクセス可能な形にした、合理的な量のテキストが必要なようです。そして、必要な重みの数は、トレーニングセットで読む単語の数にほぼ匹敵します。なぜそうなるのか、誰もよく分かっていません。しかし、これもいわばランダムな事実のひとつです。
ジェイソン・カラカニス 18:28
人間で何が起こっているかと比較するときに。そして、私たちはまだこれに対する答えを持っていないことも知っています。意識とは何なのか、正確にはわかっていないのです。
理論やアイデアはあるのですが。しかし、人間が「アメリカで最も人気のあるデザートは何ですか？そして、ニューラルネットが尋ねられ、チャットUPSが尋ねられたとき、そのどちらのバージョンでも、「アメリカで最も人気のあるデザートは何ですか」と尋ねられます。
人間で何が起こるかを見てみるとどうでしょう。そして、ソフトウェアの中で何が起きているのかを調べます。両者はどの程度似ているのでしょうか？人間の脳で起きていることをエミュレートしているつもりなのでしょうか？あるいは、新しいプロセスを開発したとでもいうのでしょうか。似ているけれど、正確ではないかもしれません？そして、その重なりは何なのか。
もしそれが、意識と質問に答えるという2つの円だとしたら、コンピューターがそれに答えるのでしょうか？実際にどの程度重なっているのでしょうか？
スティーブン・ウルフラム 20:25
まあ、つまり、私が答えることは、脳で起こっていることにかなり近いと思うのです。
現在のHoloLensには欠けているものがあります。脳にはこれがあり、コンピュータには、通常、CPU、GPUがあり、多くのデータを処理しています。そして、メモリがあります。しかし、人間の脳は、すべての神経細胞が計算と保存の両方を行います。
ですから、少なくとも今のところは、人間の方が少しばかり有利です。この点でも、GPTの仕組みは、プロンプトに入力すると、神経網に波及していきます。そして、「よし、次の答えはこれだ」と、私たちの脳で判断します。
しかし、何らかのフィードバックループがあることは確かです。おそらく、そのフィードバックループは、LLMが持つような、効果的に充電するためのものに似ています。プロンプトを見て、ここまできたら、新しいプロンプトとなる言葉を追加し、何らかの形でフィードバックすることができます。
ジェイソン・カラカニス 21:23
では、「アメリカで最も人気のあるデザートは何か？」と聞くと、最初に思い浮かぶのはアイスクリームです。そして、アイスクリームをきっかけに、アップルパイはもちろん、アップルパイ、アイスクリームのトリックなど、次に思いつくものは何でもいいのですが、たぶん、そんな感じでしょうか。
スティーブン・ウルフラム 21:39
ええ、私は理解すべきは、脳がどのように機能するかというような計算過程に関しては、最終的には重要でない詳細がたくさんあるということです。例えば、羽ばたき飛行をしたい場合、羽が必要なのか、それとも翼が必要なのか、結局のところ、翼が必要なのです。
でもですね、羽の細部とか、そういうのは問題にならないことがわかったんです。だから、脳の場合、私たちの脳には細かいものがたくさんあるんです。例えば、神経細胞にエネルギーを供給するブドウ糖のようなもので、電子の場合とは明らかに異なりますが、計算機アーキテクチャーのようなレベルです。
驚くほど近いと思います。そして、驚くべきことに、人々は80年ほど前から、これがどのようなものであるか、おおよそ知っていたのです。つまり、コンピュータがどのように機能するかについては、神経細胞のような脳神経ネットワークがどのように機能するかと比べて、もっと多くのことが語れるのです。
コンピュータや一般的な計算の特徴は、ニューラルネットができることよりもはるかに深いところにまで踏み込んでいけるということです。例えば、あるコンピュータを使うと、非常に緊密なループに入り、何が何だか、計算の結果は何なのかを把握することができますが、LLMやニューラルネットのようなものでは、そのようなことは一切起こりません。
1980年代に私が考案した概念で、「計算の非簡約性」というものがあります。というのも、ある種の深い計算があるのですが、ある一定の規則があり、その規則を何度も何度も適用して、その結果を見るのです。その規則とは、コンピュータのCPUの設定方法かもしれないし、白と黒の正方形に関する規則かもしれません。
しかし、その仕組みは、計算の本質のようなもので、これらのルールを何度も何度も適用し続け、何が出てくるかを見るのです？そこで問題になるのは、このルールを適用して、ある結果を得るためにルールを適用する回数が決まっていることです。
問題は、すべてのルールに従うよりも、もっと早く、どんな結果になるかを知ることができるかということです。そして、その結果わかったことは、先読みできない状況がたくさんあるということです。つまり、この計算をしなければならないのです。
結果を得たいのであれば、実際に計算のステップを踏まなければならないのです。そして、計算の非簡約性がある場合、基本的にニューラルネットは浅すぎて、それに対応することができません。例えば、今チャックGPTに、括弧のマッチングを頼んだら、open paren、open、open、close、close、open、close、closeと、どんなものでも作ることができます。
ただ、クローズブランドの数が、フットプリントがオープンブランドと一致していることを確認すれば、ある時点まではそれが可能です。そして、このようなことを言うのです。なぜ失敗するのか、私はまだ聞いていませんが、聞いたほうがいいかもしれませんね。
しかし、基本的には、ニューラルネットのレイヤーを使い果たし、より深い計算を表現できなくなったということです。このような計算の世界には、還元不可能な計算、つまりショートカットできない計算があります。そして、私たち人間が言語を生成するときに最も多く使っている、より浅いものもありますし、おそらく私たちの思考の多くもそのように機能しています。
つまり、コンピュータで原理的にできることと、そのようなものでの動作には違いがあるのです。また、「還元不可能な計算を気にするのか」と言われるかもしれません。例えば、自然界では、物理的な世界で起こっている多くのことが、どのように機能するかを調べようとすると、ある意味、還元不可能な計算をしなければなりませんが、それらは、いわば人間のために作られたものではありません。しかし、自然はただあるがままなのです。そして、自然が何をしようとしているのかを理解するためには、このような不可逆的な計算を伴うことがあります。
ジェイソン・カラカニス 26:05
そして、それを何らかの方法でシミュレートしようとしたり、この中で解明しようとしたりするのは、私たち次第なのです。そうですね。ここで、創発的な振る舞いについて話しましょう。例えば、私たちはそれを投影しているのでしょうか？この時点で、何らかの方法で学習したり、何らかの方法で進化したりしているのでしょうか？それとも、これだけ多くの人が使っているのだから、本当にそうなのでしょうか？強化学習が行われているのでしょうか？
そして、プラグインの導入も？モデルがより速いペースで学習しているように感じられるのでしょうか？そして、このコンセプトは、「もしかしたら、私たちがコントロールできないかもしれない」ということなのでしょうか？
それが今、私たちが置かれている状況だとお考えでしょうか？というのも、先ほどあなたがおっしゃったように、このことは今、私たちを驚かせているようなものです。だから、次はどんな驚きがあるのか、ちょっと気になります。
スティーブン・ウルフラム 26:53
それを少し分解してみましょう。まず第一に、ある種の創発的な振る舞いについてです。これは一般的に、あるシステムがどのように機能するかについて、あるルールを設定することを意味します。しかし、システムが行うことは、そのルールよりもはるかに複雑で、還元不可能な計算で常に起こっていることです。
これが、自然界を複雑なものに見せている原因です。しかし、実際の動作は非常に複雑です。だから、アロンザが何をしているのかが問題なのです。そして、それはどの程度まで創発的なものなのか。まず、1つだけはっきりさせておきたいのですが、現状では、人々が行っている小さなチャットセッションは、昨日、この小さな子羊たちと一緒に保存され、トレーニングに使われますが、それはすぐにループするわけではありません。
しかし、それは即座にループするものではなく、技術的に即座にできるものでもありません。むしろ、長期的なプロセスなのです。だから、入力する人すべてが賢くなるわけではありません。そして、それが世界を征服してしまうのです。
ジェイソン・カラカニス 28:03
その結果、私のチャットがスレッド化されているので、それぞれのスレッドでモデルを適用することを学習しています。しかし、もし私たち2人がデザートのことを聞き始めたとしても、突然「すごい、アメリカの2つの異なる海岸に住む2人がデザートの話をしています！」となって、そのすべてを私たちの知識に取り込もうとはしないでしょう。しかし、それが実現するのは明らかです。
スティーブン・ウルフラム 28:23
ええ、でもそれはまだ来ていないだけです。そして、それは技術的なものであり、技術的なプライバシー、政策、その他、です。経済学者がやっています。
ジェイソン・カラカニス 28:34
しかし、このような会話は聞いたことがありません。今、100人が新しいパンデミックについて話していて、その情報をまとめて、パンデミックが実際に起こっていることを警告しようとしています。これが、パンデミックが始まるという修飾語なのです。
スティーブン・ウルフラム 29:03
そうですね。つまり、これは明らかに、様々なソーシャルメディア上のトレンドや、検索クエリなどから、すでに見たことがあるものです。しかし、チャットや心理カウンセリングのような、チャットボットを使ったセッションが、どの程度プライベートなものなのか、という疑問はあります。
しかし、これは、医療分野で常に起こっていることと同じで、つまり、多くの人々に医学的に何が起こったか、その結果を全体として知ることは、社会的に大きな価値があるにもかかわらず、個々の人々の個々の記録を非公開にしたい、ということです。
つまり、総体としては採掘可能なものにしたいが、個別には検索できないようにしたい、ということです。そのためにはどうすればいいのか、どこまでできるのか、といった技術的な課題がありますが、同じようなことがここでも起こるのではないかと思います。
では、なぜLLMはうまくいくのでしょうか？LLMは何をするものなのでしょうか？どのような意味で？どのような意味での創発なのでしょうか？私にとっては、チャットGPTで見たことの中で、おそらく最大のハッとさせられる特徴は、おそらく言語が私たちが思っていたほど複雑ではないという事実だと思います。つまり、言語というのは、ある意味、私たちの種の集団的な達成の頂点にあるものなのです。
ですから、私たちはそれを非常に高度で複雑なものだと考えています。しかし、私たちはすでに、言語には一定のルールがあることを知っています。例えば、構文文法では、典型的な文は名詞、動詞と名詞、形容詞と名詞、といった具合になります。
言語にはこのような構造的な規則性があるのですね。しかし、他の国で発見されたのは、私たちがこれまで分類してきた以上に、言語には多くの規則性があるということなのです。つまり、言語には、名詞や動詞など、文の構造からわかることがたくさんあるのです。
名詞、動詞、動詞、名詞のような文はあり得ませんが、それを組み立てることができます。このように、パズルのピースを組み合わせていくようなものなのです。そして、LLMの研究者たちが発見したように、品詞だけでなく、意味や言語の断片を扱う他のパズルピースも存在するということです。
そして、意味を持って組み合わされるものと、意味を持って組み合わされないものがあるのです。このようなことが発見された例として、歴史的には2000年前にアリストテレスが発見したとされる論理学の考え方がありますね。アリストテレスは、ある意味、機械学習の人間化したようなことをやっていたのです。
そして、「議論がどのように機能するか、そのパターンは何か」と考えました。例えば、「すべての人間は死ぬ」「ソクラテスは人間です」「だからソクラテスは死ぬ」と言ったとします。これはある種のパターンです。ソクラテスの話でなくても、死亡率の話でなくても、そこにどんな種類のものを入れても代用できます。
しかし、その構造は、あなたが何かを言うときに入れることのできる意味のある構造であり、彼はそこから、論理学の考え方である「and」「or」「not」を持ち出しました。そして、「これはあれを意味する」というような、論理の考え方を持ち出しました。
そして、それが言語の意味的な規則性のひとつになったのです。これは私たちが知っているもので、他にもたくさんあると思いますし、LLMは基本的にそれらを発見してきました。この1000年の間に、私たちはこのようなものを探すのを少し怠っていたようです。
1600年代には少し関心が高まりました。しかし、その後、消滅してしまいました。そして、人々は「難しい」と思ってしまったのでしょう。しかし、1950年代には、名詞や動詞などの文法構造が、さまざまな言語でどのように機能しているかが明らかになり、それが解明されたことに人々は興奮したのです。
そのため、他のことを真剣に探すことはなかったのですが、それが科学的事実として発見されたのだと思うのです。それが分かれば、パズルのピースが組み合わされるような科学であり、いわば奇跡的なことではなくなると思うのです。
ジェイソン・カラカニス 33:46
私たちはラテン語について、これまで探していなかったことを解明していますし、モデルも解明しています。私たち人類は、詩であれ科学であれ、芸術や議論であれ、言語を頂点とする存在であり、それが私たちの世界全体を支配する方法なのです。大統領選、議会、上院、食卓、誰に投票するか、どうやって子供を育てるか、などなど、私たちはこれを超魔法的なものとして評価してきました。しかし、私はワイルドだと思います、
スティーブン・ウルフラム 34:35
私たちが学んだことは、意味の本質とは「あるもの」であり、それは私たちが言語で表現する「あるもの」であるということです。ある意味で微積分のようなもので、意味がどのように機能するかという形式的な構造があるのです。
しかし、実際には、そのいくつかの側面は、私のような、いや、特に私のような、私の生涯のプロジェクトは、基本的に、物事を計算的にする方法を見つけ出すことでした。そして、私のある種の長期プロジェクトの1つは、世界の物事をある種の精密で正式な計算方法で表現できる計算言語ランゲージを作ることです。
それがWolfram言語と呼ばれるもので、Mathematicaから始まり、この35年間で様々な言語に進化してきました。しかし、Wolfram言語が目指すのは、例えば、2つの都市があり、その間の距離はどのくらいか、といったような、世の中の物事を正確に、形式的に表現することなのです。
それは、人間が書け、人間が読め、コンピュータが読め、コンピュータが実行できるものです。私はこの40年間、計算機で物事を表現するために、このような言語を構築してきました。この言語は、ある意味、世の中で話すのにとても便利な多くの種類のものを表現していますが、日常の雑談のような会話を表現することはありません。しかし、言語とどのように組み合わされるのかがわかるような、もうひとつの要素として属性が追加されているのです。
ジェイソン・カラカニス 36:28
でもって言われそうですが、いや、言われそうですが、
スティーブン・ウルフラム 36:30
そうではなく、例えば、「ChatGPTは何を言っているのか理解できているのか」と聞かれることがあります。「これは次の単語がどのように入るかというルールがあるだけだ」そうではありません。つまり、私たちはそうやって仕事をしているのです。そして、「私たちは自分たちが話していることを理解しているのだろうか」と問うことができます。しかし、これはある意味、非常に浅い計算をすることであり、計算言語の考え方のようなものです。
いったん何かを計算言語で表現すれば、それを使って好きなように計算することができるのです。計算言語で表現されたものがあれば、それを使って好きなように計算することができます。私たちが十数年前にWolfram Alphaで行ったことは、自然言語理解で、人間の言葉の小さな断片から計算言語へと移行することでした。
そして、それができるようになると、自然言語を理解し、それを計算言語に変え、計算言語となれば、そこから何でも計算できるようになります。いわば、それが本当の意味での計算機的理解ということになります。そして、それは、生のLLMの分野の価値とは異なるものです。
ところで、私たちがオープンAIで開発したプラグイン、ChatGPTのWolframプラグイン、は、このようなLLMレイヤーを、計算可能な岩盤のようなものと結びつけることを実現しているのです。そして、このことは、あらゆる種類の意味合いを持つのです。
ジェイソン・カラカニス 38:10
さて、「この2つの都市の距離はどのくらいか」「このゾウとサイの共通点は何か」と問われたら、どうでしょう。どちらも哺乳類で、肌の色は灰色、何でもいいです、どちらも手ごわい。どんな言葉が出てきてもいいんです。
チェットGPTは、数字や方程式を求めると、実はいろいろと間違ってしまうようです。そこで、このアイデアでは、チャットGPTが議論を始め、この2つのものの違いは何か、この2つの都市間の距離は何か、この2つの都市の差は何か、などを要約することができます。
スティーブン・ウルフラム 40:16
これがどの程度うまくいくのか、私たちはわかりませんでした。実際、これはかなりうまくいっています。つまり、非常に便利なことに、プラグインの技術的なことですが、プラグインの中には2つの異なるエンドポイントがあります。
そのうちの1つはWolfram Alphaです。Wolfram Alphaは自然言語の入力を受け、自然言語の小さな断片を取り込みます。Wolfram言語は、精密な計算言語です。チャットボットがやっているのは、誰かが書いたプロンプトや書こうとしている文章を、大きな塊として取り込むことです。
そして、それをAlphaに送ったりAlphaから送ったりできる自然言語の断片にしたり、Wolfram言語インタプリタに送れるWolfram言語のコードにしたりするところまで、驚くほどうまく洗礼するのです。
この2つの場合、特にWolfram言語の場合、大まかには正しく伝わるのですが、正確には伝わらないことがあるのが厄介な点です。しかし、実際にコードを走らせてみると、何が起こるかわかるのです。そして、チャチに「BT、ちょっとうまくいかなかったね。どうして書き直さないの？と言うと、うまくいきました。
ジェイソン・カラカニス 41:19
単純なことですが、例えば、距離はどれくらいか？Wolfram Alphaに、おそらく誰でも知っていることですが、ロサンゼルスとロンドンの間の距離を尋ねると、本当に細かくきっちりとした答えが返ってきます。しかし、もし誰かがあまり正確でない方法でそれを尋ねたとしたら、私たちはそれを見つけ、プラグインは言葉の乱れを緩和することができます。
スティーブン・ウルフラム 41:41
もしあなたが欲しいものをとても詩的に書いたとしたら、Wolfram Alphaは、ある種の質問をする人のために作られたものです。WolframAlphaは、質問したいことがある人のために作られました。例えば、「ここからあそこまで行くのに象がいる」というようなことを考えます。
そして、象は何歩歩かなければならないのか、あれこれ考えています。そういうことですか？そのようなことは試していません。象の歩幅で割るというのはどうかと思います。しかし、他の部分は間違いなく、でも、チャンセル、つまり、コンピューティングができれば、チャチ、ボトル、ウルフ、プラグイン、グラフィックの生成、データのリアルタイムフィードなど、いろいろなことができるんです。
ジェイソン・カラカニス 42:45
ヒストグラムでもチャートでも何でもいい
スティーブン・ウルフラム 42:47
たまたまそうであっただけ、ですね。ある特定の場所の天気かもしれませんし、現在の株価やその他のものでしょうか。アラームは、この複雑で膨大な自然言語を、ある種の正確なものになるまで煮詰めるという、いわば精密な計算方法をもっています。
そして、その結果をフィードバックするのです。時には、私たちから直接送られてきた画像を生成することもあります。しかし、その結果をエッセイに反映させることもあります。もうひとつ、今とても面白いワークフローがあって、それは、この作品をこの2週間しか使っていないということです。だから、とても新鮮なんです、
ジェイソン・カラカニス 43分37秒
ペースです。今はクレイジーでしょう？つまり、世界中の誰もが何かに夢中になり、「ああ、これを壊してみましょう」と言うのは驚くべきことです。直してみましょう。ストレステストをしてみましょう。消費者、科学者、開発者、そしてその間にいるすべての人が、このものを壊してみようとする、その集合体は本当に信じられません。
スティーブン・ウルフラム 44:00
今の大きなポイントは、ワークフローを理解し、ユースケースを理解することだと思います。そうですね。そして、何をすべきかについてどう考えるべきかを理解することです。例えば、ある人が発見したことを、ある結果を出して、こう言うかもしれません。
そして、「その答えは正しいと思いますか？そして、それがわかったら、そうなる、そうなります。その質問は、おそらく、そもそも答えを生み出すよりも、その質問に答える方が優れていることがわかったのです。だから、そうなることは分かっていたんです。
もうひとつは、まったく奇妙なことですが、プロンプトエンジニアリングというビジネスがあります。こんなことしちゃダメですよ。あれをやってください。これはしないでください、こうしたらいいという例を挙げます。このどれもがうまくいくということは、本当に驚くべきことです。
私たちは、ニューラルネットがどのように機能するかについて、理論的に説明することができると思っています。しかし、その理論的な説明から、「プロンプトにカンマを入れるにはこうすればいいです」と言えるようになるには、かなり距離があります。プロンプトエンジニアリングは、動物の世話に似たところがありますね。この動物が何なのかよくわからない、バタバタしている、みたいな感じでしょうか。そして、耳を引っ張ると、こうなることがわかったのです。
ジェイソン・カラカニス 45:33
そして、私たちは本当にこのムスタングを手に入れる方法を知っていて、それを手なずけようとしています。ああ、気をつけろよ。しかし、そうだね、静かに歩いて近づいていくんです。ステップを踏んで、ムスタングを捕まえて、手なずけて、鞍をつけさせようとしているんです、うまくいくかもしれないし、いかないかもしれない、とてもすごいことだといつも思います。
というのも、これが起こるペースが質的に違うように感じるからです。例えば、ソフトウェアの自動化には、テレビが登場すれば、誰もが博士号を取得できるようになるという概念がありました。インターネットが登場したんです。
そして、MITはすべてのコースをオンラインで提供するCourseraを始めました。よし、みんなMITやハーバードに行けるぞ、と思ったら、人間のやる気というのは、もしかしたらみなさん、今日YouTubeで自由に見られるような講座を全部受ける時間を取りたくないかもしれないことがわかりました。
これは、MITやハーバードで教えていることは、象牙の塔に閉じ込められているようです、と思っていたX世代にとってはまさに驚きです。それが今、文字通り無料で手に入るのです。YouTubeの再生回数は30億回ではなく、300回です。
では、現実的に社会で何が起きているかというと、コピーライティングで報酬を得る人が増えていることがその一例です。ジャーナリズムもその一つで、ジャーナリズム研究のある側面がその例です。ビデオゲームのキャラクターを作るのに、3,4週間かけていたのが、今では2,3日でできてしまうが、なんとなく嫌な感じがする。
これは芸術的ではありませんが、ゲームのキャラクターを作るのに、すでに10%の労力で済むようになるわけです。これって、気になりますか？それとも、人間は常にやるべきことを見つけていくものだとお考えですか？これは、私たちがこれまでに見たこともないような速いペースで進んでいるように思えるのですが。
スティーブン・ウルフラム 47:33
実は、私はちょっと興味があったんです。そこで、過去150年の間にアメリカの雇用がどうなったかを調べてみました。そして、かなり劇的なことが起こりますし、テクノロジーでも、それが完全にシステムを通して機能し、その効果を完全に見るまでには、実は一世代かかるのです。
しかし、ここでは、人々が生成する半定型文、あるいは半定型文、あるいは半定型文のような、人々が理解しなければならないような文章がたくさんあるのだと思います。このようなことをする人はたくさんいます。そしてこれは、その、本当に良い方法なんです。
では、実際にどのように機能するのでしょうか？例えば、あなたが企画書を書いたり、コンプライアンス的なものを提出したりする場合、主張したいことがあると思います。しかし、それを巨大なエッセイにまとめようとすると、今までは人手が必要だったんです。
「ここがポイントだから、これをエッセイにしましょう」と、背景となる基礎的な事実を使ってエッセイを作り、それを他の人に読んでもらう。実際に人間として読むかもしれませんし、LLMに送り、LLMがそれを粉砕するかもしれません。そして、「こういうものを探してください」という小さな指示が出されます。
そして、そこから必要な情報を抽出し、3つの箇条書きにすることもあります。つまり、これはインターフェイスのようなものなのです。グラフィカル・ユーザー・インターフェースと同じようなものです。私はこれを、ルイーズ・ランゲージ・ユーザー・インターフェースと呼ぶようになりました。
ジェイソン・カラカニス 49:16
好きです、ルイ、作品です。
スティーブン・ウルフラム 49:18
ええと、それはつまり、便利な輸送媒体のようなもので、エッセイは情報の輸送媒体として便利なもので、特に両者が全くアライメントしていない場合に便利なんです。この用紙に記入し、この欄にチェックを入れ、この欄にチェックを入れ、そうすれば簡単に一方から他方へ転送できます。
しかし、お互いに相手が何を求めているのかがよくわからない場合、このような方法があります。そんなときに便利なのが、この「情報転送」です。つまり、ナレッジワーカー的な職業に就いている人や職業があるわけですが、そのようなナレッジワーカー的な職業を自動化する人はいないだろうと思われていました。
ジェイソン・カラカニス 49:57
そう、それは不可能なことなのです。そうでしょう？
スティーブン・ウルフラム 50:01
ええ、人間の判断では。しかし、それが真実でないことが判明しました。その結果、私はその分野の1つで、例えば、プログラミングの1つの分野で、もし人々が過去40年間、私たちがやってきたことに注意を払っていたら、このような窮地に陥ることはなかっただろうと言わざるを得ませんね。
というのも、私たちが構築してきた計算言語の全体的な考え方は、低レベルのプログラミング言語に存在する定型的なものはすべて、すでに自動化されているということです。たとえば、2つの都市の間の地理的距離などを言うとき、私たちはすでに、そのようなことをすべて自動化しています、 データベースから長いラットを取り出したり、球面幾何学を解明したり……そんなことを、JavaでもPythonでも何でもいいですが、大きなコードの塊で書いたり、ここのライブラリから取り出したり、そこのライブラリとのインターフェースがないような、そんなことをしたり。
これは、低レベルの手作業によるプログラミングのようなもので、現在では、この計算言語を使う人が何百万人もいないとは言い切れませんが。なぜなら、彼らはすでに、より高度なレベルで物事を行う方法を知っているからです。
しかし、プログラミング言語を使って行われてきたプログラミングは非常に多いのです。プログラミング言語とは、人間がコンピュータに、コンピュータが何をすべきか、コンピュータの言葉で伝える方法です。しかし、これらはコンピュータの用語であり、私が過去40年ほど追求してきた全体的な考え方は、人間が物事を考える方法と、計算機でできることをつなぐ架け橋となるような、言語を持つということです。
コンピュータにとって都合のいいレベルではなく、人間のレベルで物事を表現できるようにするのです。そのためには、言語を構築する人たちにもっと多くの仕事があります。しかし、それが私が今、多くの時間を費やしていることなんです。
ジェイソン・カラカニス 52:06
私たちがそれを見たとき、これはゆっくりとした変化になるのでしょうか？例えば、私がニューヨークで最初のロフトを手に入れたときのことを思い出しますが、それは90年代のことでした。そして、彼らは手動エレベーターのオペレータを持っていた、彼らはあなたの階とこの古い建物にそれを取るでしょう。そして、10年後、そのエレベーターは廃止されたんです。自動化されたエレベーターが導入され、エレベーターオペレーターは、概念として50年かけて、時間の経過とともに非推奨になりました。
アメリカには2,3台しか残っていないようです。サンディエゴのホテル・デル・コロナドは、古いエレベーターとエレベーターオペレーターを残していることで有名ですが、それは魅力的だからだとか、氷を切るからだとか。
そのホテルには行ったことがあるような気がする。ああ、たぶん、そこに座っている老人のようなものです。しかし、製氷機、冷蔵庫、電話交換手、オペレーター、一般にランプライター、こういったものはすべてなくなってしまったんです。
しかし、時間がかかりました。だから、これを見ると、これ、プログラマーが10倍良くなるような気がするんです。そして、そう、世の中の達成感が増すんです。なぜなら、これは本当に速くスワットの仕事を一掃してしまうような気がするからです。そうすると、社会的にはどうなるのでしょうか？
スティーブン・ウルフラム 53:12
あるものはかなり早く消えてしまうと思います。この特定のケースでは、それを行うための技術が存在するだけでなく、社会的な態度や、ああ、これは消えていくんだ、だからもっと早く終わらせようというような、ある種の未来がすでに見えているため、より早く進むと思います。
私の予想では、いくつかのことはそれなりに早く起こるでしょう。しかし、私の人生では、幸運にも、あるいは不運にも、現在の時代の何十年も先を行くようなものをたくさん発明してしまったことがありますよ。だから、物事が実際に吸収されるスピードは、気が遠くなるほど遅いんです。
これは、今ある勢いのようなものが原因だと思います。これは、今ある勢いから、かなり早く進むと思います。さて、それはどういう意味でしょうか？今までの事例を見ると、電話交換手ですね。電話交換手が存在したのは、電話が存在したという事実の結果であり、それは技術的な進歩でしたよね。しかし、その後、自動交換機が登場し、手動で電話交換機を操作する必要がなくなりました。しかし、自動交換機のおかげで、基本的に遠距離通信産業が可能になり、膨大な種類の仕事が生まれました。
アメリカを見ると、1900年頃でも1850年頃でも、半分以上が農業でした。そうです。そして、人々の仕事の円グラフは、農業という大きな楔と、その他のいくつかの楔で、どれも非常に大きなものでした。しかし、現在では、もっと細かく切り分けられ、パイはもっと小さくなっています。
自動化が進むと、より多くのことが可能になり、人々が埋められるニッチが増えることになります。そして、このような自動化が進むと、より多様なことが可能になり、人々ができることが増えるのだと思います。農業の場合、人々は皆、耕運機を押すだけというわけではありません。
農業のために耕運機を押し付けるのではなく、農業のために耕運機を押し付けるのです。では、次は何が可能かを考えてみましょう。AI、オートメーション、人間の間の相互作用について理解する必要があると思います。それは？その質問に対して、本質的な答えを持っていないんですよ。
私たち人間は、本質的な答えを持っていると思っていますが、その答えはどこから来るのでしょうか？それは、歴史の網の目のようなものから来るものであり、生物学的なものから来るものであり、等々。しかし、私たちは、自分には明確な目標があり、これをしたい、あれをしたいという確信を持っているのです。
その目標は、人間本来のものであることが多いのですが、その目標をどのように達成するか、それがAIや自動化などの出番です。このように、物事を大きく実現できるようになったとき、重要になるのは、その実現した物を使って何ができるかということです。
先ほど、MLMのユースケースについてお話しました。さて、これで土地は確保できました。あとは、どのユースケースを重視するかを考えなければなりません。これは、人間の本質的な活動です。というのも、法学修士は、ランダムに単語を並べたりすることで、たくさんの情報を得ることができます。そして、LLMを奇妙に擬人化することで、ランダムに言葉を紡ぎ出し、人間がそれを見て、「これは一体何なんです？私たちはそんなこと気にしません。
ジェイソン・カラカニス 57:00
のことです。そうですね。ジョッキーが必要だから……パイロットが必要だから……。
スティーブン・ウルフラム 57:03
そうですね。つまり、何が目的なのか、どんな方向性なのかを定義する必要があるのです。何度も何度も見てきたように、自動化されたものは、他の多くの機会を可能にするものだと思います。時には、それが、今のパターンです。
このようなことは、「終わりを迎えるのだろうか」という疑問と同じです。発明される可能性のあるものはすべて発明された、というような感じでしょうか。実は、私たちは、計算機による還元不可能性に関連する理論科学的な考察から、このことを知っています。
ある種の形式的な意味において、発明されるものがなくなるということは決してないのです。常に予期せぬものを発見し、発明することができるのです。ですから、原理的には、発明できるものに制限はないのです。問題は、私たち人類が「もういいや」ということです。
今は、すべてのものが気になるわけではないんですよ。私たちが気にしていることは、すべて発明されているんです。そうでしょう？これからは大丈夫だというのは、実は、うまくいかないんです。なぜなら、世界や自然界などでは、常に予想外のことが起きていて、それに対応しなければならないからです。
だから、「これで終わり」というわけにはいきません。しかし、「もう大丈夫だ」と言えるような状況では、私たちが関心を持つすべてのことが、AIやその他の自動化によって自動化されている可能性があります。そうすると、「ああ、もう人間がやることはないんだ」となる可能性もあるわけです。しかし、理論科学的な理由と現実的な理由の両方から、そうなるとは思えませんね。
ジェイソン・カラカニス 58:45
そうですね。このパラダイムシフトが起きたとき、私たちは農業工場と知識労働を手に入れました。今、知識労働は自動化されようとしているように見えます。工場にロボットを導入し、畑や農業、工場にロボットやオートメーションを導入すれば、それらに携わる人間はそれほど必要ではなく、知識労働に携わる人間もおそらくそれほど多くは必要ないでしょう。
では、これが真のパラダイムシフトだとしたらどうでしょう。ポストナレッジワークの時代には、プロンプトエンジニアリングはどうなるのでしょうか。誰でもチャット・インターフェースに話しかけて、本当に重要で差し迫った問題を解決するような製品やサービスを世の中に生み出すことができる、この新しい時代を何と呼ぶのでしょうか。
スティーブン・ウルフラム 59:28
私は、それが本当に私たち人間が何をするのか、そして何をすることについての特別なことを反映していると思いますし、それはそうかもしれません？知識労働のひとつは、それが判明することであり、教育が人々をこのように導いているのです、と考えることができるかもしれません。
多くの種類の知識労働を行うための手順があり、そう、分析的なステップが必要です。しかし、大局的な視点で物事を考えるというのであれば、それは一般的な知識労働とは異なります。それは、典型的なナレッジワーカーが行うべき訓練ではありません。
そして、これこそが、グローバルに物事を考えるという、トランスヒューマン的な素晴らしいことだと思うのです。そして、そのような知識の価値は格段に上がり、超専門的なサイロ化された知識の価値は下がると思います。
なぜなら、そのような知識は、自動化を使えばサイロの奥深くまで掘り下げることができるからです。サイロの奥深くまで入り込むというのは、全体的な考え方として、以前よりもずっと簡単になっています。ですから、私は、他の、ある意味、より創造的な、ある意味、より恣意的な、より人間的な選択によるもの、例えば、あの方向ではなく、この方向に進むことができるのではないか、このクールで、ある種の日常的な、人々を楽しませるような、そのようなものを考えつくことができるのではないかと思うことがあります。
「終点はここだから、その終点を埋めなさい」と言うようなものではありません。そして、最良の方法は、知識労働のかなりの部分が、最終的な結果はわかっている、多かれ少なかれ、どこに行くかはわかっている、というようなものに終始していると思います。あとは、いわば細部を埋めていくだけなのですが、私は、このような方法を考えています。
ジェイソン・カラカニス 1:01:18
ジャーナリズムの仕事でも、法律の仕事でも、「誰が、何を、いつ、どこで、なぜ」「何人かに話を聞いて、片方の言い分を聞いて、もう片方の言い分を聞いて、出版します」みたいな感じなんです。では、弁護士、この契約書に何を書いてほしいか？契約を破った場合、どうする？よし、これで終わりだ。
そして、あなたが提案するのは、次の時代は人類の創造的な時代になるかもしれない、ということです。教えてくれているんです。判断基準かもしれませんね。適切な言葉を考えようと思っているんです。しかし、暗記型の知識作業ではなく、人間の判断力、創造性が原動力となる領域のような気がします。
スティーブン・ウルフラム 1:01:55
それは良い可能性だと思います。つまり、私は一般的に楽観主義者である傾向があると思います。そして、円グラフがどんどん細分化されていくのを見るんです。そして、さまざまな人がさまざまなスキルを持っていることを考えます。
例えば、私の場合、科学と計算、そして技術に時間を費やしてきましたし、企業やそのようなものに携わってきました。もし、私が歴史の中で別の時代に生きていたら、私が本当に楽しんできたことはできなかったかもしれませんね。
そして、1850年当時は、そのようなことはなかったのです。計算や、計算にまつわる科学は、できることのパイチャートに含まれていなかったんです。ですから、私のような楽観的な見方では、「パイはもっとたくさんある」「もっといろいろなことができます」と考えています。そして、興味やスキルの異なるさまざまな人たちのために、もっともっと、探求できることがあるはずなのです。そうですね。
ところで、新しい職種がたくさん出てくると思うのですが、どうでしょう？つまり、私たちはプロンプトエンジニアを手に入れたばかりですが、私たちはこれから
ジェイソン・カラカニス 1:03:12
ポッドキャスターは、自分が情熱を傾けているものに対して、プロとして会話をするものです。それを生業にしているということは、チャーリー・ローズもいましたし、オプラもいました。しかし、今、ポッドキャストだけで生計を立てている人が10万人くらいいて、それを何億人もの人が聴いているというのは、衝撃的なことです。誰も考えもしなかったような、小さなパイの一片のようなものです。
スティーブン・ウルフラム 1:03:33
そうですね。そして私たちは今、エンジニアに汲み上げられたところです、愛。Wranglerができそうです。心理学者も出てきますし、新しいカテゴリーがたくさん出てきます。これは、イノベーション、特に自動化で起こることの信じられないほど典型的な例だと思います。
ジェイソン・カラカニス 1:03:54
私たちは、このすべてがチャットのインターフェースで起こるのを見ているのです。しかし、みんな嘆願書にサインしたんでしょう。、一時停止した方がいいんじゃありませんか？これは、あなたが見たかどうか分かりませんが、この「生命の未来」の署名が主なものだったと思います。私は、これはほとんど儀式的なもので、私たちが仕事を止めることはないだろうと考えるに値するものだったと思います。
スティーブン・ウルフラム 1:04:17
私は、私は誰も停止した人を見ていません。そういうことだと思います。皮肉屋は、自分たちが取り残されていると感じている場所の人々のリストだと言うだろうし、他のみんながやっていることは、追いつくまでの間、しばらくの間停止するのです。
ジェイソン・カラカニス 1:04:29
そうですね、皮肉屋的なアプローチもあれば、「こんなことは起こらないだろうけど、記録として残しておきたい」というのもありますね。そのアクセス。そうですね、より思慮深くなるには良い機会だったかもしれません。もっと思慮深くなることについて話しましょう。意図しない結果になる可能性があるところまで来ていると思いますか？もう一度言いますが、あなたと私が見ていないペースでは、あるのです。
スティーブン・ウルフラム 1:04:54
いつも意図しない結果になります。どんなことでもそうですがウイルス学の研究をすることであれやこれや他のことにつながると誰が考えたのでしょう。良いことでも悪いことでもそうです。
ジェイソン・カラカニス 1:05:09
でも、パンデミックは？ ええ、例えばです、私たちのポッドキャストは、実際に人間が作成したCOVIDの可能性が高いと推測した場合、フラグが立つとは言わないでください、
スティーブン・ウルフラム 1:05:16
ということでしょう？その、まあ、AIだったのかもしれませんね。そうではないのかもしれない……つまり、そうではないのです。そのレベルでは、AIはまだそれをする準備ができていなかったのです。今なら、おそらくAIになるのでしょうが。
ジェイソン・カラカニス 1:05:26
ここでちょっとオープンマインドな話をしてみましょう。プロンプトをいくつか入れるとします。COVIDのシーケンスを入れ、シーケンスするのはそれほど難しいことではありません。あるいは、老人が感染するのではなく、若い人が感染し、潜伏期間が長く、認知や阻止が困難なものを思いつくでしょうか。それなら、今日からでもできますよ。
スティーブン・ウルフラム 1:05:52
そうです、というのも、ちょっと複雑なんです。結局のところ、全く奇妙なことの1つは、大規模な言語モデルが、実はタンパク質の構造を理解するのに役立つということなんです。そう、人間の言語とは何の関係もないことです。タンパク質はアミノ酸の長い文字列で、原子の集合体のようなものです。
すべてのタンパク質はDNA（ゲノム）の一部によって規定されており、タンパク質は1000から数百万のアミノ酸の文字列です。そして、通常、100万個ものアミノ酸が存在することはありません。しかし、このようなものが長い間連なっているのです。
そして、そのタンパク質はある複雑な方法で折り畳まれる。タンパク質がどのように折り畳まれるかは非常に重要です。なぜなら、タンパク質が生物学にとって実際に重要な意味を持つのは、その形と関係しているからです。
タンパク質には特定の穴があり、そこに他の分子が入るか入らないか？タンパク質は、それ自体で筋肉を作るように編み込まれるのでしょうか。つまり、形が重要なのです。そこで、配列があれば、その形状を予測できるかどうかが問題になるわけです。
この問題は長年の課題でしたが、当初は大規模言語モデルとまではいきませんでしたが、現在では大規模言語モデルを使って多くの進展がありました。しかし、実際に起こっていることは、タンパク質を取り出し、配列を取り出し、そのタンパク質がどのような形をしているのかを把握することです。
では、これらの断片をどのように組み合わせるか考えましょう。そして、これらのピースを組み合わせることは、先ほどのパズルのピースのようなもので、人間の言語では、組み合わせることは、LLMが非常に得意とすることのように思われるのです。
つまり、たくさんの単語があれば、それを処理するタンパク質を作るということです。ですから、あなたがおっしゃるようなことは、実は、計算の非簡約性という問題がたくさんあるのかもしれませんね。しかし、大まかには、確かに、「これを使えば、言語的なプロンプトだけで、ちょっと違う働きをするものを見つけることができます」と言えるでしょう。そして、おそらく他のゲノムデータベースなどからも何かを取り込むことができます。だから、きっと、それは、残念ながら、おそらく、場合によっては、幸いなことかもしれないし、残念ながら、そうでないかもしれない、ということになるのでしょう、
ジェイソン・カラカニス 1:08:34
というのは、エンジニアが持っているプロンプトで、彼らの目標は何なのか、ですね。そうですね。。
スティーブン・ウルフラム 1:08:39
しかし、つまり、それはとてもあらゆる種類の進歩の典型的なものです。あなたは、あなたは、あなたがそれを使用することができます、あなたは、あなたが恐ろしい病気を治すためにそれを使用することができます、あなたは、あなたが恐ろしい病気を作るためにそれを使うことができます。
ジェイソン・カラカニス 1:08:47
原子炉を作ることも、核爆弾を作ることもできます。そして、そう、そうです。ただ、これらの例では、人々はツールにそれほどアクセスできなかったのに、このツールは、誰もがアクセスできるようになるような気がします。
スティーブン・ウルフラム 1:09:12
ええ、まあ、そうですね。また、核のものを作るのに必要な材料は、そう簡単に供給されるものではありません。ブライアンはそれらを生産するための長いサプライチェーンを有しています。そうですね。だから、これは確かにずっとアクセスしやすいんです。
ジェイソン・カラカニス 1:09:24
私たちは、6カ月の禁止令に署名するよう自分たちを説得したんだと思います。怖い可能性がたくさんありますね。それを話すと、世の中に受け入れたくないということになりそうです。
スティーブン・ウルフラム 1:09:37
さて、理解すべきことは、「オーケー」について考えるとき、AIは何をするつもりなのか、ということです。
最初の質問は、AISに何をさせたいか？もし、AISのために倫理体系を定義するとしたら、どのようなものにしたいでしょうか？AIは人間の行動を模倣するものです」と言う人がいます。ほとんどの人は、それは悪い考えだと言うでしょう。
人間は、人間がやるべきでないと思うようなことをいろいろとやっています。そうですね。お互いに殴り合えます？そうですね。そうです。ほとんどの場合、人はそれを悪いことだと思います。しかし、それが悪いことだと思わない人もいます。
そして、それは複雑なんです。そして、結局のところ、AIを、私たち人間が目指すような存在にしようということになるのだと思います。しかし、それはもっと曖昧で複雑なことです。なぜなら、誰の願望を選ぶのか、ということです。
秘密の本とか、自己啓発の本とか、そういうのを選ぶでしょう。そうですね。。しかし、最終的には、あるグループの人たちが、目にはこうあってほしいということに同意して、AI憲法みたいなものを作って、AISにはこうあってほしいということを定義するでしょう。
そして、それは、おそらく、賢明なことではありません。計算言語やプロンプトで定義するのは比較的難しいですが、それよりももっと良いのは、AISに何をしてほしいか、いわば定義です。もし、ある種のモノラルな、つまり、モノラルで培養された、ある種のAIの世界があれば、それはかなりもろくなります。つまり、何か問題が起きたら、そう、コードに、いわばAISのための法律コードに、事実上、何か問題があるのです。全世界をこの法規範に従わせたがために、すべてが台無しになってしまうのです。
ジェイソン・カラカニス 1:11:49
少なくとも、オープンソースの非営利団体として始まったオープンAIが、いつの間にか営利団体に転じ、そして誰もがこのコードにアクセスできるようになったという事実をどう感じているのか気になります。突然ですよ、サム。そしてチームは、このコードは誰もが口にするにはちょっと危険すぎるから、私たち以外は口にできない、と言ったのです。
オープンソースにして、人々がこの内容を見るべきだと思いますか？そして、もっとオープンにすべきだと思いますか？それとも、少数の人がソースコードにアクセスできるようなプログラムであってもいいと思いますか？
スティーブン・ウルフラム 1:12:22
というのも、このMLMの全体的な考え方は、今や瓶から取り出した精霊のようなもので、MLMをオープンエアーにすることができる、私は素晴らしいエンジニアリングの仕事をした、というようなものです。そして、彼らは、他の人々がまだ達成していないことをたくさん達成しているように見えます。
そしてそれは、ビジネスの観点からは、多くの意義があり、多くのタイミングがあり、何がどれだけ早く立ち上がるのか、などなど、様々なことがあります。正直なところ、イノベーションを起こすのは難しいことです。私たち自身の例で言えば、かなり小さな会社ですが、もう36年も経営しています。
800人とか、かなり小さな会社ですが、多くの基準から見れば、かなり小さな会社です。しかし、私たちがイノベーションを起こすことができるのは、自分たちが行うことに対して実行可能なビジネスモデルを持っていることの結果です。もしそれがなかったら、私たちは私たちはただ、すべてを提供するつもりです。そうしたら、どうやって800人を養えばいいのでしょう？人？だから、ビジネスモデルが必要なんです。
私は個人的には、広告のような間接的なモデルよりも、価値を得る人、つまり他の人がお金を払ってくれる、いわば直接的なビジネスモデルの方が好きです、
ジェイソン・カラカニス 1:14:02
独自の言語モデルを構築し、Chatbotに対抗するために起こっていることを見ているだけです。
スティーブン・ウルフラム 1:14:08
私たちのような会社がそのようなことをすることができるのは明らかです、
ジェイソン・カラカニス 1:14:16
簡単に。そうですね。あなたにとっては間違いなさそうですね。
スティーブン・ウルフラム 1:14:20
つまり、このようなことはあまりないと思います。そして、私が言っていたことは、私は、このようなことはないと思う、つまり、もしあなたが、まあ、みんなを引きずり降ろそう、と言うなら、このようなことだと思います。
つまり、誰もリーダーになるための資金やモチベーションを持ち合わせていないのです。それは、世界にとってあまり良いことではありません。イノベーションを起こしたいのであれば、例えば、ある組織が、その組織が何をするのかを自分で決められるような状況が必要です。
そのような状況で、創造的なイノベーションが起こるとはとても思えません。ですから、私は、大局的に見れば、このような特定の細部がどうであるかは重要ではないと考えています。しかし、イノベーターとして独立するための能力、モチベーションを持つことは重要だと思います。
それは、1年前、Traci Beattyがいなかったという事実が証明していると思います。そうですね。チャトリビューティを作るために必要なイノベーションを起こせるような状況にあった、やる気のある人たちが必要だったんです。
ジェイソン・カラカニス 1:15:51
そう、そしてそれは少数の人たちです……数百人でしょうか、彼に話を聞かせたのは。だから、Googleがやったというわけではないんです。FacebookやGoogleがため息をつくような努力をしたわけではなく、比較的控えめな人数のグループによって達成されたのです。この辺で終わりにします。最後に2つの質問をさせてください。私たちはどの程度、答えに近づいているのでしょうか。しかし、AGIに対するあなたの考えを聞くことにとても興味があります。
また、もし1年単位で、あるいは布団を敷き詰めるとしたらどうでしょうか？そして、どのようにすれば、あなたの考えでは、いつAGIを持つものがあるとわかるのでしょうか？
スティーブン・ウルフラム 1:16:34
この50年間、私はコンピュータやその種のもので、「○○ができるようになれば、真の人工知能ができる」と言われるようなものに注目してきました。私は個人的に、このような人工知能をいくつか作りましたが、人々は「これができたら」と言い、実際にできたときには、「ただの工学の塊だ」と言います。そんなことはないんですよ、インテリジェンスとかね。
1:17:00
つまり、それはほとんど
スティーブン・ウルフラム 1:17:08
真の人間の知性があるとわかるのは、基本的に人間のコピーを手に入れたときです。そして、いつもこう言うことができます。「ああ、この人にはこの属性がない。人間そっくりのものを作るには、本当に人間そっくりのものを作るしかないんだ」と
さて、この問題は、いつ、どのような段階的なものなのか、つまり、これは大きな衝撃だったのです。トレイシー・ビーティ、人々は自動化されたシステムに、このようなレベルの、いわば人間性を期待していなかったのですか？アラン・チューリングが1950年に作ったチューリング・テストがありますが、2023年時点で、私たちはそれを行うことができる、あれは終わったのだと思います。
それがいつ実現するかは誰も知りませんでした。そして、これは、真の人工知能を持つかどうかのテストという、ある種の標準の最後の1つだったのです。この人たちの主な仕事はいつ自動化されるのだろうという疑問を持つとき、自動化というのは、昔は手書きで書いていたようなものだということを理解する必要があります。
そして、印刷が登場し、A、B、Cのフォントが標準化されたのです。しかし、ある人はこう言うでしょう。「書道的なものの人間的なタッチが失われています」と。ここでも同じことが起こるでしょう。例えば、チャットやGPTで書かれたエッセイを読むと、とても完璧なんです。
ある意味、とてもアノダインなんです。そして、人間ではなく機械が作った絨毯のような、そういうものがないんです。そして、私は、人々は、人々が、ああ、まあ、ラグがルールエラーを持っていない場合、それは本当にあなたが知っている、あなたが知っている、あなたが持っている場合は、自動化された一般的なラグか何かであることを言い続けるだろうと思います。
ジェイソン・カラカニス 1:19:37
これらのマシンがあるとき、誰が勝つべきですか？あなたは知っている、私はあなたがボストンダイナミクスで誰もが私を思い出させる驚きの方法について話したときに考えていた、そして、あなたはどのようにそれを期待していなかったのようなものです、実行し、フリップを行うことができ、その最初のロボットを作りました？ボストン・ダイナミクスのパルクールロボットとTのキャッチアップ、この2つはいつ組み合わされたのでしょうか？そして、その姿はどうなっているのでしょうか？そうですね、
スティーブン・ウルフラム 1:20:06
つまり、大規模な言語モデルのような方法で幾何学的なものを作ることができるようになるということですが、これらは非常に近づいています。すでに実現しているものもあります。これは、3Dオブジェクトを作ったり、アニメーションを作ったりするときに重要なことです。
機械学習を使って、携帯電話をどうやってつかむか、どうやって手に取るか、といった問題を解決するのは、比較的困難なことだと思うのです。しかし、これは比較的難しいことがわかりました。ロボット工学がどのように進歩するかという問題ですが、私自身は、ロボット工学について驚くべきことの1つは、かなり非汎用的であるということだと思います。
コンピュータと同じで、コンピュータを可能にした大きな進歩は、普遍的な計算というアイデアでした。一定のハードウェアがあり、そこにさまざまなプログラムを入れると、さまざまな計算を行うことができるというアイデアです。
これは、もともと1920年代から1930年代にかけてのアイデアで、1950年代に現実味を帯びてきました。そして、これがソフトウェアを可能にしたのです。それが、基本的にコンピュータを便利なものにしたのです。
ジェイソン・カラカニス 1:21:32
ワープロも、ビデオゲームも、エクセルのスプレッドシートも、すべて同じコンピュータでできるようになりました。
スティーブン・ウルフラム 1:21:37
そうですね、その通りです。ですから、ロボットの場合は、汎用的なロボットシステムを持つことができるかというと、そうではありませんでしたね、人間は。その方法については、私も少し考えたことがあります。物理的な世界は、いわば情報的な世界と比較して、扱うのが厄介だからです。
そうですね。しかし、もしそうなったら、そしていずれはそうなると思います。ところで、分子レベルでは、生物学がその問題を解決しています。生物学は基本的に、先ほどお話ししたタンパク質で、アミノ酸の配列があるだけのものを作っています。
そして、そのタンパク質が自らを殺して、筋肉になったり、脳細胞になったり、あるいは、さまざまな種類の生物学的装置の中で重要な役割を果たすものになったりするのです。つまり、分子レベルの生物学では、ユニバーサル・ロボット工学の問題を解決したことになります。
しかし、大規模なものでは、まだ解決していないのです。ええ、おそらくそうなるでしょう。そうなれば、例えば、どんな仕事が自動化されるかという点では、別の、別のパイの塊が、今行われていることがゼロになり、新たに可能なことが増えていくでしょう。
それは、物理的な世界を操作することで、まだ実現されていないことです。そして、何が起こるかというと、物理的な世界を操作することが、ロボットの手にさまざまな部品を取り付けるという問題ではなく、いわばソフトウェアの問題になっていくのです。
ジェイソン・カラカニス 1:23:16
さて、この監査に、この種の一般的なロボットに、ジェイソンのバッグを彼の部屋まで持って行けと言えば、バッグ、それが何であるかは分かっています。そして、どんな部屋なのか知る必要があります。どんな部屋なのか問い合わせに行き、2階まで運ぶ必要があります。そして、実際にバッグを拾ってこれを実行できる物理的な標本が必要なのです。
スティーブン・ウルフラム 1:23:49
このことについて理解する必要があるのは、もう少し一般的な話ですが、チャット・インターフェースは、ロボットに何をさせたいかについてのあなたのスピーチ全体を受け止めることができるということです。なぜなら、ロボットには言語というものがあるからです。
そこで、最近私が注目しているのが、「計算言語イニシアチブ」が本当に重要であるということです。というのも、自然言語というものを手に入れたら、そこから計算言語というものを生成することができれば、それは人間が読むためのものだからです。
そして、現在数百万人がその読み方を知っていますし、おそらくもっと多くの人がその読み方を学ぶでしょう。そして、その人たちは、「ああ、そうです、これが私の欲しかったものだ」と言うでしょう。2行の計算言語があるのですが、それを読むことができるんです。
そして、そうです、私が欲しかったのはこれだ、さあ、やってみろ。という感じです。それがないと、ちょっと難しいかもしれません。ロボットの動きを見ていると、「いやいや、そんなことしちゃだめだ、これを拾ってはいけない」と。
ジェイソン・カラカニス 1:24:51
配偶者や子供を意味するものではありません。私たちが話しているのは、そのような荷物なのです。
スティーブン・ウルフラム 1:24:58
そうですね。だから、つまり、明らかに催促したりすることができるんです。しかし、特に大きなシステムを構築しているとき、そして全体的なコレクションを実行したいとき、正確な計算表記という中間層を持つことが本当に重要である状況はたくさんあります。
しかし、私は、ロボット工学のようなものが、人間のために構築された世界であることを、期待しています。例えば、ある高さの手を使って開けることのできるドアなどがあります。ですから、人型ロボットに適した環境を作ったからには、人型のようなロボットを作らなければならないというプレッシャーがあるのでしょう。
しかし、世界には、自然界が作り出した、人間には全く適さない環境もたくさんありますよね。そうですね。私たちがたむろしがちな場所は？ええ、そうです。そして、まったく違うものが適切な場所になります。しかし、それは、LLM（法学修士号）を取得したときのようなものです。
そして、実際の人間の言葉を学んでいるのです。他にもいろいろなことを学ぶことができます。しかし、それは実際には人間の言語ではなく、人間の世界、この場合は人間の言語世界に適合するように、いわば人間が作り上げた意志のようなものとは対照的です。
ジェイソン・カラカニス 1:26:14
この速さは異常です。そして、あなたのような人がそれに取り組んでいるのは素晴らしいことです。Wolfram Alphaをチェックし、プラグインをチェックし、それで遊び始め、作ったものをTwitterで共有すればいいのです。お時間を割いていただき、本当にありがとうございました。
スティーブン・ウルフラム 1:26:34
さて、ここで基本的なルールを説明しましょう。ビジネスをする上で、誰かが私を教授と呼んだら、それは本当に致命的です。ドクターはまあまあです。しかし、ビジネスでは、それは失敗です。
ジェイソン・カラカニス 1:26:47
時間を割いていただき、本当にありがとうございます。特に今この瞬間は、みんながあなたの仕事ぶりに興奮している時で、とても忙しいと思います。本当にありがとうございました、そしてまた次回お会いしましょう。では、また。さようなら。