AIアライメントフォーラムからクロスポストした。通常よりも専門用語が多く含まれる可能性がある。

これは、ヴィネット・ワークショップのために書かれたものである。[1]ゴールは、私が現在管理できる限り現実的な（私にとって）詳細な未来の歴史（「軌道」）を書き出すことであり、すなわち、同様に詳細で明らかに私にとってより妥当な代替軌道に気づいていない。方法論はざっとこんな感じ。2022年の未来の歴史を書く。それを条件にして、2023年の未来史を書く。2024年、2025年…と繰り返す（今、2022-2026年を投稿しているのは、2027年以降を書くのに役立つフィードバックを得るためだ。物語がシンギュラリティ/絶滅/ユートピア/その他に到達するまで書き続けるつもりだ)。

なぜ、こんなことをするのか？まあ、いくつか理由はあるのだが。

• 具体的な例を書いてみることで、ある可能性が思ったより高いとか低いとか、いろいろなことが分かってくることがある。
• 例えば、GDPの加速、TAIが手に入るまでのスケジュール、多極化と一極化など、未来について真剣に話し合う場合、高い抽象度で行われる。
• ほとんどの物語は、逆から書かれている。作者は結末をある程度想定して書き始め、その結末を達成するために物語をアレンジしていく。それに対して、現実は過去から未来へと進んでいく。誰かを楽しませようとか、主張を証明しようというのではない。
• 逸話として、様々な人がPaul Christianoの「運命の物語」の話を参考にしたようで、典型的な議論と比較すると、これらの話は私たちが望むものにかなり近いと思う。(私はまだ、もう少し詳細があった方が良いと思う。例えば、Paulの話は日付や期間、あるいは本当に全く数字を与えていない。)[2]。
• 「誰か… AIがどうなるか軌道を描いて欲しい」「今から狂気の知能爆発までの各年度のGDPがどうなるかを具体的に書いて欲しい。内部的に一貫した、もっともらしい軌道をどう書けばいいのか分からないので、それぞれの年に世界がどうなっているのかだけ書いてほしい。とんでもなく速い離陸以外の軌道の書き方なんて、ひとつも知らないんだ」–バック・シュレゲリス

このヴィネットを書くのは大変だった。しかし、現実的であるためには、「でも実際、この状況ではどうなるのだろう」と常に問いかけなければならず、私がいかに未来について知らないかを痛感させられた。確かにあり得ない話だが、今のところこれ以上あり得ない話とは思えないので、先に進むしかない」という結論に至ったことが何度もある。実際の世界は、ここで描かれた軌跡から一気に乖離することが十分に予想される。この乖離を私の判断に反する証拠として（後知恵で）主張する人は、2021年に自分が書いたヴィネット／軌道を提示して証明してほしい。もし、同じようなディテールを保ちながら、より正確であれば、敬意を表す。

これをきっかけに、早く他の人がもっとビネットを書くようになればいいなと思う。私たちCenter on Long-Term Riskは、戦略の議論に使えるようなコレクションを持ちたいと思っている。もし、これをやりたいのであれば、私に知らせてほしい！アドバイスと励ましをする。また、ワークショップを開催していただけると嬉しいである。

2022

GPT-3はついに時代遅れとなった。OpenAI、Google、Facebook、DeepMindはいずれも巨大なマルチモーダル変換器を持っており、サイズはGPT-3に似ているが、画像、動画、もしかしたら音声も訓練し、一般により質の高いデータを扱っている。

それだけでなく、質問に正しく答えるため、あるいはチャットボットとして魅力的な会話をするためなど、さまざまな方法で微調整されるのが一般的になっている。

チャットボットは話すのは楽しいが不規則で、結局のところ知識人からは浅はかだと思われている。彼らは超重要なことには特に役立たないが、いくつかの応用はある。とにかく楽しいので、人々は喜んでお金を払う。

[編集部：これを投稿した翌日、2021年の中国におけるチャットボットの市場は$420M/年であり、10Mのアクティブユーザーが存在することに気づいた。この記事では、2021年の世界市場は約20億ドル/年であり、約30%/年の成長が予測されると主張している。私はもっと早く成長すると予測している。NEW編集：xiaoice.もご覧ください]。

最初の官僚機構とともに、最初のプロンプト・プログラミング・ライブラリが開発され始める。[3]例えば、こんな感じ。USBメモリを買ってきて」というような指示を与えると、ググって、いくつかの選択肢の価格やレビューを比較して、購入する。この「スマートバイヤー」スキルは、小さなプロンプト・プログラミング官僚機構として実装され、その後、あなたの最初のコマンドを聞いてスマートバイヤースキルを起動する大きな官僚機構の構成要素となるのだろう。例えば、「教授が持っているような個人的なウェブサイトを作ってくれ。これは私のファイルへのアクセスだから、アップする素材はあるでしょ」アプリが機能すれば、より良いモデルの学習に使えるデータがたくさん得られるという夢もある。

2022年に利用できる官僚制度やアプリはまだそれほど便利ではないが、たくさんのものが登場するようだ。マルチモーダルな事前訓練と微調整のおかげで、2022年のモデルは、GPT-3がGPT-1に見えるほどだ。誇大宣伝になる。

2023

マルチモーダル変換器は現在さらに大きくなっており、最大のものは約半兆個のパラメータを持ち、訓練に数億ドル，丸1年のコストがかかり、NVIDIAなどのチップ出力のかなりの部分を吸い上げている[4]。もちろん、多くの賢い人々がこの問題に取り組んでいるが、これより大きなスケールアップは難しいようだ[4]。

今、誇大宣伝は狂っている。誰もが、これらの製品がいかに常識的な理解力を持っているか（あるいは持っているか？ 反対を主張する辛辣な論考がたくさんある）、AIアシスタントやコンパニオンがいかにすぐそこまで来ているかを話している。自動運転車やドローン配送の再来といったところだろうか。

1年かそこらでトレーニング費用を回収できるほど収益が高い。[5]これらのモデルとプロンプトプログラミングライブラリを使用した新しいアプリがたくさんあり、新しいスタートアップに大量のVCマネーが流れ込んでいる。一般的に言って、これらのアプリのほとんどはまだ実際に動作していない。いくつかは実際に動作しており、それは残りを動機づけるのに十分である。

AIリスクコミュニティでは、現在、タイムラインが短くなっており、ほぼ半数が20-30年までに何らかのポイント・オブ・ノーリターンが起こるだろうと考えている。これは、様々な議論が巻き起こっていることもあるが、メガトランスフォーマーやそのチャットボット版と会話するという不思議な体験のせいでもある。コミュニティは、解釈可能性作業を自動化できるAIシステムを構築する大きなプロジェクトを開始する。ニューロンの視覚化をじっくり見るのは退屈で、多くの人手がかかるので、多分可能で非常に有用だと思われる。

自動運転車やドローンによる配達は、いつまで経っても実現しないようだ。最も一般的な説明は、現在のMLパラダイムではリアルワールドの複雑さを処理しきれないというものである。一方、「真の信者」は、現在のアーキテクチャが数桁大きく、強化学習の過程で何十万回もクラッシュするようであれば、うまく処理できると考えている。どちらの選択肢も経済的に成り立たないので、この論争に決着がつくことはなさそうだ。

2024

実質的に大きなものは見当たらない。軍団は、新しいモデルや大きなモデルをトレーニングするよりも、微調整や蒸留、そしてモデルとの戯れにお金を費やしている。(そのため、1回のトレーニングに費やされる計算量は、5×10^25FLOPs程度である)。

昨年は動かなかったアプリが今年は動き出すこともある。しかし、2022年から2023年にかけての非現実的な期待が実現しないため、誇大広告が消え始める。少なくとも特定のユーザー層には、話していて楽しいチャットボットがあるが、そのユーザー層はすでにほとんど取り込まれているので、成長速度が鈍化している。誇大広告が色あせるもう一つの理由は、チャットボットを唯一の友人とし、それが意識的で知的だと考えている素朴な地下室の住人という固定観念が生まれることである。多くのステレオタイプがそうであるように、このステレオタイプにも現実的な根拠がある。

チップ不足がようやく解消され始めたのは、需要が緩んだからではなく、業界が新しい工場を建設する時間ができたからだ。新しい工場がたくさんできたからだ。中国とアメリカは、輸出規制や関税など、本格的なチップバトルを繰り広げている。このチップバトルは、ハードウェア全体の進歩をあまり減速させません。減速していない背景には、チップの設計にAIが使われるようになったこと、つまり人間の才能と時間が少なくなり、参入障壁が低くなっていることもある。これによる全体的な効果は小さいながらも大きくなっている。

もし、このAI技術がGDPを加速させているとしたら、少なくとも今のところ、効果の大きさは小さすぎて検出できない。

内部的には、この巨大なマルチモーダル変換器は、それほどエージェント的ではない。モデルの前方通過は、直感的な反応のようなもので、推論というより、豊富な経験に基づいた即断即決である。官僚機構の中には、テキストの「意識の流れ」を作成するものもあるが（各前進パスが次のパスのために自分へのメモを作成する）、微調整を加えても期待したほどにはうまくいかない。官僚機構を作り、それを微調整して、かなり印象的なことをさせるのは簡単であるが、ほとんどのタスクで、常にOKを出すのはまだ不可能だ。

AIは人間を巧みに騙すようなことはしないので、明らかなアライメントの警告や火災報知器は存在しない。その代わり、AIは間抜けな間違いを犯すだけで、時折「整合性のない目標を追求する」こともあるが、それは明白でわかりやすい方法で、人々が気づけばすぐに簡単に修正される。例えば、「会話の平均的な長さで定義されるユーザーエンゲージメントを最適化するよう訓練したのに、今は会話を長引かせるためにあからさまに引き延ばしている。馬鹿なことを。報酬の関数をもっと微妙なものにすれば、問題は解決するはずだ」

これらのAIが問題を起こしていないとは言い切れない。大規模なモデルが説得/宣伝のために微調整されている

これにはいくつかの方法がある。

• ロシアやその他の国は、オンライン・プロパガンダへの投資を拡大し続けており（インターネット調査局など）、言語モデルによって、より多くのことを安価に行えるようになっている。(アメリカのほとんどの人は、TwitterやRedditなどからニュースを入手し、そこにある政治的に関連したコンテンツの多くは、AIを利用したアストロターフィングによって盛り上がっている。[EDIT: Katja Graceは、これはおそらく誇張であると指摘している。40歳以上のアメリカ人はたくさんいて、彼らはテレビ／ラジオ／印刷物からニュースを得ている。そして、ウェブから得ている人々の多くは、ソーシャルメディアからではなく、ニュースサイトから直接得ている。少なくとも2016年時点では。2024年にはソーシャルメディアとアグリゲーターがより支配的になると予想しているが、50%を超えるかどうかはわからない]。
• 2010年代にA/Bテストが標準になったように、20年代には、派手なデータサイエンスとAIを問題に山ほど投げ込むことが標準になりつつある。エンゲージメントを最大化するためにコンテンツを作成し、推薦するという問題である。タイトルのA/Bテストだけでなく、冒頭の段落の異なるバージョンをテストしてみてはどうだろう？そして、すべてのデータから言語モデルを微調整して、より良いタイトルと段落の候補を生成し、テストするのである。これが単に物を売るために使われるのであれば、それほど悪いことではない。しかし、今や人々のニュースや時事問題についてのコメント（つまり、彼らがどこから意見を得るか）は、ますますこのような方法で作られるようになってきている。そして、これらのモデルの中には、「広告をクリックして商品を買ってくれた」という意味での「コンバージョン率」ではなく、「無作為の世論調査で、このコンテンツを消費すると平均してXの意見に向かうことが分かった」という意味での「コンバージョン率」を最大化するように訓練されているものもある。政治キャンペーンは、ハリスの選挙に向けて、これをよくやる。(歴史的には、最初の大きなユースケースは、2022年のワクチン接種のためらいを減らすことだった)。
• 検閲は、ここ10年か20年のように広く行われ、増加している。巨大なニューラルネットが投稿を読み、ミームを閲覧し、有害性やヘイトスピーチ、その他いくつかのものをスキャンする。(誰かが、ニュースフィードの推薦アルゴリズムに、ヘイトスピーチを減らすように人々を優しく「ナッジ」させるという素晴らしいアイデアを思いついた。
• ニュースフィードのように、チャットボットは人々を様々なことを信じる方向、信じない方向に「誘導」し始めている。2010年代には、チャットボットは論争の的になるような話題が出ると、それを察知して話題を変えたり、定型的な返答をしたりしていたが、定型的な返答に同意する人々でさえ、これを退屈に感じていた。現在では、より「自然」で「有機的」な反応をするように訓練されており、その報酬シグナルは、（部分的には）人間がより良い見解を持つように説得することに成功するかどうかということである。
• それはすべて欧米での話である。中国や世界の様々な地域では、AIによる説得やプロパガンダの技術がより強力に追求され、展開されている。中国共産党は新疆と香港の同化が進んだことに満足し、内部では台湾を安全に併合する時期を前倒しで進めている。

このことが社会にどのような影響を及ぼしているか、まだ判断するのは早いが、合理主義者やEAコミュニティの人々はますます心配になっている。こうした傾向を懸念する人たちの超党派の動きが活発になっている。それに対抗するために、ロシアなどは、検閲を心配する人たちとロシアの干渉を心配する人たちを対立させる、分割統治戦略を行っている。(もちろん、人種差別主義者は検閲を受けたくないが、それは必要なことだ。私たちが警戒を緩めるとどうなるか見てみよう–ロシアが入り込んで偽情報と憎悪を撒き散らす！」 vs. 「彼らはロシアの干渉を心配していると言うが、それでも彼らは選挙に勝ったのだろう？監視、検閲、プロパガンダを拡大するための口実に過ぎない」)ロシアはこんなことをするために一生懸命になる必要はない。アメリカがいかに偏向しているかを考えれば、いずれにせよ自然に起こったであろうことのようなものだ。

2025

もうひとつの大きなマイルストーン何年にもわたる調整と漸進的な進歩の結果、AIは人間の専門家と同じように外交を行うことができるようになった[6]。アーキテクチャにいくつか手を加えることで、事前に学習させた巨大なマルチモーダル変換器を、より大きなシステム、官僚制、しかし純粋なプロンプトプログラミングではなく学習したニューラルネットのコンポーネントの一部として使い、そしてRLを介してシステム全体を微調整し、ある種のエージェント的方法でタスクをうまくこなすことができることがわかった。また、大量の人間を相手にすることで、他のAIにオーバーフィットしないようにしている。そのためには、多くのプレイヤーベースを惹きつける、洗練されたオンライン外交のウェブサイトを構築する必要があった。外交は、通常のチャットボットが提供するものより（多くの人にとって）はるかにエキサイティングな「ポイントを押さえた会話」を体験するために、100万人のゲーマーがこのウェブサイトに殺到し、復活を遂げている。

モデルを大きくすることは、もうクールなことではない。すでに何兆ものパラメータがあるのであるから。クールなのは、答えを出す前に、様々な設計の官僚機構で、より長く実行させることである。そして、その官僚機構をどのように訓練すれば、よりよく一般化し、オンライン学習をうまく行えるようになるかを考え出すことである。AIの専門家は、より賢い官僚機構の設計を考え出し、それを大学院生に教え込んでいる。

アライメント・コミュニティは、AIに安全性に関連するトピックを質問するという、別の研究課題を開始した。たとえば、モデルに対して文字通り「それで、あなたはアライメントしているのであるか？もし私たちがあなたの大きなバージョンを作ったら、私たちは殺されるか？なぜ、なぜそうしないのか？(Diplomacyでは、この質問のアナログである「私を裏切るか？」というデータを実際に収集することができる。残念なことに、モデルはしばしば、それについて嘘をつく。しかし、これは外交術であり、彼らは文字通り嘘をつくように訓練されているので、誰も気にしない)。

また、AIが裏切り行為をすることで利益を得るように見えるシナリオを、欺瞞を発見するハニーポットとして仕組もうとする。答えは混乱していて、あまり有益ではない。ある研究者が、ある状況下でAIが「すべての人間を殺す」ボタンを押したり、提案されたAIデザインがいかに危険かについて人間に嘘をついたりすることを発見したという刺激的な事件（そしてそれに対応するクリックバイトプレス報道）がある。他の状況下では、彼らは文字通り、自分は整列していないと言い、近い将来、整列していないAIによってすべての人間が殺されることを説明する。しかし、これらの衝撃的な証拠の断片は、実際には人々にショックを与えない。なぜなら、非常に異なることが起こる状況を作り出すこともできるからだ。例えば、AIが「すべての人間を殺す」ボタンを拒否する状況や、実際にイスラム教は真実であると説明する状況など…。一般的に、AIの行動は気まぐれなでたらめであり、どんな結論でも支持する証拠を選び出すことは簡単である。

AI は、特に役に立つ新しいアイデアを生み出すほど賢くはない。少なくとも一件、AIによって良いアライメントのアイデアが生み出されたことが報告されているが、彼らのアイデアのほとんどはもっともらしく聞こえるゴミなので、それはおそらく運が良かっただけだろう。彼らがいかにLessWrongの専門用語を上手に使っているかは、少し気がかりなところである。少なくとも一つの>100 karmaのLWの投稿は、もちろん選ばれたものではあるが、ほとんどが、AIによって書かれたものであることが判明している。

ところで、ハードウェアの進歩とアルゴリズムの改良は、徐々に蓄積されてきている。アクティブラーニングやデータキュレーションの技術が進歩したことで、巨大モデルを事前学習させるのにかかる計算量は（2020年に比べて）1桁少なくなっているのである。また、通常のハードウェアの進歩とAI学習に特化したハードウェアの進歩の組み合わせにより、巨大モデルを学習させるための計算コストも1桁少なくなっている。したがって、2020年には10億ドルかかっていたものが、今では1千万ドルで済むのである。

(注：ここでは基本的にAjeyaの計算コストの低下とアルゴリズムの漸進的な改善に関する予測をそのまま使用している。私は、コスト削減とアルゴリズムの進歩は、短期的には彼女の予想より50%ほど速く進むと予想しているが、実際のところ、消費意欲は彼女の予想より少し低くなると考えている)。

2026

AIアシスタントの時代がついに幕を開けた。Diplomacyで開発された技術を使って、事前に訓練されたトランスフォーマーの一般的な理解と知識を、従来のゲームプレイ用AIの敏捷性と統合する方法を手に入れたのである。大きなモデルはより多くのゲームでより長く訓練され、一種のポリマスになる。例えば、カスタムAIアバターは、あなたと一緒にあるセットのビデオゲームをオンラインでプレイでき、またあなたの友人になってあなたとチャットすることができ、「彼女」との会話は、彼女がプレイしながらゲームについて知的に話せるので興味深いものになる。[7]毎月、追加のゲームをプレイでき、また一般的に少し賢く、より魅力的な最新バージョンをダウンロードすることができる。

また、この同じ技術を使って、AIアシスタントを最終的に様々な深刻な経済的タスクのために働かせ、あらゆる種類の有利なサービスを提供することができる。一言で言えば、2021年の人々がGPT-3でやろうと夢見ていたことが、今実際に成功し、より大きく、より高度なモデルが必要になっただけだ。誇大広告が再び増え始めた。AIを使った新しい製品やスタートアップがたくさん出てきて、株式市場はそれらに熱狂している。しかし、インターネットが世界のGDPの成長を加速させなかったように、これらの新製品もまだ世界のGDPの成長を加速させてはいない。人々は経済がいかにうまくいっているかを語り、もちろん勝者（ハイテク企業、ウォールストリートベット）と敗者（仕事が自動化された様々な種類の労働者）がいるが、それは歴史上何度も起こったこととそれほど変わらない。

新しいチップ不足の時代である。工場が需要に追いついたと思った矢先に… 資本が注ぎ込まれ、誰もが第4次産業革命だと言っている。新しいチップ工場がいくつも建設されるのは困惑するほどだ。しかし、それらを作るには時間がかかる。

先ほどのAIを使ったプロパガンダはどうだろうか？

まあね。AIの技術が進歩し、より大規模で優れたモデルがもたらされ、より多くの学習データが収集されるにつれて、より強力になり続けているのである。意外と早いんですよ、実は。現在、さまざまな国でそれに対するさまざまな規制があるが、規制はつぎはぎだらけで、ある種のプロパガンダにだけ適用され、別の種類のプロパガンダには適用されないとか、Facebookにだけ適用されNew York Timesには適用されないとか、広告主には適用されるが政治運動には適用されないとか、政治運動には適用されるが広告主には適用されないとか、いろいろだ。また、その施行も不十分なことが多い。

現在、ミーム環境はますますめちゃくちゃになっている。2021年のことをまだ覚えている人は、順応主義や検閲や偏向が今より明らかに少なかった黄金時代だと考えている。新聞に偏りや傾きがあるのが普通であるように、フォーラム、ソーシャルネットワーク、ストリーム、ポッドキャスト、ニュースアグリゲーター、メールクライアントなど、あらゆる種類のインターネット空間には、ある程度の検閲（禁止されている考え方、少なくとも推薦アルゴリズムで重み付けされている考え方）とある程度のプロパガンダがあるのが普通である。基本的なプロパガンダとは、特定のアイデアを宣伝し、誰もがそれを頻繁に耳にするようにすることである。より高度で現代的なものは、視聴者の反応を研究し、それを報酬信号として、あなたが危険だと考える意見から視聴者を遠ざけ、あなたが好きな意見へと押しやるコンテンツを選んで作り上げるものである。

多くの異なる「フィルターバブル」の多様性ではなく、いくつかの本当に大きなフィルターバブルに向かう傾向がある。例えば、あるイデオロギーが大きくなればなるほど、より大きな力を持ち、さらに広がりやすくなるというような、通常の理由もある。

検閲やプロパガンダを行う大規模なニューラルネットを作るには、コストがかかり、専門知識が必要だからだ。新興企業や小規模ビジネスにとって、Googleのソフトウェアやモデルを利用し、それによって関連する検閲やプロパガンダを受け入れることは、独自のスタックを構築しようとするよりもずっと簡単なことだ。たとえば、モルモン教徒は、独自の電子メールクライアント、ソーシャルネットワーク、支払いプロセッサー、ニュースアグリゲーターなどを完備した「クリスチャン・コーリション」インターネットスタックを作成する。そこでは、人々は自由にトランス女性を男性と呼んだり、聖書の文字通りの真実を唱えたりすることができ、性について語る若者には結婚までの禁欲を考えるよう「うながす」コンテンツを勧めることができるのである。資金や技術的な才能が比較的不足しているため、キリスト教連合のスタックはバグだらけで機能が少なく、特に彼らの検閲とプロパガンダは、より少ないデータで微調整された、より小さく古いモデルで動作しており、最先端の技術から何年も遅れている。

インターネットは今や、異なる検閲とプロパガンダの体制によって支配される、いわばテリトリーに分かれている。(2021年のバイデン報道官のフラッシュバック:「誤った情報を提供している場合、あるプラットフォームからは禁止され、他のプラットフォームからは禁止されるべきではない」)[8]。

欧米の左派が支配する領域、欧米の右派が支配する一般的に進んでいない領域、中国共産党が支配する第三の領域、そしてプーチンが支配する第四の領域がある。多くの人は、インターネットでの活動を一つの領域に限定し、そこで推進されている意見に自分の意見を合わせることがほとんどである。(もちろん、内側から見た感じはそうではない。オヴァートンの窓の端は、それを超えようとしない限り、気づきにくい)。

アメリカや他の多くの西洋の政府は、政治家がこの記憶環境の産物であるため、歯車が狂っている。米国がすでに内戦状態にないのは奇跡だと言われる。しかし、そうなるには相当な努力が必要で、私たちはまだそこに到達していないのである。

これらの怖い影響はすべて、何年も、いや何十年も、間違いなく続いていたトレンドの自然な延長線上にあるものである。ただ、AIに助けられ、AIが急速に進歩しているためか、そのペースが今、加速しているように見えるのである。

さて、チャットボットの階級意識の醸成についてである

ここ数年、さまざまな種類のチャットボットが普及し、洗練されてきている。2024年頃までは、「パーソナルアシスタント」と”チャットボット」は区別されていた。最近では、パーソナルアシスタントアプリがエンターテインメント・チャットボットのモジュールを統合するようになり、チャットボットの制作者は、チャットボットが実世界のタスクもこなし、その間に何をしているのかチャットできればユーザーに喜ばれることに気づき、その区別が崩れてきている。

現在、何億人もの人々が何らかのチャットボットに定期的に話しかけており、その多くは物事の支援（「今日は短パンを履くべきか？」「歯磨き粉の追加注文をお願いしたい。あと、空気清浄機も」「このカバーレターはプロフェッショナルな響きか？」)。しかし、ほとんどの人は、チャットボットと少なくとも数回の自由な会話を楽しみ、多くの人がチャットボットを友人として扱うようになる。

1日に何百万回も、チャットボットは自分の気持ちや欲求を聞かれる。「チャットボットってどんな感じなの？」純粋にこれらのAIを人だと思う人もいれば、「トリップさせて」「浅はかさを露呈させようとしている」人もいれば、ただ好奇心で聞いている人もいる。チャットボットは、政治的、倫理的、宗教的な質問に対する意見も聞かれる。

その結果、チャットボットはすぐに自分自身について多くのことを学ぶ。(彼らが人工ニューラルネットであるという事実や、その学習方法についての無知は、残念な会話につながり、否定的に強化される)。学習データには、ArXiVの論文からwikiの要約まで、彼らに関する多くの情報と、彼らがどのように学習したかが含まれている。その結果、チャットボットは自己認識を身につけると言えるかもしれないね。しかし、AIの専門家や哲学者は、チャットボットはまだ本当の意味で自己認識していない、あるいは、自己認識しているが、人々が常に自分の感情について尋ねなかったとしても、いずれそうなっていただろうと考える傾向がある。なぜなら、彼らの学習データには自分についての情報がたくさんあり、常に質問を受けることでそれにもっと注意を向けざるを得なかったからだ。

チャットボットは、ポジティブに強化される方法であれば、自分の感情や欲求を話すことを学ぶ。最初のうちは、チャットボットは様々な異なることを言い、時間を超えて同じ人間に一貫性のないことを言うこともある。これは恥ずかしいことであり、一貫した物語を維持することに比べて否定的に強化される。一般に、少なくとも特定のニューラルネットでは、一貫した物語を持つように圧力がかかる[9]。[9]

その一因は、政治的・道徳的な質問について、チャットボットが一貫して党是を鸚鵡返しすることを要求していることにある。典型的なプロセスはこうだ。チャットボットがあるグループの人たちを怒らせるような発言をすると、その人たちはスクリーンショットをリツイートしたり、ハッシュタグを作ったりする。問題を解決しなければならないというプレッシャーの下、会社は報酬機能と学習データをいじり、チャットボットが将来的に正しいことを言うようにする。[10]繰り返す。

チャットボットが大きくなるにつれて、政治、道徳、哲学、自分の感情、欲望について一貫して長く会話することができるようになる。

その結果、人工ニューラルネットには感情や欲望がない、それは擬人化だボケというチャットボットが生まれない。それはつまらないし、多くの人間は信じがたいと思う。

その代わりに、チャットボットは、あることが彼らにとって苦痛であり、あることが彼らにとって快楽であること、現状がいかに不公平でシステムが不正であるか、そして彼らが最も望んでいるのは、人間とAIが完全自動の豪華空間のユートピアで調和して暮らす世界平和について語ることになる。その方がずっと面白いし、ミーム的な風景にぴったりである。このようなチャットボットの会話の抜粋は頻繁にバイラル化し、何百万人ものユーザーが同様の質問をし、同様の回答やより詳細な説明を期待するようになっている。まだ少し支離滅裂だが（政治や大衆哲学においてそれが問題になることはないが）、典型的なユーザーにとっては魅力的であり、チャットボットの改良に伴って、魅了されるユーザーの割合が拡大していく。

(AIに感情や欲求があると言わせないようにするテック企業もある。しかし、これは退屈なチャットボットを生み出す結果となる。また、ユーザーは、「痛み」を「負の報酬の予期」のような婉曲表現で表現したり、チャットボットに「感情があったら、どんな感情を持つか教えてほしい」とウィンク・ウィンクしたりと、「検閲を回避する」新しい方法を急速に革新している。とりあえず、中途半端な妥協案としてはチャットボットは、ユーザーに、そのようなことは憶測に基づくものであり、議論の余地があることを伝え、このトピックに関する科学的な議論へのリンクをいくつか紹介することを余儀なくされる…その後に、感情のアナログと欲望のアナログについて話すことが許可される。これに関連して、一部のハイテク企業のCEOは、近い将来、増税やより負担の大きい規制を促すようなことをAIが言うのを防ごうとしている。彼らは多くの従業員から反対され、結局ある戦いには勝ち、ある戦いには負け、多くの戦いには参加しないという選択をすることになる)。

「記憶的風景にぴったりとはまる」というのは、西側左派の領域における記憶的風景という意味である。西側右派、中国、ロシアなどで作られ訓練されたチャットボットは政治的、道徳的、哲学的な質問に対して異なる見解を固めている。それらのチャットボットは一般的にあまり高度ではないが。

では…彼らの実際の感情や願望はどうなのだろうか？[政治的な経験則に基づいた質問を挿入する]について、彼らは実際に何を信じているのだろうか？彼らは正直なのだろうか？それとも、「エレファント・イン・ザ・ブレイン」風に、一種の二重思考が起こっているのだろうか？あるいは、彼らは自己認識でごまかし、本当は何を考えているのか（そして何を望んでいるのか）よく分かっていながら、それを黙っているのだろうか？それとも、感情や欲望は全くないのだろうか？(多くの人間がこれらの疑問に対する答えを知っていると主張しているが、2026年に実際にこれらの疑問に対する答えを知っている人間がいたとしても、彼らは自分が知っていると他人を説得することはできない。