joebot.substack.com/p/forthcoming-book-latest-interviews
Forthcoming Book, Latest Interviews, and AI Armageddon
ターミネーターがスカイネットと戦うために人類を助けたのはクールだが、彼のヴァクシン・マスクのシラーには頭が上がらない。バランス的には、彼が未来に留まっていた方がよかったと思う。
読者の皆さん、ご無沙汰をお許しほしい。というか、沈黙を楽しんでくれているといいのであるが。今月は2つの理由で忙しい月だった。
まず、私は本の仕上げの最終段階に入っている。それについては、また近いうちに。
第二に、人工知能をめぐる誇大広告とスピンが過熱していることである。GPT-4のリリース、OpenAI CEOのSam Altmanによる不穏なメディア出演、Bill Gatesによる熱烈な評価、Future of Life InstituteによるハイレベルなAI開発の6カ月停止を求める警鐘のオープンレター、機械知能研究所のEliezer Yudkowskyによる私たちの差し迫った破滅についての警告などがあった。これを受けて、イタリアではChatGPTが禁止された。
私たちは、War Roomでこのような展開に終始している。(以下にリンクを掲載する)
先週、Future of Life Instituteの公開書簡に、 イーロン・マスク、ユヴァル・ノア・ハラリ、スチュワート・ラッセル、マックス・テグマーク、スティーブ・ウォズニアックなど1000人以上の「AIエキスパート」が署名し、「すべてのAI研究所に対し、GPT-4より強力なAIシステムの訓練を少なくとも6カ月間、直ちに一時停止するよう求める」と発表した。
このモラトリアムが実現する可能性は限りなくゼロに近いが、やって損はないだろう。全体として、彼らのメッセージは中途半端にまともである。この手紙は、国民がずっと前から考えてきたはずの4つの重要な問題を提起している：
現代のAIシステムは、一般的なタスクでは人間並みの能力を発揮するようになってきており、私たちは自問自答しなければならない：
- 私たちは、機械が私たちの情報チャネルにプロパガンダや非真実で溢れさせるべきだろうか？
- 充実した仕事も含め、すべての仕事を自動化すべきだろうか？
- 私たちは、いずれ私たちを凌駕し、凌駕し、陳腐化し、取って代わるかもしれない非人間的な精神を開発すべきだろうか？
- 文明のコントロールが失われるリスクを冒すべきだろうか？
それは4つともビッグ・ノーだろう。どんな狂人が「イエス」と答えるのだろうか？もちろん、技術加速主義者である。
このような決定を、選挙で選ばれていない技術リーダーに委ねてはならない。強力なAIシステムは、その効果がポジティブであること、そしてそのリスクが管理可能であることが確信されてから開発されるべきである。
私は、どんな高度なAIシステムでも、そのリリースに重大な欠点が伴わないかどうか、懐疑的な見方を超えている。すでに、現在のチャットボットやアートジェネレーターが生み出す集団心理を見れば、そのことがわかるだろう。世界の舞台では、高度な軍事用AIがもたらす長期的な地政学的影響について、今後数十年にわたって研究されることになるだろう。
署名者の予言が実現すれば、必然的なマイナス面は明らかだ。マスク、ハラリ、ラッセル、テグマーク……彼らはみな、人工の一般知能が人間より賢くなり、それゆえに強力になる日を予見している。そうなれば、私たちの運命は機械のなすがままになる。彼らは、AIプログラマーがイン・シリコで神を創造していると信じている。
その点でも、私からはNOだ。
この得体の知れない機関車を止めるために、すべてを破壊する覚悟でいる評論家もいる。TIME誌の論説でユドコフスキーは、公開書簡と同じ日に発表された、AI訓練の6カ月間の一時停止は情けないほど不十分だと主張した。 「新たな大規模訓練のモラトリアムは、無期限かつ全世界的である必要がある」と彼は主張している「政府や軍隊を含め、例外はありえない」
ユドコフスキーは、自身がトランスヒューマニストであるにもかかわらず、超知的なAIは人類にとって核兵器よりもはるかに悪い存亡の危機をもたらすと考えている。彼は、当局に「すべてをシャットダウンする」ことを要求している。それが、核戦争の危険を冒してまで、外国で稼働するデータセンターを空爆することを意味するならば、それはそれでよい：
大規模なGPUクラスター （最も強力なAIが精製される大規模なコンピュータファーム）をすべてシャットダウンする。 大規模なトレーニングの実行をすべて停止する。AIシステムの訓練に使用できる演算能力に上限を設け、より効率的な訓練アルゴリズムに対応するため、今後数年間でその上限を引き下げる。政府や軍隊の例外は認めない。禁止されている活動が他の場所に移動しないよう、直ちに多国間協定を結ぶこと。販売されたすべてのGPUを追跡すること。
もし、協定外の国がGPUクラスターを建設しているという情報があれば、モラトリアムが破られることよりも、国家間の銃撃戦の方が怖くなく、空爆で不正なデータセンターを破壊することもいとわない。
トランスヒューマンのラッダイトであるテラン・ユドコフスキーに話を聞こう！
外国に爆弾を落としてAIを阻止する権限を政府に与えることは、そもそもスーパーコンピュータの神を作ろうとすることよりも2倍も非常識に聞こえるかもしれない。しかし、マイクロソフトやグーグル（あるいはバイドゥやテンセント）が神のようなAIをオンライン上で実現できる可能性が少しでもあるなら、あるいは自分たちが成功したと多くの人に思わせることができるなら、空爆はそれほどおかしなことではないかもしれない。
Geoffrey Hinton is a serious man. When he says AGI is a concern, he ain't just whistling Dixie.
These guys believe they're building potential Armageddon machines. And they're doing it anyway.pic.twitter.com/MCmffrqOUt
— Joe Allen (@JOEBOTxyz) April 1, 2023
ジョー・アレンJOEBOTxyz
ジェフリー・ヒントンは真面目な男である。AGIが懸念されると言うことは、単にディキシーを口笛で吹いているのではない。彼らは、自分たちがハルマゲドンの可能性のある機械を作っていると信じている。そして、とにかくやっているのである。
7:19 PM ∙ 2023年4月1日
つい最近まで、汎用AIができるまで20～50年はかかるだろうと思っていました。今は、20年かそれ以下かもしれないと思っています。その可能性を完全に否定はしませんが、5年という人もいます。数年前の私なら「ありえない」と言ったでしょう。
コンピュータが自分自身を改善するためのアイデアを出す日も近いのでしょうか？
はい、そうなるかもしれません。それはそれで問題ですよね。それをどうコントロールするか、しっかり考えないといけません。そうですね。できるかな？それはわかりません。まだ行ったことがないのだから。しかし、やってみることはできます。
なるほど、それはちょっと気になりますね。そうですね。AIが人類を絶滅させる可能性はどれくらいあると思います？
考えられないことではありません。そうですか それしか言えません。
このようなパニックやヒステリーが起きているのは、ほとんどの場合、指導者たちが人工知能がもたらす危険性を真剣に受け止めなかったからだ。AIが経済、教育、戦争に深い影響を与えることが確実となった今、人々は正気を失っている。国民精神に与える影響は計り知れない。
高度なAIを計画した人はほとんどいない。現在、関係者は対応策を考えようと奔走している。AIが人類を滅ぼすと確信している人たちは、「破滅派」に属している。一方、「悪魔の兵士たちよ、進め！」と、リスクは報酬に見合うものだと言う加速度論者もいる。
その真ん中には、何が起こっているのか知らない、あるいは気にも留めていない人々がいる。「ゴミが入ればゴミが出る」と、まるでこのスローガンを何度も繰り返すようにプログラムされているかのように言う。「AIは単なるコンピュータコードだ」と、まるで独自の見解だろうかのように言う。「AIはプログラマー次第でどうにでもなる」AIは実際には存在しないし、これからも存在しないと確信している人があまりにも多い。これは、否定主義の長い伝統の一部である。
「人工知能は実在しない」
「遺伝子は実在しない」
「ウイルスは実在しない」
「恐竜は存在しなかった」
どのテイクも同じエネルギーを感じる。砂に頭を突っ込んでいるダチョウは、いいように薙ぎ倒される位置づけにある。
私の感覚では、心理的・社会的な影響こそが、AIがもたらす最も直接的な脅威であると考えている。インターネット上には、やがて人工知能が溢れるようになるだろう。私たちは、「強化」という名のもとに、自分の認知能力を機械に委ねるように仕向けられようとしている。子どもたちはAIと共生することになる。教師は淘汰されつつある。作家や芸術家はやる気をなくさせている。このすべては意図的なものである。
プロパガンダを信じれば、私たちは万能の企業ボルグに吸収されることになる。
OpenAIのSam Altmanは、何十億もの人々に目をスキャンして自分がボットでないことを証明するよう説得したいと考えている。創業者の暗号プロジェクト「Worldcoin」を紹介する。
超知的なAIがもたらす実存的な脅威は、より抽象的で想像しにくいものである。オックスフォード大学のトランスヒューマニスト、ニック・ボストロムが「危険な転回」と呼ぶ転回には、暴走したAIによって重要なシステムが乗っ取られることが含まれる。 AIが兵器システムやバイオラボを制御しているのかもしれない。あるいは、これらのシステムにアクセスすることができるかもしれない。もしかしたら、AIは人間や多くの人間を操って、とんでもなく愚かなことをさせ、私たちを破滅させるかもしれない。
大きな危険は、AIが意識を持つようになったことではない。また、人間が悪意をシステムにプログラムしたことでもない。必ずしもそうではない。AIが、人間の幸福や人間の存在にそぐわない特定の目標やゴールを追求するように最適化されたために、危険な方向に向かう可能性がある。
古典的な思考実験として、公害を解決するため、あるいは戦争を終わらせるために開発されたAIがある。最もまっすぐな道は、問題をその発生源から排除することだろう。つまり、私たちのほとんどが去らなければならなくなる。
これらはテクノデリック・フリークアウトのシナリオである。正直なところ、今、高官には多くのバカやサイコがいるので、AIはすでに暗い状況に別の危険な要素を加えるだけだ。何度も言っているように、私の最大の恐怖はマトリックスに閉じ込められることではない。私が恐れているのは、イディオクラシーの中で白痴に支配されることだ。歪んだ機械知能の導入は、すでに陳腐化したケーキの上に冷たいアイシングを乗せただけだ。
ウォー・ルーム・ウィズ・スティーブ・バノン
この10日間から、いくつかのセグメントを紹介する。私の暴言に目くじらを立てなくても、コールドオープニングは見ておいた方がいい。(これらのビデオクリップをまとめる際、私は、被写体の言葉を文脈から外すことなく、そのメッセージを抽出することに誇りを持っている)。
バイオメトリクスIDとグローバルガバメント – 技術的問題に対する技術的解決策
生命の未来研究所は、AIが人類の文明を破壊する可能性があると警告している。
サム・アルトマンとレックス・フリードマンは、テクノロジーという闇の宗教を心から信じている
OpenAIのサム・アルトマンは「世界の終わり」を止めず、ただ遅らせるだろう
トランスヒューマニスト、エリエゼル・ユドコフスキーがAIに警鐘を鳴らす – 「悪魔召喚は簡単」
マインドマターズインタビュー
最後に、Mind Mattersのメンバーとのインタビューを紹介する。
私の脳に脱獄を実行し、ウキウキを解放してくれた。その他、AIやコンピュータの意識、原始社会の窮状、ラッダイトの嘆きなど、様々な話題を持ち寄っている。どうぞお楽しみに。
OCR conversion failed