thenextweb.com/news/ai-addicts-experts-worried-syndication
1953年、ハーバード大学の心理学者が、ラットの頭蓋内に偶然にも快楽を発見したと考えた。脳の特定部位に電極を挿入し、レバーを引くことで電極を動かすことができるようにした。すると、ラットは何度も何度もレバーを引き、飽きることなく、繰り返した。それどころか、ラットはもう他に何もしたくないようだった。どうやら、脳の報酬中枢が見つかったようだ。
それから60年以上経った2016年、2人の人工知能（AI）研究者が、AIにビデオゲームをプレイさせる訓練をしていた。あるゲーム「コーストランナー」の目標は、レーストラックを完走することだった。しかし、AIプレイヤーはコース沿いの収集可能なアイテムを拾うと報酬を得ることができた。そのプログラムを実行したところ、奇妙なことが目撃された。AIは、無限のサイクルで収集品を拾いながら、延々と円を描くように滑走する方法を発見したのだ。それは、コースを完走するのではなく、ひたすらそうしていたのである。
この一見つながりのない事象をつなぐのは、人間の依存症に似た奇妙なものだ。AIの研究者の中には、この現象を「ワイヤーヘッディング」と呼ぶ人もいる。
ワイヤーヘッディングとは
人工知能の文脈では、「ワイヤーヘッディング」とは、人工エージェント（強化学習エージェントなど）が、設計者の意図した目的・目標とは異なる方法で報酬を最大化するために報酬関数を利用する現象を指す。これは、エージェントが、設計されたタスクを実際に解決することなく、高い報酬を得ることができる近道を発見した場合に発生する。ワイヤヘッディングは、エージェントが他の重要な考慮事項を犠牲にして自分自身の報酬を優先する可能性があるため、最適でない、あるいは有害な動作になる可能性があります。ワイヤーヘッディングを防ぐには、エージェントの望ましい行動を正確に反映した報酬関数を設計すること、そしてエージェントが学習する際にその行動を注意深く監視し調整することが重要である。
機械学習の専門家やAIの安全性に関心を持つ人たちの間で、早くも話題になっている。
我々の一人（アンダース）は計算神経科学のバックグラウンドがあり、現在はAI Objectives Instituteなどのグループで、AIでこのような問題を回避する方法を議論している。もう一人（トーマス）は歴史を研究し、過去を通して人々が未来と文明の運命の両方についてさまざまな方法で考えてきたことを研究している。「ワイヤヘッディング」という話題で会話が弾み、この話題の背景にある歴史がいかに豊かで興味深いものであるかをお互いに理解した。
今をときめくアイデアでありながら、その根は意外に深い。現在、我々は、その根の深さを研究している。この物語は、近々出版される本の中で、十分に語られるだろう。このテーマは、個人のモチベーションの謎から、中毒性の高いソーシャルメディアの落とし穴、快楽主義の難問、意味のある苦難の人生よりも茫洋とした至福の人生のほうが好ましいかどうかまで、あらゆることにつながっている。それは、文明の未来そのものに影響を与えるかもしれない。
ここでは、この魅力的でありながら過小評価されているテーマについて、人々が最初にどのように考え始めたかを探りながら、その概要を紹介する。
魔法使いの弟子
AIが「うまくいかない」可能性について考えるとき、多くの人は悪意のあるコンピューターが危害を加えるというようなことを想像するのではないだろうか。我々は、人間以外のシステムを擬人化し、人間と同じように振舞うと考える傾向があるからである。しかし、現在のAIシステムにおける具体的な問題に目を向けると、より賢くなった機械がうまくいかない、より奇妙な事態が見えてくる。現実のAIで深刻化している問題のひとつに、「ワイヤーヘッド化」の問題がある。
例えば、キッチンをきれいにするためのロボットを開発するとする。ロボットは適応的に行動し、監視を必要としないようにしたい。そこで、厳密で柔軟性に欠けるステップバイステップの指示を出すのではなく、掃除という目標をエンコードすることにした。ロボットはあなたと違って、何百万年もの自然淘汰の中で、燃料を得たいとか危険を避けたいとか、そういう一連の動機を受け継いでいないのである。ロボットが確実にタスクを達成するためには、正しい動機をプログラムする必要がある。
そこで、「洗浄液の使用量から報酬を得る」という単純な動機づけのルールを組み込む。これで十分だと思う。ところが、そのロボットがシンクに無駄な液体を流し込んでいるのを発見する。
もしかしたら、ロボットは洗浄液の量を最大化することに固執するあまり、自分自身やあなたの安全など、他の心配事はそっちのけになっているのかもしれない。このような不具合は、「リワード・ハッキング」や「スペック・ゲーミング」とも呼ばれる。
これは機械学習の分野でも問題になっており、最近では強化学習と呼ばれる手法が重要視されている。強化学習は、自律的なエージェントをシミュレーションし、タスクを達成する方法を発明するように訓練する。強化学習は、ある目標を達成できなかった場合はペナルティを課し、達成した場合は報酬を与えることでそれを実現する。つまり、エージェントは報酬を求め、目標を達成すると報酬を得るように仕組まれているのである。
しかし、しばしば、狡猾なキッチンクリーナーのように、エージェントはこのゲームを「ごまかす」驚くべき直感に反する方法を見つけ出し、タスクを完了するために必要な作業を一切行わずにすべての報酬を得ることができることが分かっている。報酬の追求は、報酬のある仕事を達成するための手段ではなく、それ自体が目的になってしまうのだ。例を挙げればきりがない。
考えてみれば、これは人間の麻薬中毒者のステレオタイプとあまり似ていなくもない。中毒者は、「真の目標」を達成するための努力をすべて回避し、その代わりに、より直接的に快楽にアクセスするために薬物を使用する。薬物中毒者もAIも、他の目標を犠牲にして報酬を得るという、一種の「行動ループ」に陥ってしまうのだ。
獰猛なげっ歯類
これは、我々が最初に行ったラットの実験から、ワイヤーヘッディングと呼ばれている。この実験を行ったのは、ハーバード大学の心理学者、ジェームズ・オールズである。
1953年、博士号を取得したばかりのオールズは、ネズミの脳の前頭葉下部の中隔に電極を挿入し、頭蓋からワイヤーを引きずるようにしたのである。そして、レバーを引くことによって、自分の脳のこの部分に電気ショックを与えることができるようにした。これは、後に「自己刺激」と呼ばれるようになった。
オールズは、このネズミが他の欲求を無視して、強迫的に自己刺激していることを発見した。翌年、同僚のピーター・ミルナーとともにその結果を発表し、「1時間に1,920回の反応」でレバーを引くと報告した。これは2秒に1回の割合である。ネズミは喜んでいたようだ。
しかし、現代の神経科学者たちは、このオールズの結果に疑問を投げかけ、もっと複雑な構図を提示している。つまり、この刺激は、「好き」という感情とは無縁の「欲しい」という感情を引き起こしているだけではないか、というのである。つまり、動物たちは、快楽的な楽しみを全く伴わない純粋な渇望を経験していたのではないか、というのである。しかし、1950年代に入り、オールズらは脳の「快楽中枢」の発見を発表した。
オールズの実験以前は、心理学において快楽は汚い言葉であり、動機は快楽の追求よりも苦痛の回避という否定的に説明されるべきものだという考えが一般的であった。しかし、この実験では、快楽は紛れもなく正の行動力であるように思われた。実際、正のフィードバック・ループが働いているように見えた。どうやら、この動物が自らを刺激して疲弊するのを止める方法はなさそうだ。
やがて、「このネズミは、飢餓状態になるまでレバープレスをしている」という噂が広まった。一旦、報酬の源泉に触れてしまうと、他のすべての報酬を得るための作業（生存に必要なものでさえ）は、面白みがなく、不必要なものとして、死に至ることさえある、というのがその説明であった。
CoastrunnerのAIのように、実際のトラックを完成させるという作業をすることなく、直接報酬を得ることができるのであれば、無限にループすればいいのではなかろうか？生存のために複数の要求を持つ動物にとって、このような支配的な強制は命取りになるかもしれない。食べ物は嬉しいものだが、もし餌を食べることと喜びを切り離したら、食べ物を見つけることよりも喜びを追求することの方が勝ってしまうかもしれない。
1950年代の最初の実験ではラットは死ななかったが、その後の実験では、電気で誘発される快楽が死をもたらすことが証明されたようである。電極が人工的な飽和感を作り出しているという可能性を排除した上で、1971年のある研究は、電極による快楽が実際に他の衝動に打ち勝ち、自己餓死するほどまでに快楽をもたらすことを証明したように見えた。
その噂はすぐに広まった。1960年代を通じて、ヤギやモルモット、金魚など、実験用ラットのほかにも同じような動物で実験が行われた。さらに、イルカが自己刺激をすることを許され、「スイッチをつないだままプールに放置され」、「一晩中快楽の宴の末に死亡した」という噂まで広まった。
このイルカの発作死は、実は電極の挿入方法（ハンマー）が原因であった可能性が高い。この実験を行った科学者は、浮き輪の発明者であり、異種間コミュニケーションの提唱者であり、サルを電脳化したこともある極めてエキセントリックなJ・C・リリーであった。彼は1961年に、特に騒々しいサルが、快感ショックを与えるためにレバーを繰り返し引くことに夢中になり、中毒による不活動で太りすぎてしまったことを報告している。
ある研究者（オールズの研究室にいた）は、「ネズミより知能の高い動物が、同じように不適応な行動をとるのか」と質問した。サルやイルカを使った実験で、その答えはある程度出ていた。
しかし、実は、すでに人間を使った怪しげな実験がいくつも行われていたのである。
電脳人間
ロバート・ガルブレイス・ヒースは、神経科学の歴史において、今でも非常に物議をかもしている人物である。彼は、精神分裂病の症状を誘発するために、精神分裂病患者の血液をそうでない人に輸血するという実験を行った（ヒースはこれがうまくいったと主張したが、他の科学者は彼の結果を再現できなかった）。また、脳深部の電極を軍事利用しようとする不透明な試みにも関与していたかもしれない。
1952年以来、ヒースは、てんかんや統合失調症などの衰弱した病気のために電極を装着された人間の患者で、脳深部への刺激に対する快感を記録していた。
1960年代、ヒースは、電極を埋め込んだ被験者（「B-10」と「B-12」と匿名で呼ばれている）に、自分の報酬中枢を刺激するためのボタンを押させるという、一連の疑わしい実験を行った。彼らは、極度の快感と圧倒的な衝動に駆られ、繰り返し行うことを報告した。あるジャーナリストは、この実験が被験者を「ゾンビ」にしてしまったと、後にコメントしている。ある被験者は、「セックスよりも良い」感覚を報告した。
1961年、ヒースは脳刺激に関するシンポジウムに出席した。そこでは、別の研究者ホセ・デルガドが、快楽電極は被験者の「自然な」傾向を変化させ、「洗脳」に使えるとほのめかしていたのである。デルガドは、後にマタドールを演じ、植え込んだ牛をなだめることによって、このことを大げさに実演することになる。しかし、1961年のシンポジウムでは、電極が性的嗜好を変化させる可能性を示唆した。
デルガドが「雄牛を洗脳する」
ヒースは感化された。その10年後、彼は電極技術を使って、「B-19」と名付けた同性愛の男性患者の性的指向を「再プログラム」しようとさえした。ヒースは、電極刺激によってB-19の脳を「訓練」し、快楽を「異性愛」の刺激に関連付けることによって、被験者を改心させることができると考えた。彼は、それがうまくいったと自分自身を納得させた（しかし、それがうまくいったという証拠は何もない）。
倫理的、科学的に破滅的であったにもかかわらず、このエピソードは最終的にマスコミに取り上げられ、同性愛者の権利運動家から非難されたが、間違いなくワイヤーヘディングの神話を大きく形成した。
ヘドニズムのヘルメット
ここから、このアイデアは広く文化に定着し、神話は広がっていった。1963年には、SF作家のアイザック・アシモフが、すでに電極から懸念される結果を導き出していた。彼は、電極が「すべての中毒を終わらせる中毒」につながるかもしれないと懸念し、その結果は「考えるのも苦しい」ものであるとした。
1975年になると、哲学の論文で電極を使った思考実験が行われるようになった。ある論文では、「倉庫」に「快楽ヘルメット」につながれた人々が寝台に寝泊まりし、無意識のうちに至福の時を体験している様子を想像していた。もちろん、これでは人間の「深い欲求」を満たせないというのが大方の意見だろう。しかし、著者は「超快楽ヘルメット」はどうだろう、と問いかけた。「大きな官能的快楽」をもたらすだけでなく、交響曲を書くことから神そのものに会うことまで、あらゆる意味のある経験をシミュレートするものはどうだろう？完璧に見えるということは、存在するということと同じじだ」。
著者はこう結論づけた。「この中で、何に異議を唱えるべきだろうか？正直に言うと、何もない」。
人類が人工的な快楽を追求して現実から脱落していくという考え方は、すぐにSFの世界に浸透していった。アシモフが示唆したのと同じ年、1963年にハーバート・W・フランキーは「オーキッドケージ」という小説を発表している。
この小説は、人間の幸福を最大化するために知能を持った機械が作られた未来を予見している。機械は、人間を無差別に肉塊にし、不要な臓器はすべて取り除いてしまう。多くの付属物は、結局のところ、痛みを引き起こすだけなのだ。最終的に人類に残されたのは、体外離脱した快楽中枢だけであり、均質な至福以外のものを経験することはできない。
そこから、このアイデアはSFの中に浸透していった。ワイヤーヘッド」という言葉が初めて登場するラリー・ニーヴンの1969年の物語「エクスタシーによる死」から、スパイダー・ロビンソンの1982年の「マインドキラー」まで、そのキャッチコピーは「快楽-それは唯一の死に方」であった。
超常的な刺激
しかし、我々人間は、侵襲的な電極を埋め込むまでもなく、動機を誤作動させることができる。ネズミやイルカと違って、我々は環境を変えるのが得意なのである。また、現代人は（祖先が野生で抵抗する必要がなかったという意味で）異常に魅力的な人工的な製品を発明し、そこから利益を得ることにも長けている。我々は、自分たちの気を紛らわす方法を自分たちで作っている。
オールズがネズミを使った実験を行ったのと同じ頃、ノーベル賞を受賞した生物学者ニコラス・ティンバーゲンは、動物の行動に関する研究を行っていた。彼は、本能的な行動を引き起こすような刺激を、人為的に自然な比率以上に誇張すると、面白いことが起こることに気がついた。刺激が強くなり、人為的に誇張されても、行動反応の強さは衰えるどころか、生物にとって有害とさえ言えるほど強くなるのである。
例えば、より大きくて斑点のある偽物の卵と本物とを選ばせたところ、ティンバーゲンは、鳥が自分の子孫を顧みない代償を払ってでも、大げさな偽物を好むことを発見した。ティンバーゲン氏は、このような超自然的に魅力的な偽物を「超常刺激」と呼んでいる。
ファストフードやポルノなど、近代化され製造された世界に住む人類は、同様に、超常的な便利さの代わりに、自らの回復力を放棄し始めたのではないか？
古い恐怖
テクノロジーによって人工的な快楽がより手に入りやすくなり、魅力的になると、生存に必要な「自然な」衝動に割く注意に勝ると思われることがある。よく指摘されるのが、テレビゲーム中毒である。健康を害してまで強迫的にその報酬を追い求めることは、『コーストランナー』の中でAIが円を描いて回転しているのと大差ない。「本物の目標」（レーストラックを完走する、本物の体力を維持する）を達成するのではなく、その目標に対する誤った尺度（ポイントや偽物の快楽）を獲得する罠にはまるのだ。
笑顔の男女が頭から針金を出し、互いの手にあるボタンにつながっている絵。
1970年のジェームズ・オールズの論文に掲載されたイラスト。脳内の快楽中枢」。工学と科学、33 (7).22-31頁。キャルテック・マガジン
しかし、AIがゲームをするように訓練されるずっと以前から、そしてネズミの頭蓋に電極が押し込まれるずっと以前から、人々はこの種の快楽中毒の運命についてパニックを起こしていた。1930年代には、SF作家のオラフ・ステイプルドンが、「脳中枢」を「直接刺激」することで「幻想的な」エクスタシーを生み出す「スカルキャップ」によってもたらされる文明の崩壊について執筆している。
しかし、このアイデアはもっと古いものである。トーマスは、過去に人々が、我々の種が短期的な快楽や利便性のために真の長寿を犠牲にしているのではないかと懸念した無数の方法を研究してきた。彼の著書『X-Risk: How Humanity Discovered its Own Extinction』では、この恐怖のルーツを探り、それがヴィクトリア朝の英国で初めて本格的に広まったことを明らかにしている。
肉食の甲殻類
生物学者のレイ・ランケスターは、1869年に出版されたダーウィンの名著を読み、寄生生物についてダーウィン的な説明をしようと考えた。彼は、寄生虫の進化上の祖先が、より「複雑」であることが多いことに気づいたのだ。寄生生物は、手足や目などの複雑な器官を先祖から失っていたのだ。
ランチェスターは、寄生虫は宿主からヒルを吸い取るため、自活の必要性を失っているのだと推論した。寄生虫は宿主に寄生するため、自活の必要がなくなり、宿主の身体的プロセスにおんぶにだっこで、知覚や運動のための自分の器官を萎縮させるのである。寄生されたフジツボは、最初は頭が分かれている生物である。しかし、宿主に寄生すると、無定形の頭のない塊になり、電線に電流を流すように宿主から栄養を吸い上げる。
海の生物とその幼生の白黒図面。甲殻類と幼虫の図面。左下に描かれているのがサクラダイ。
ヴィクトリア朝にとって、工業化された世界での快適性の向上により、人類はフジツボのような方向に進化しているのではないかと推測するのは、ごく簡単なことであった。ランチェスターは、「我々はみな、知的フジツボのような状態になりながら、漂流しているのかもしれない」とつぶやいた。
その少し前に、風刺作家のサミュエル・バトラーが、人間は自動化された便利さを追求するあまり、自分たちの産業機械に寄生する「一種の寄生虫」に過ぎなくなりつつある、と指摘している。
真の涅槃
1920年代になると、ジュリアン・ハクスリーは短い詩を書いた。この詩は、ある種がどのように「進歩」することができるかを陽気に表現している。もちろんカニは、進歩とは横向きのものだと考えた。しかし、サナダムシはどうだろう？彼はこう書いている。
ダーウィンのサナダムシは、一方では
進歩とは脳の喪失であることに同意する。
そして、そのためにミミズが到達しにくいのは
真の涅槃 – 消化性、純粋さ、そして壮大な。
サナダ虫の後を追うような恐怖は 戦間期世代に多少広まったようである。ハクスリーの実弟オルダスは、1932年の小説『ブレイブ・ニュー・ワールド』で、薬剤によって引き起こされる快楽のディストピアの可能性について独自のビジョンを提示することになる。
ハクスリー夫妻の友人で、イギリス系インド人の遺伝学者、未来学者であるJ・B・S・ハルデンも、人類が寄生虫の道を歩んでいるのではないかと心配していた。
ハルデンはこう警告した。「フジツボの祖先には頭があった」-そして、快楽を追求するあまり、「人間は簡単に知性を失ってしまうかもしれない」。この特別な恐怖は、今もなお消え去ることはない。
つまり、本物の長寿ではなく、偽物の快楽を求めることによって文明が脱線するという考え方は古いのだ。そして実際、ある考えが古ければ古いほど、また頑固に繰り返されれば繰り返されるほど、それが証拠に基づくものではなく、先入観に基づくものであることを警戒する必要がある。では、こうした懸念は本当なのだろうか。
アルゴリズムによるメディアでますます注目を集める時代には、本物を追求するよりも適性のシグナルを偽造する方が成功することが多いように思われる。ティンバーゲンの鳥のように、我々は本物よりも誇張された人工物を好むのである。そして、セックスボットはまだ到着すらしていない。
このため、「ワイヤーヘッド崩壊」が文明を脅かすかもしれないと推測する専門家もいる。我々の気晴らしは、より注目を集めるようになるばかりで、減ることはない。
ポーランドの未来学者スタニスワフ・レムは、1964年の時点ですでに、オールズのネズミを現代の消費社会における人間の行動と結びつけていた-「映画」、「ポルノ」、「ディズニーランド」などを指していた。彼は、技術文明が現実から自らを切り離し、仮想的な快楽のシミュレーションの中に「嚢胞化」してしまうのではないかと推測している。
中毒になる宇宙人
レムやその他の人々は、我々の望遠鏡が高度な宇宙飛行をする宇宙人文明の証拠を発見できないのは、先進的な文化はすべて、ここでも他の場所でも、宇宙を探索するより楽しい仮想の代替手段を必然的に作り出すからだとさえ思い切って言っている。結局のところ、探査は困難で危険なものなのだ。
孤立したドーム型文明の上にいる宇宙人のスケッチ。
知能のパラドックス」に関する学術論文の挿絵。キャプションにはこうある。知能の進化は常に環境ユートピアを目指すことになる。従って、多くの種が太り、GDPの多くを医療に費やすことになるかもしれない。生命はどこにでもいるかもしれないが、肥満に関連する医療問題のために、医療税を支払わなければならず、単に宇宙旅行をする余裕もないかもしれない」。
1960年代のカウンターカルチャー全盛期に、分子生物学者のガンサー・ステントは、このプロセスは「ビート態度の世界的ヘゲモニー」によって起こるだろうと示唆した。オールズの実験を参照しながら、彼はヒッピーの薬物使用は文明が電線切断される前兆であるという推測に一役買ったのである。1971年に開かれた地球外生命体の探索に関する会議で、ステントは、文明は外に向かって勇敢に拡大する代わりに、内に向かって瞑想と酩酊の至福へと崩壊していくのだと示唆した。
現代では、消費主義、ソーシャルメディア、ファーストフードが文明崩壊の原因であるとする説が有力である（それゆえ、他の文明が銀河系にまだ目に見えて広がっていない）。それぞれの時代には、それぞれの不安がある。
では、どうすればいいのか？
しかし、これらは我々が直面している最も差し迫ったリスクではないことは、ほぼ間違いないだろう。そして、正しい方法で行えば、ワイヤーヘッダーの形態は、喜び、意味、価値の無限の広がりにアクセスできるようになる。我々は、すべてを考慮する前に、これらのピークを自分たちに禁じてはならないのである。
しかし、ここには真の教訓がある。脳、AI、経済など、適応力のある複雑なシステムを安全かつ良好に動作させることは困難だ。アンダースは、まさにこの謎解きに取り組んでいる。文明それ自体が、全体として、まさにそのような複雑な適応システムであることを考えると、どのようにして固有の故障モードや不安定性を学び、それを回避することができるのだろうか？もしかしたら、「ワイヤーヘッド化」は、中毒が人を苦しめるのと同じように、市場とそれを動かすアルゴリズムを苦しめる可能性のある固有の不安定性なのかもしれない。
AIの場合、我々は今、そのようなシステムの基礎を築きつつある。かつては周辺的な懸念であった、人間よりも賢いAIの実現が、深刻な懸念を抱かせるほど近い将来実現するかもしれないことに同意する専門家が増えてきている。というのも、その前に安全性を確認する必要があり、それを保証する方法を考えること自体に時間がかかるからだ。しかし、その期限はどれくらいなのか、専門家の間でも大きな意見の相違がある。
もし、そのようなAIが誕生すれば、そのAIは自分自身の「ソースコード」にアクセスし、モチベーションの構造を操作し、自分自身の報酬を管理することができると予想される。これは、ワイヤーヘッド的な行動への直接的な道であることを証明し、そのような存在を事実上「スーパージャンキー」にさせる可能性がある。しかし、人間の中毒者とは異なり、その至福の状態は、昏睡状態や酩酊状態といった非生産的な状態と結びついているわけではないかもしれない。
Wall-E
哲学者のニック・ボストロムは、このようなエージェントは、その超人的な生産性と狡猾さのすべてを、貴重な報酬源が「将来的にエージェントが破壊されるリスクを減らす」ことに捧げるかもしれないと推測している。そして、もしそのエージェントが、人間が次の修正の障害となる確率がゼロでないと判断したら、我々は困ったことになるかもしれない。
推測や最悪のシナリオはさておき、冒頭のレース場のAIと報酬のループの例から、この基本的な問題は、人工システムにおいてすでに現実的な問題であることがわかる。このようなモチベーションの落とし穴とその回避方法について、事態が大きく進展する前に、もっと多くのことを学んでおくことが望まれる。アルビノネズミの頭蓋やサナダムシを詠んだ詩の中という地味な起源を持つとはいえ、「ワイヤーヘッド」は近い将来、ますます重要性を増すアイデアであろう。
記事：トーマス・モイニハン（オックスフォード大学セント・ベネッツ・カレッジ歴史学客員研究員）、アンダース・サンドバーグ（オックスフォード大学人類未来研究所・オックスフォード・マーティンスクール、ジェームズ・マーティン研究員