The evolution of deception
要旨
欺瞞は情報の伝達に重要な役割を果たし、文化的、市場的、民主的な制度の機能に対して重要な影響を与える。欺瞞は、哲学、心理学、経済学、政治学の分野で広く研究されている。
しかし、競争的（進化的）圧力の下にある社会で、どのように欺瞞が生じるかについては、まだ理解が不足している。本論文では、社会的善の進化モデルである公共財ゲーム（PGG）と対人欺瞞理論（Bulle and Burgoon 1996 Commun.）のアイデアを結びつけることによって、このギャップを埋めることを始める。Theory 6, 203-242. Levine 2019 Duped: truth-default theor and the social science of lying and deception. University Alabama Press）。
本書は、社会における欺瞞の増大と、欺瞞を減らすためのいくつかのアプローチの有効性について、根拠のある分析を行っている。知識は公共財であると仮定し、私たちは大規模なシミュレーションを行い、
- (1)欺瞞が時間とともに社会における知識の共有と普及にどのような影響を与えるか、
- (2)異なるタイプの知識共有社会が欺瞞にどのような影響を受けるか、
- (3)知識共有における欺瞞の負の影響を減らすためにどのような種類の警察と規制が必要か
を調査している。その結果、ボットによる離反や欺瞞を調査・規制する制度を導入すれば、ケースバイケースで協力関係や知識共有を再構築できることが示された。これは、デジタル・コモンズの悲劇を回避するために、私たちの身の回りの欺瞞の使用を減らす方法を採用する根拠となる（グレコ・アンド・カンパニー）。
1. はじめに
情報伝達において、「ごまかし」は重要な役割を担っている。また、欺瞞は種の生存と存続にも重要な役割を果たす。進化生物学からの重要な研究は、ある種の行動を決定する植物や動物における欺瞞の生物生理学的特性にさえ焦点を当てている[1]。一方、人間はより高度なレベルで欺瞞的な行動をとっており、それは必ずしも生物生理学的特性に決定されたり、大きく依存したりするものではない。1 これは特に、欺瞞が知識操作の形をとる社会、政治、経済の文脈でのケースである。哲学[2,3]、心理学[4,5]、コミュニケーション論[6-9]、経済学[10,11]、情報理論[12]、セキュリティ研究[13-15]などの分野では、これらの高次の特性や構成要素を考慮してディセプションを研究している。
スマートフォン、ソーシャルメディア、ニュース報道などの情報技術は、情報へのアクセスや情報に基づく意思決定を大幅に向上させ、その結果、意見形成や行動変容を決定している。しかし、このような情報へのアクセスの増加は、知識の公共財が欺瞞によって損なわれる機会も増加させる。また、技術の進歩により、人間以外の、知識を共有し生成するアクターが登場した。特に、過去数十年の間に人工知能（AI）が強い勢いを得ており、これによって知的な人工・自律エージェントが出現している。AIがもたらす社会善としての知識や情報の共有に関するリスクは、[16]や最近[17,18]で指摘されているように、人工的な自律エージェントが独自の理由をつけて欺瞞的な行動をとる可能性があることである。また、AIはフェイクニュースの問題にも新たな関心を寄せており、機械が（i）フェイクニュース生成に利用されたり(19)、フェイクニュースを検出したり（20，21）、さらには（ii）高次認知メカニズムを用いて他人の信念を操作し、欺く可能性がある（22-24）とも指摘されている。これらのことから、欺瞞をよりよく理解し、その影響を低減する方法を考案することが急務であることがわかる。
機械や人工的なエージェントが野生の世界でどのように欺くかを理解するために、私たちは機械行動の観点を採用する[25]。機械の挙動は、AIに関する主流の研究とはかなり異なるアプローチをとる。AIエージェントのアルゴリズム性能を最大化・最適化することを目指すのではなく、機械行動は、これらのエージェントが異なる環境でどのように振る舞うか、エージェントと人間の相互作用が社会的成果を変えるかといった幅広い疑問に答えるために、ミクロおよびマクロの結果の尺度を定義することに重点を置いている。したがって、私たちのモデリングアプローチの結果に基づいて、知的エージェントの行動を、AIエージェントの設計の基礎となる技術的側面から、人間と機械の間の相互作用を支配する法的、制度的、社会的制約に至るまで、より広い生態系の一部として解釈することを目指す。
私たちは、正確で偏りのない知識の共有システムが、社会のすべての構成員に利点をもたらし、情報に基づいた民主的な意思決定を促進することを知っている。それは、そのような社会の自己統治を可能にする開放性と透明性の重要な構成要素である[26]。しかし、個人がその個人に利点を与える誤情報を提供する一方的なインセンティブが存在する。この誤情報は、セルフ・ガバナンスに必要な透明性と開放性を損ねる。したがって、情報発信における協力を促進し、誤情報や欺瞞の悪影響を緩和するメカニズムが必要である。欺瞞的行動の負の効果に対抗するためのそのようなメカニズムの一つが、そのような行動を罰することであり、本稿ではこのメカニズムに焦点を当てることにする。しかし、欺瞞に対抗するための他の方法が、異なる文脈でより適切だろうかもしれないことに注意することは非常に重要だが、その検討は本稿の範囲外である。
現時点では、欺瞞的なソーシャルエージェント（人間または人工）が将来的に社会一般に与える影響に対処することがますます重要になってきている。そうしなければ、社会の自己統治能力を危うくする危険性がある。この問題を軽減するためには、どのような種類のルールを導入し、どのような種類のメカニズムを採用すれば、欺瞞的なエージェントが知識の共有や生成に与える影響を軽減できるかを自問自答する必要がある。本論文では、このような疑問に対するいくつかの答えを提供することを始める。私たちは、[27,28]に基づく公共財ゲーム（PGG）モデルを研究することによって、これを実現する。私たちは、これらのゲームを用いて、エージェントの異なる集団における協力の進化が、欺瞞によってどのように影響されるかを探求する。公共財は、一般的に社会のメンバーによって共有されるある種の金銭的・物理的な財をモデル化するが、社会内で共有される知識体系を表すこともでき、ここではそのように使用する。このモデルによって、（i）規制機関が存在する社会において、欺瞞は協力の崩壊につながるのか、（ii）欺瞞が存在する社会で協力に到達できるのか、という問いに答えることができるようになる。29,30]と同様に、私たちは社会を組織する最適な方法を特定することよりも、私たちの場合，欺瞞に直面しても社会が機能し続けることを保証するために設置可能なメカニズムを特定することに関心があることに注意されたい。
2. 背景
私たちは、欺瞞とは、エージェント（自然人・人工人）が相手に対して優位に立つために行う戦略的・社会的行動であると考えている。ゲーム理論的には、欺瞞は非協力的な行動であると考えられている。しかし、欺くことを意図するエージェントは、通常、協力的な行動を模倣しようとする。観察しているターゲットエージェントには、欺瞞的なエージェントは協力的に見えるが、実際には非協力的である。したがって、本研究で選択したエージェントベースモデルは、偽の協力行動としての欺瞞を表現できるとともに、どのような状況で本当の協力が促進されるかを検証することができるものでなければならない。
協力に関する主要な研究は、エージェントベースシステムにおける複雑性の側面に焦点を当て、協力をそのようなマルチエージェントシステムにおける創発的な行動として扱っている[28,31,32]。したがって、エージェントの集団の全体的な行動は複雑とみなすことができるにもかかわらず、それは本質的に単純な戦略的行動の集合から出現するのだ。文献によれば、進化ゲーム理論モデルとしてのPGGは、協力がどのように生まれるかを研究するためにうまく使われており、メカニズムデザインによって協力が安定する条件を理解するための強力なフレームワークであることが分かっている。これが、ここでPGGのアプローチを採用する理由である。
PGGに関するほとんどの研究が焦点を当てている一連の行動は、協力、脱会（フリーライドとしても知られている）、および罰である。罰については、個人が税金を支払って第三者（罰する側）を維持するプール罰や、個人が仲間を罰する仲間罰など、様々な種類が研究されていた。しかし、人間社会のエージェントがどのように行動しているかに注目すると、欺瞞のような一筋縄ではいかない行動も見出すことができる。単純な協力、離反、罰の他に、人間はこれらの行動の背後にある自分の意図を隠すことができる。例えば、あるエージェントは、PGGの中で、協力するふりをしながら、離反することができる。このように、他の参加プレイヤーからは、欺瞞者は協力者の一人に見え、協力者の社会的利益と離反者の経済的利益の両方を享受することができる。知識共有という点では、協力者は透明で公正であり、真実の情報を社会の他の構成員と共有する。2 これに対して、欺瞞者は知識共有の際に真実でない情報を使って貢献する。
欺瞞は本質的にコミュニケーション行動であることから、コミュニケーション理論の文献を参照し、私たちのPGGモデルに含まれるべき要因を確認する。私たちは主に、社会的相互作用における欺瞞的行動に直接影響を与える要因を検討する。そのような認知的要因の1つは、真実デフォルト理論によれば、信頼のデフォルト態度である[7]。この個人の真実デフォルト態度は、人々が通常、積極的に欺瞞の検出を行わないことを意味し、したがって、日常のコミュニケーション的相互作用において、彼らは対話者が正直であることを期待する。信頼へのバイアスとは別に、認知負荷3、リーケージ4、コミュニケーション・スキル5などの社会認知的要因があり、これらは[6]の対人欺瞞理論（IDT）によって特定されている。
3. リサーチクエスチョン
本研究では、主に以下の2つのリサーチクエスチョンを設定した。RQ1 規制機関が存在する社会において、欺瞞は協力の崩壊につながるのか？ RQ2 欺瞞が存在する社会で協力は成立するのか？
RQ1に答えるために、[28]で紹介され[27]で中央集権型と分散型における汚職の発生を研究するために用いられた二次的プール罰のない任意PGGを再現した。このPGGの再現は、フリーライドに対する規制機構の種類が異なる社会で、どのように協力が生まれるかを示している。このPGGに関して、私たちは質問を定式化した。という問いを立て、欺瞞の戦略を定式化し、導入した。このPGGでは、欺瞞の導入が直接的にもたらす疑問、すなわち、欺瞞の導入は全く影響を及ぼさないのか、欺瞞の導入が及ぼす影響について答えることを目的としている。古典的な罰の仕組みは、離反と欺瞞の両方に対処できるほど強固なのか、それとも崩壊して長期的にフリーライダーが協力を支配するようになるのか？欺瞞は進化的に安定した戦略なのだろうか、どのような条件下で？
物理社会、デジタル社会、ハイブリッド社会のいずれであっても、統治された社会における協力関係の崩壊とフリーライドの出現は、長期的には否定的な結果をもたらすだろう。デジタル社会とハイブリッド社会の場合のこれらの結果の一つは、デジタル・コモンズの悲劇（TDC）である[33]。そこで、私たちは、欺瞞が存在するPGGにおいて、欺瞞に対抗することを目的とした異なる戦略を策定し、独自に導入することによって、RQ2に答えることを目指した。より具体的には、これらの戦略の導入は、以下の問いに答えることを意味する。もし、エージェントが採用できるように、欺瞞者を特定および／または罰するための異なる戦略がシステムに導入されたらどうなるだろうか？この種のPGGでは、欺瞞だけがフリーライド戦略ではないことに注意してほしい。欺瞞者は依然として存在する。この問題から直接的に導かれる疑問は、以下の通りである。罰と欺瞞検出（尋問）戦略のどのような組み合わせが、フリーライドに対抗するのに適しているのか？懲罰戦略と尋問戦略を別々にするのが良いのか、それとも、フリーライドに対抗するためには、これらを組み合わせる必要があるのか？フリーライドに対抗する戦略の種類は、例えば[27]のように分散型の規制システムが中央集権型の規制システムを凌駕するのか？ フリーライドに対抗するには戦略の導入だけで十分なのか、それとも[28]のような社会学習など、これに影響を及ぼす他の進化的要因が存在するのか？
2つの主要な質問に続く質問に答えるために、私たちは次のセクションで説明する方法論に従った。
4. 方法論
【省略】
7. 考察
欺瞞が存在する公知のシステムにおいて、社会は協力に到達できるのだろうか？私たちの結果は2つの可能性を示している。一つは、社会的学習（模倣の強さ）が弱いか中間の場合、エージェント間の協力は高いレベルに達しない（PGGs 2,3、4,5）という可能性である。しかし、ハイブリッドで分散的な規制機関（またはシステム、例えばインターネット）があり、分散的な方法を用いて離反者を罰することができ（これはピア・パニッシングに代表される）、詐欺師に対する独立した尋問とピア・パニッシングを可能にすれば、協力はわずかに促進される（PGG6）。もう一つの可能な結果は、強い社会的学習の場合に起こり、そのような分散型規制システムが存在する場合、エージェント間の協力に到達することができる（PGG6）（電子補足資料、図S2参照）。これが現実の世界で意味するのは、エージェントが社会的な欺瞞の原因を特定し、罰する方法を迅速に学ぶ必要があるということである。強い模倣の効果は、エージェントが他のエージェントの戦略を素早く採用して連合を形成することを学べば、フリーライドを抑制して協力を再確立できることを示している。もし、離反者を仲間で罰し、潜在的な詐欺師を分散的に取り調べられるシステムが存在するのであれば。しかし、強い社会的学習は、PGG2のように、欺瞞を調査し処罰しなければ、欺瞞者が支配的になってしまうという欠点がある（電子補足資料、図S1参照）。
規制機関がハイブリッド型であっても、それが中央集権的で、離反に対するプール処罰を採用していれば、規制機関が存在するために非常に高い税金を課すなど、非常に高いコストがあって初めて協力が有効な戦略となり得る（PGG5）。同様に、欺瞞的行動を調査・処罰しない規制機関を維持するための増税は、欺瞞的行動を助長するため、協力には非常に不利である（PGG2）。また、悪意のあるエージェントが規制機関の種類によらず欺瞞的なコミュニケーションに長けている場合，協力が成立しない可能性が高い。
同様の結論は、汚職の場合にも[27]で導かれている。中央集権的な規制機関が存在する社会では、汚職によって協力関係が崩壊する。また、汚職が存在する場合、分権的な規制機関の方が、協力を再構築する上ではるかに効率的であることが証明されている。
最近、欧州連合（EU）はデータ共有に関して議論を呼ぶ姿勢をとっている[36]。EUは、技術進歩の面で米国を追い越すためには、ユーザーデータを所有したりアクセスしたりする大企業と中小企業の間で、市場の公正さと技術競争を促す必要があると考えている。このインセンティブを生み出すためには、知識を企業間で共有する仕組み、例えば、知識が公共財となるような仕組みを導入し、規制する必要がある。これは、データの単一市場に相当するものである。企業が自発的にこの公共データプールに貢献することを約束するかどうか、約束を守るかどうか、また、貢献を約束した企業が実際に真実や本物だとわかっているデータで貢献するかどうか、大きな懸念がある。社会的知識共有主体としての企業は協力に至ることができるのか、それとも公共財にフリーライドすることを決断するのか。企業が協力するために、EUはどのような規制メカニズムを導入すべきなのか。仮に事業者が協力するとして、その利用者（人間であれ人工であれ）のデータ共有の協力をどのように確保するのか。COVID-19危機では、パンデミック管理のために、市民の症状や動きを追跡する政府アプリを配備する問題で、同様の問題が浮上した。
社会的エージェント間の知識共有活動としてのPGGの観点から、私たちのPGGモデルの結果から、欺瞞的な情報は離反を促進することで協力を崩し、ひいてはエージェント間の信頼関係を崩すと結論付けることができる。この結果、エージェントは、情報を全く共有しない（離反）か、偽の情報を共有することで、フリーライド戦略をとることになる。これは、現代の言葉で言えば、フェイクニュースやフェイクデータの共有と同じだ9。ただし、規制措置をとれば、偽ニュースや偽データの影響を緩和することができる。知識共有の場合、ピアハイブリッド・インタラクションは、以下のような方法で知識共有を規制することを意味する。(i) 知識プールを利用するが、それに貢献しない個人をケースバイケースで降格させる（離反） (ii) 知識源（この場合はソーシャルエージェント）をケースバイケースで尋問し、必要であれば降格させる。このことは、欺瞞に対抗できることを示唆しているが、現実の世界でどのようなメカニズムがピアハイブリッド尋問の役割を果たすことができるかを特定することが課題である10。
公的知識の共有における規制を通じて欺瞞の問題に対処しないことは、ハイブリッド社会における暗澹たる結果につながりかねない．33]では、著者らが「デジタル・コモンズの悲劇（TDC）」と呼ぶものについて論じている。これは、ハーディンの「コモンズの悲劇」を情報と知識の共有というデジタル領域に当てはめたものである。33]で著者らが提示した重要な概念は、情報圏の搾取と情報汚染である11。知識の搾取と汚染は、人間または人工のエージェントまたはエージェントの連合による欺瞞的行動によって引き起こされることがある。PGGモデルの観点からは、欺く者は、公に利用可能な情報にアクセスし、それを利用することによって、公的知識（情報圏で公に共有されているもの）を搾取し、同時にこの公的知識に貢献するふりをすると仮定することができる。ここで、騙す側は協力者のふりをしていることを思い出してほしい。しかし、騙す側が貢献する情報は、真実ではない情報（フェイクニュース、偽造された知識など）とみなされる可能性がある。AIの進歩は、TDCのリスクを高めることにつながる可能性がある。なぜなら、社会的相互作用から学び、騙すのに必要な能力を持つ機械は、社会のエージェントとしてより適応するために、最終的に騙しの知識共有行動をとるようになるからだ。FacebookやInstagramのような、公に共有される知識を一元的に規制するソーシャルメディアプラットフォームは、以前から私たちが見てきたように、（単純化した人工エージェントであっても）欺瞞的行動が容易に出現するシステムである[38]。
幸い、本論文のPGGシミュレーションの結果は、進化の観点から、エージェントが自発的に互いや公に共有する情報を調査できるような方法で公知を組織する分散型の方法でインフォスフィアが規制されれば、欺瞞の場合にTDCを回避できることを示している（PGG6を参照）。このようなシステムの実例として、ダークウェブ上のSilk Roadによって実装されたユーザーインタラクションプロトコルがある[39]。シルクロードは考察フォーラムを通じて、ユーザーが以前に共有した情報（例えば、ユーザーによって販売された製品の説明）、またその情報が本当に本物かどうか、そして過去の交流がどうなったかを公に確認するためのレピュテーション・メカニズムを実装していた。また、このプラットフォームで悪質な業者を発見した会員には報酬が与えられ、これは私たちのピアハイブリッド型尋問者の行動を表すことができるのである。レビューの質だけでなく、Silk Roadコミュニティの情報水準の高さもあり、残念ながらSilk Roadは麻薬取引に最適なプラットフォームとして議論の余地なく推し進められた。社会的なマルチエージェントシステムにおける評判メカニズムの研究では、評判メカニズムはエージェントが彼らの過去の行動（彼らが以前に伝えたこと）を見ることによって、他のエージェントの信頼モデルを形成することを可能にすることが示されている、もちろん、それは観察可能（公開）でなければならない[40]。
公共財としての知識に関して、シルクロードと同様のイニシアチブが、フェイクニュースと戦う社会を支援し、メンバーの評判メカニズムだけに依存しないといった、より高い道徳的目的のために、Wikipediaの創設者、Jimmy Walesによって開始された。このイニシアチブは当初，ウィキトリビューン[41]を通じて開始された。ウィキトリビューンは、クラウドファンディングを利用して、プロのジャーナリストの小さなチームの運営費を財政的にサポートするニュースウィキだった。このチームは、自発的な専門家の市民と協力してストーリーを見つけ、コンテンツを作り、自分たちの仕事を事実確認することを目的としていた。しかし、Walesによると、ウェブサイトのデザインに問題があったため、WikiTribuneはコミュニティを繁栄させることができなかったという。そこでウェールズは、このイニシアチブをWT.Social（WikiTribune Social）というマイクロブログとソーシャルメディアのプラットフォームに転換し[42]、WT.Socialはウィキトリビューンが失敗したところに成功できると主張する。WT.Socialは、高品質のコンテンツとユーザ間の議論を促進することを目的としており、その形式は、証拠に基づくニュースをリンクと明確なソースとともに提供することによって、フェイクニュースに対抗することを意図している。このサービスは広告やクリックベイトがなく、Wikipediaと同様にユーザーからの寄付で運営されている。他のソーシャルメディアプラットフォームでは、ユーザーはまず攻撃的なコンテンツを報告する必要があり、最終的に会社が報告されたコンテンツを削除することを決定するが、WT.Socialの場合、コミュニティはネットワークの基準に違反していると思われる素材を削除することが奨励されている。
WT.Socialのようなプラットフォームが促進しようとする哲学的、政治的概念は審議民主主義[43]と呼ばれ、そこからハーバーマスが公共圏と呼ぶものが出現する[44]。公共圏は、知識の共有を通じて公共の意見が形成される肥沃な土壌を表している。理想的な形で機能する公共圏は、国家（規制者）と社会の間で行われる調停が国家活動を民主的にコントロールすることを可能にする基盤を示している。公共圏が理想的に機能するためには、社会が国家活動や法的行為を記録し、公開し、議論や世論形成を可能にすることが必要である。現代では、公共圏はますますデジタル化されている。ニュースのデジタル化やソーシャルメディア・プラットフォームの出現など、デジタル化の進展により、より多くの国民にリーチするためのコミュニケーション手段やスタイルが増加し、世論形成が加速・拡大された。それはデジタル公共圏（DPS）となっている[45]。
しかしながら、DPSが知識を伝達し共有するためのより多くの可能性を提供したとしても、主にフェイクニュースによって生み出された情報汚染によって、熟議民主主義によって提案された合理性と礼節の原則を遵守することが確実にできなくなっている[46]。フェイクニュースの出現はDPSの弱点の可視性を高めたが、残念ながら世論形成への悪影響も強め、WT.SocialやWikiTribuneといったプロジェクトがこうした影響を軽減するための最近の努力にもかかわらず、TDCの影響を受けやすくしている。さらに、人間と人工社会のハイブリッド化が進むと、熟議能力だけでなく、欺瞞的な意図を持つ自律的な人工エージェントが開発され、これらの影響がさらに伝播する危険性がある。このようなAIの進歩は、現在の脅威であるAIボットや、人間のエージェントがフェイクニュースの伝播や生成に用いる、機械学習技術に基づくツールを超えることを意味する。これらは、人間のエージェントが手にするツールに過ぎず、これらのツールは欺瞞的な意図を持っているわけではない。私たちが言っているのは、ただ欺瞞的な方針を学習し、それを無心に適用するAIツールでも人工エージェントでもなく、デジタル公共圏について真に熟慮することができる人工エージェントを指しているのだ。このような人工エージェントは、複雑な推論を行い、それを意思決定に応用することで、自分自身の目標や意図を形成し、それに基づいて行動することができるようになり、その結果、公共圏での対話において、人間や他の人工エージェントよりも優れた思考や知能を持つようになる。私たちのモデルは、PGG6のように、欺瞞が存在する公共知識共有システムにおいて協力が再確立されるシステムであっても、欺瞞を行うエージェントのコミュニケーション能力が高ければ（commSkill ¼ -！）、システムは協力を促進できないことを示唆していることに留意してほしい。DPSにおける欺瞞は進化し、人間のエージェントだけが欺瞞的な意図を持ち、真に他人を欺くことができるわけではなくなり、脱人間型化することになるだろう。
WT.Socialのようなプラットフォームのモデレーションやコンテンツチェックを支援するソリューションは、今後、その潜在的な困難が生じる場所、すなわちAIのさらなる進歩から生まれるのかもしれない。しかし、現在、言語・非言語のキューに基づく欺瞞検出AI研究[47]で行われているように、真実バイアスや懐疑レベルを微調整して欺瞞検出を行うだけでは、AIの欺瞞検出を進めるには十分ではないだろう。AIによる欺瞞研究におけるキューベースのアプローチは、欺瞞の心理学でいうところの確証バイアスにつながる可能性がある[48]。確証バイアスを説明するために、BondとFaheyは[48]で悪名高いオセロエラーを説明している。オセロは妻であるデズデモーナが他の男と浮気していると信じていた。デズデモーナが浮気の事実を否定しても、オセロは彼女を信じず、また、自分が信じていないのではないかという疑惑を示した。デズデモーナはオセロが自分を信じていないことを察知したため、自暴自棄になり泣き出してしまい、浮気妻らしい振る舞いを見せる。デズデモーナが自暴自棄になったのは、オセロがどんな反論や証拠を出しても、自分が浮気をしているという仮説を裏付ける情報しか考慮されないと思ったからだ。そして、デズデモーナがオセロに殺されたのは、彼女が自暴自棄になった人間のように振舞ったからだ。オセロの誤りは、自暴自棄になると罪のある人が示すような行動を個人が示すようになるという事実など、彼の信念を偽るかもしれない他のすべての手がかりを考慮せずに、罪のある人が示すような行動だけを考慮したことであった。複雑な推論を行う人工エージェントの場合、Sarkadiらは[24]で、人工エージェント間のコミュニケーション的社会的相互作用における高いレベルの懐疑心が、騙す側のエージェントのコミュニケーション能力が低い場合でも、騙すことにつながる可能性を示している。このような人工エージェントの欺瞞は、欺く側は欺瞞に失敗すると誤って判断して欺瞞的行動をとらないが、質問者（欺く側のターゲット）は猜疑心が強く、欺く側が欺こうとしたと思い込んでしまい、質問者が真実のメッセージから虚偽を推測してしまうという意図しない欺きの特殊ケースを表していると、著者らは[24]で論じている。
AIの進歩による解決策として考えられるのは、代わりに複雑な推論が可能な人工エージェントを実際に開発し、欺瞞の問題に対処することであろう。複雑な推論を行う人工エージェントは、自身が欺くことができるという潜在的なリスクとは別に、編集者や調査ジャーナリスト（あるいは、これらの役割を果たす人間を支援または関与する）の役割を果たし、ソーシャルネットワークプラットフォームを編集・調整するとともに、ユーザーと対話し、国民の知識を高め、世論形成を仲介する高品質のコンテンツを作成することが可能である。これらの人工エージェントは、PGG6タイプのシステムにおいてcommSkill< 1を維持するなど、コミュニケーション能力を合わせることで、欺瞞的なエージェントを無力化できる可能性がある。しかし、人工エージェントがこのような社会に有益な役割や協力を行えるようになるためには、AI研究の面で多くのことを行う必要がある。そのためには、まず、人工知能が社会的な相互作用をうまく行うことで、欺瞞を理解できるようにする必要がある（it takes one to know one）。さらに、人工知能が議論を形成し、推論できるようにすること、コミュニティから責任を問われるような決定の背後にある理由を説明できるようにすること、コミュニティやそのメンバーと民主的な方法で有意義な対話を行えるようにすることが、主な課題となっている。議論、人間とエージェントの相互作用、説明可能なAI、マルチエージェントシステムなどの分野は、この種の人工エージェントの今後の研究開発において、極めて重要であることが証明されるであろう。
最後に、今後の課題として、私たちのモデルと人間同士の欺瞞の経験的頻度[49]との関連性を探り、おそらくそれぞれのデータにマッチするようにモデルを較正することも興味深い点であることを指摘する。これは、私たちのエージェントベースのアプローチを用いて、少数の欺瞞的なエージェントが嘘の大部分を担っていることをデータが示している対面的な人間対人間の相互作用におけるモデルのパラメータの値が何だろうかを理解するのに役立つ可能性がある。
8. 結論
本論文では、機械行動運動[25]に触発されたアプローチを提示した。この研究は、(i)中央集権的および分散的な規制機関/システムが存在する社会で、欺瞞がどのように出現し協力を不安定にし、(ii)そのような社会でどのように協力を再確立できるかを原理的に証明するものである。さらに、機械が他のエージェントとの社会的相互作用から欺瞞的行動を取り、デジタルコモンズの悲劇（TDC）につながる負の効果を強めるリスクが実際に存在することを知らせている。しかし、本研究は、TDCを回避するための潜在的な解決策も示している。それは、（i）公的知識を規制するための中央集権的システムの採用を避け、代わりに（ii）公共財としての知識を規制するための分散型システムの採用を目指すことであり、エージェントが公的共有知識を調査・確認し、欺瞞者や離反者を仲間割れさせることができるようになる。このような分散型システムの現実的な例としては、エージェントが他の人が以前に伝えたことをチェックできるレピュテーション機構を実装したプラットフォームや、高品質のコンテンツと事実確認が促進され、コンテンツのソースが透明化（公開）されたソーシャルネットワークなどのプラットフォームがある。このようなシステムは、熟議民主主義のように、人間と人工的なエージェントが知識共有活動を行うデジタル公共圏に相当する。