本稿では、人間の注釈担当者意思決定プロセスを模倣して誤情報を検出・反駁する新規なマルチエージェントシステムを提案し、GPT-4やGPT-3.5などの単一LLMと比較して優れた結果を実現しています。

  • システムは、人間の行動に着想を得たコンセンサス機構、認知の多様性、知識の多様性、階層構造を組み込んでいます。
  • 透明性を確保するため、LLaMA、Kimi、Qwen、Deepseek、LLaMA-Nemotronなどのオープンソースモデルを活用しています。
  • 評価は、英語(高リソース)、ポーランド語(中リソース)、スロバキア語(低リソース)、ブルガリア語(低リソース)のデータセットを対象としています。
  • 実験では、誤情報の直接検出、検証対象となるテキストの特定、検証可能な事実主張の検出に対応しています。

著者らは、このアプローチが重要であると考えています。なぜなら、誤情報の規模は手動の事実確認を不十分なものにしており、オープンソースコンポーネントを通じて透明性を維持しつつ、単一LLMを上回る自動化された手法が必要だからです。