著者らは、メディア背景調査（MBC）の再現可能かつ低コストな評価を可能にするために設計された、Web由来の文書からなる公開知識ストアであるMEDIAREFを紹介します。このツールは、最近の情報源重視の推論アプローチにおける高価なプロプライエタリな検索APIへの依存に対処します。

  • MEDIAREFは、200のメディアソースにわたるMBC生成の評価をサポートします。
  • この研究は、コレクションの構築と更新のための再現可能な方法論を記述しています。
  • 広く使用されているLLMが、この新しいリソースを使用してMBC生成タスクで評価されました。
  • 自動評価と定性的評価は、MEDIAREFがより高品質なMBC生成をサポートすることを示しています。

MEDIAREFは、自動化されたファクトチェックシステムにおける証拠情報源の信頼性を評価するためのオープンな代替手段を提供することで、既存のアプローチの制限を緩和します。