Les auteurs présentent MEDIAREF, un entrepôt de connaissances publiquement disponible composé de documents issus du web, conçu pour permettre l'évaluation reproductible et à faible coût des vérifications d'arrière-plan des médias (MBC). Cet outil répond à la dépendance aux API de recherche propriétaires coûteuses dans les approches récentes de raisonnement critique vis-à-vis des sources.
- MEDIAREF prend en charge l'évaluation de la génération de MBC sur 200 sources médiatiques.
- L'étude décrit une méthodologie reproductible pour la construction et la mise à jour de la collection.
- Les LLM largement utilisés sont évalués sur la tâche de génération de MBC à l'aide de cette nouvelle ressource.
- Les évaluations automatiques et qualitatives démontrent que MEDIAREF prend en charge une génération de MBC de meilleure qualité.
MEDIAREF atténue les limites des approches existantes en fournissant une alternative ouverte pour évaluer la crédibilité des sources de preuves dans les systèmes de vérification des faits automatisés.