Los autores presentan MEDIAREF, un almacén de conocimiento públicamente disponible de documentos web diseñado para permitir la evaluación reproducible y de bajo costo de las verificaciones de antecedentes en medios (MBC). Esta herramienta aborda la dependencia de las costosas APIs de búsqueda propietarias en los enfoques recientes de razonamiento crítico sobre fuentes.
- MEDIAREF admite la evaluación de la generación de MBC en 200 fuentes de medios.
- El estudio describe una metodología reproducible para construir y actualizar la colección.
- Se evalúan LLM ampliamente utilizados en la tarea de generación de MBC utilizando este nuevo recurso.
- Las evaluaciones automáticas y cualitativas demuestran que MEDIAREF admite una generación de MBC de mayor calidad.
MEDIAREF mitiga las limitaciones de los enfoques existentes al proporcionar una alternativa abierta para evaluar la credibilidad de las fuentes de evidencia en sistemas automatizados de verificación de hechos.