Os autores apresentam o MEDIAREF, um repositório de conhecimento publicamente disponível de documentos da web projetado para permitir a avaliação reproduzível e de baixo custo das verificações de antecedentes na mídia (MBC). Esta ferramenta aborda a dependência de APIs de busca proprietárias e caras nas abordagens recentes de raciocínio crítico sobre fontes.
- O MEDIAREF suporta a avaliação da geração de MBC em 200 fontes de mídia.
- O estudo descreve uma metodologia reproduzível para construir e atualizar a coleção.
- LLMs amplamente utilizados são avaliados na tarefa de geração de MBC usando este novo recurso.
- Avaliações automáticas e qualitativas demonstram que o MEDIAREF suporta uma geração de MBC de maior qualidade.
O MEDIAREF mitiga as limitações das abordagens existentes ao fornecer uma alternativa aberta para avaliar a credibilidade da fonte de evidências em sistemas automatizados de verificação de fatos.