作者介绍了 MEDIAREF,这是一个公开可用的网络文档知识库,旨在实现可复现且低成本的媒体背景核查(MBC)评估。该工具解决了近期源关键推理方法对昂贵专有搜索 API 的依赖问题。
- MEDIAREF 支持对 200 个媒体来源的 MBC 生成进行评估。
- 本研究描述了构建和更新集合的可复现方法论。
- 使用这一新资源对广泛使用的 LLM 在 MBC 生成任务上的表现进行了评估。
- 自动和定性评估表明,MEDIAREF 支持更高质量的 MBC 生成。
MEDIAREF 通过为自动化事实核查系统中的证据来源可信度评估提供开放替代方案,缓解了现有方法的局限性。