저자들은 웹에서 수집된 문서를 기반으로 하며 미디어 배경 검사(MBC)의 재현 가능하고 저비용 평가를 가능하게 하기 위해 설계된 공개 지식 저장소인 MEDIAREF를 소개합니다. 이 도구는 최근 정보원 중심 추론 접근 방식에서 고가의 독점 검색 API에 대한 의존성을 해소합니다.
- MEDIAREF는 200개 미디어 소스에 걸친 MBC 생성 평가를 지원합니다.
- 이 연구는 컬렉션 구축 및 업데이트를 위한 재현 가능한 방법론을 설명합니다.
- 널리 사용되는 LLM이 이 새로운 리소스를 사용하여 MBC 생성 작업에 대해 평가되었습니다.
- 자동 및 정성적 평가는 MEDIAREF가 더 높은 품질의 MBC 생성을 지원함을 보여줍니다.
MEDIAREF는 자동 사실 확인 시스템에서 증거 정보원의 신뢰성을 평가하기 위한 오픈 대안을 제공함으로써 기존 접근 방식의 한계를 완화합니다.