Авторы представляют MEDIAREF, общедоступное хранилище знаний на основе веб-документов, предназначенное для воспроизводимой и недорогой оценки проверок фона СМИ (MBC). Этот инструмент решает проблему зависимости от дорогостоящих проприетарных поисковых API в недавних подходах к критическому анализу источников.
- MEDIAREF поддерживает оценку генерации MBC для 200 медиаисточников.
- В исследовании описывается воспроизводимая методология создания и обновления коллекции.
- Широко используемые LLM оцениваются на задаче генерации MBC с использованием этого нового ресурса.
- Автоматические и качественные оценки демонстрируют, что MEDIAREF поддерживает более качественную генерацию MBC.
MEDIAREF смягчает ограничения существующих подходов, предоставляя открытую альтернативу для оценки достоверности источников доказательств в системах автоматической проверки фактов.