Para penulis memperkenalkan MEDIAREF, sebuah toko pengetahuan yang tersedia secara publik dari dokumen bersumber web yang dirancang untuk memungkinkan evaluasi yang dapat direproduksi dan berbiaya rendah untuk pemeriksaan latar belakang media (MBC). Alat ini mengatasi ketergantungan pada API pencarian proprietaris yang mahal dalam pendekatan penalaran kritis sumber terbaru.
- MEDIAREF mendukung evaluasi generasi MBC di 200 sumber media.
- Studi ini menggambarkan metodologi yang dapat direproduksi untuk membangun dan memperbarui koleksi.
- LLM yang banyak digunakan dievaluasi pada tugas generasi MBC menggunakan sumber daya baru ini.
- Evaluasi otomatis dan kualitatif menunjukkan bahwa MEDIAREF mendukung generasi MBC dengan kualitas lebih tinggi.
MEDIAREF mengurangi keterbatasan pendekatan yang ada dengan menyediakan alternatif terbuka untuk menilai kredibilitas sumber bukti dalam sistem verifikasi fakta otomatis.