Sebuah studi mengevaluasi apakah model mutakhir diperlukan untuk memverifikasi kutipan dalam sistem riset mendalam, dan menemukan bahwa penilai yang lebih murah tetap kompetitif dibandingkan label emas.
- Peneliti memberi skor pada 8 penilai LLM off-the-shelf dari 3 keluarga model pada benchmark bentuk panjang adversarial dengan 1.248 keputusan rubrik.
- GPT-5-mini mencapai F1 kelas lolos relevansi sumber terkuat sebesar 0,908, sementara skor dukungan faktual secara statistik tidak dapat dibedakan antar model.
- Penilai berbeda secara substansial dalam hal drift tingkat lolos dan tingkat positif/negatif palsu meskipun skor F1 skalar yang sebanding.
Hasilnya menunjukkan bahwa kalibrasi penilai adalah prasyarat untuk menggunakan rubrik kutipan sebagai sinyal reward, tetapi kalibrasi ini tidak memerlukan model termurah yang tersedia.