Sebuah studi mengungkapkan bahwa hakim model bahasa besar (LLM) cenderung terlalu murah hati saat mengevaluasi respons terbuka dalam pengaturan tanpa referensi, di mana tidak ada jawaban kebenaran dasar yang disediakan. Penelitian ini menunjukkan bahwa model-model ini sering kali secara keliru memberikan kredit pada jawaban yang salah dan bahwa penilaian mereka sangat sensitif terhadap keberadaan informasi referensi.
- Eksperimen kalibrasi menilai pengetahuan model hakim tentang tugas yang sedang dievaluasi.
- Eksperimen sensitivitas mengukur bagaimana kinerja berubah berdasarkan keberadaan dan penempatan jawaban referensi.
- Di tiga bahasa, penambahan informasi jawaban referensi membalikkan keputusan benar/salah hingga 85% dalam beberapa pengaturan.
- Perubahan yang didorong oleh referensi ini umumnya sejalan dengan anotasi manusia ketika dibandingkan dengan subsetnya.
Para penulis menekankan perlunya mengkalibrasi hakim LLM dengan sampel evaluasi yang sadar referensi sebelum menggunakannya secara andal dalam pengaturan bebas referensi.