Studi ini menyajikan meta-evaluasi sistematis pertama dari rubrik yang dihasilkan oleh LLM yang dirancang untuk menilai output terbuka dalam tugas reproduksi makalah. Para penulis merumuskan ulang rubrik ke dalam format gaya daftar periksa dan mengevaluasi empat pengaturan generasi di dua model backbone.
- Rubrik dinilai secara intrinsik melalui kesamaan semantik dan secara ekstrinsik melalui keselarasan skor dengan rubrik ground-truth.
- Pengaturan generasi yang diperkuat secara substansial meningkatkan keselarasan evaluasi downstream, dengan pengaturan terkuat mendekati baseline manusia.
- Dinyatakan bahwa keuntungan intrinsik dari penguatan lebih kecil dibandingkan dengan peningkatan ekstrinsik.
- Analisis lebih lanjut mengungkapkan bahwa rubrik yang dihasilkan oleh LLM cenderung terlalu halus-granular, bias terhadap skor tinggi, dan kurang adaptif terhadap domain makalah tertentu.
Temuan ini menyoroti baik manfaat maupun keterbatasan penggunaan LLM untuk konstruksi benchmark yang skalabel, menunjukkan bahwa meskipun pengaturan yang diperkuat meningkatkan keselarasan, bias signifikan tetap ada.