Audit Keandalan LLM-as-Judge: Peningkatan Juri Tidak Dapat Dipertukarkan

Artikel ini memperlakukan ambiguitas penggantian evaluator sebagai masalah validitas pengukuran, menunjukkan bahwa skor LLM-as-judge dapat bergeser meskipun respons kandidat tetap. Di empat set data penilaian, penulis membandingkan penskalaan juri padat Qwen3 dari 1,7B menjadi 32B parameter dan beralih antara API rilis MiniMax M2-M2.7.

• Hanya peningkatan dari Qwen3 1,7B ke 4B memberikan keuntungan tetangga yang kuat; peningkatan lainnya tidak dapat dipertukarkan.
• Rilis tetangga MiniMax tidak menghasilkan perbaikan konsisten dalam stabilitas pengukuran.
• Juri yang lebih kuat mengurangi tetapi tidak menghilangkan bias posisi dan verbosity.
• Juri sampel berulang menambahkan sedikit nilai ketika kesalahan berkorelasi.
• Debat terstruktur dapat menggeser keputusan secara substansial, tetapi atribusi memerlukan log parser dan fallback.

Penulis berargumen bahwa laporan LLM-as-judge harus menyertakan irisan dataset, probe bias, estimasi ketergantungan kesalahan, dan jejak audit protokol untuk memastikan keandalan.