Audit Keandalan LLM-as-Judge Menunjukkan Peningkatan Hakim Tidak Dapat Dipertukarkan

Sebuah studi memperlakukan ambiguitas penggantian evaluator sebagai masalah validitas pengukuran, menunjukkan bahwa skor LLM-as-judge dapat bergeser meskipun respons kandidat tetap. Penulis membandingkan dua jalur peningkatan di empat set data penilaian: penskalaan hakim padat Qwen3 dari 1,7B ke 32B parameter dan perpindahan antar API MiniMax M2-M2.7 yang dirilis.

• Hanya peningkatan dari Qwen3 1,7B ke 4B memberikan keuntungan tetangga yang kuat, sementara rilis tetangga MiniMax tidak.
• Hakim yang lebih kuat mengurangi tetapi tidak menghilangkan bias posisi dan verbosity.
• Juri sampel berulang menambahkan sedikit nilai ketika kesalahan berkorelasi.
• Debat terstruktur dapat menggeser keputusan secara substansial, tetapi pergeseran tersebut tidak dapat dikaitkan dengan deliberasi tanpa log parser dan fallback.

Penulis berargumen bahwa laporan LLM-as-judge harus menyertakan irisan dataset, probe bias, estimasi ketergantungan kesalahan, dan jejak audit protokol untuk memastikan keandalan.