Artikel ini menyoroti kegagalan struktural dalam membangun korpus sintetis untuk studi bias LLM-as-judge, di mana parameter anggaran dekoding bersama dapat memotong jawaban halusinasi yang dihasilkan. Pemotongan ini menyebabkan runtuh lintas-bahasa sebesar 32 poin dalam akurasi pemilihan judge, yang hanya dapat dideteksi melalui inspeksi manual pada generasi mentah daripada pemeriksaan statistik agregat.
- Parameter bersama antara panggilan penjudian dan generasi memotong jawaban halusinasi dari satu produsen menjadi beberapa kata.
- Item yang dihasilkan menghasilkan efek yang secara statistik kuat: runtuh lintas-bahasa sebesar 32 poin dalam akurasi pemilihan satu judge, direplikasi dari N=50 ke N=500.
- Bias terukur kedua (preferensi format Markdown) terdistorsi oleh cacat yang sama, dengan magnitudo dan tandanya bergeser seiring panjang stimulus.
- Penulis membingkai ini sebagai masalah oracle uji, mencatat bahwa korpus yang dibangun melalui perturbasi deterministik dari jawaban emas memungkinkan deteksi akurat 100% terhadap cacat semacam itu melalui perbandingan string.
Penulis mengusulkan protokol validasi untuk analis yang bekerja dalam rezim tanpa oracle yang menggambarkan sebagian besar korpus LLM-as-judge multibahasa kontemporer.