L'article met en évidence une défaillance structurelle dans la construction de corpus synthétiques pour les études sur le biais des juges LLM, où des paramètres de budget de décodage partagés peuvent tronquer les réponses hallucinées générées. Cette troncature a provoqué un effondrement inter-lingual de 32 points dans la précision de sélection du juge, qui n'était détectable que par l'inspection manuelle des générations brutes plutôt que par des vérifications statistiques agrégées.
- Un paramètre partagé entre les appels de jugement et de génération a tronqué les réponses hallucinées d'un producteur à quelques mots.
- Les éléments résultants ont produit un effet statistiquement robuste : un effondrement inter-lingual de 32 points dans la précision de sélection d'un juge, répliqué de N=50 à N=500.
- Un deuxième biais mesuré (préférence pour le format Markdown) a été distordu par la même défaillance, avec son ampleur et son signe variant selon la longueur du stimulus.
- Les auteurs qualifient cela de problème d'oracle de test, notant que les corpus construits par perturbation déterministe d'une réponse de référence permettent une détection à 100 % précise de telles défaillances via la comparaison de chaînes.
Les auteurs proposent un protocole de validation pour les analystes travaillant dans un régime sans oracle qui décrit la plupart des corpus LLM-as-judge multilingues contemporains.