El artículo destaca un fallo estructural al construir corpora sintéticos para estudios de sesgo de LLM-as-judge, donde los parámetros compartidos del presupuesto de decodificación pueden truncar las respuestas alucinadas generadas. Este truncamiento causó un colapso interlingüístico de 32 puntos en la precisión de selección del juez, que solo fue detectable mediante inspección manual de las generaciones crudas en lugar de verificaciones estadísticas agregadas.
- Un parámetro compartido entre las llamadas de juicio y generación truncó las respuestas alucinadas de un productor a unas pocas palabras.
- Los elementos resultantes produjeron un efecto estadísticamente robusto: un colapso interlingüístico de 32 puntos en la precisión de selección de un juez, replicado desde N=50 hasta N=500.
- Un segundo sesgo medido (preferencia por el formato Markdown) fue distorsionado por la misma falla, con su magnitud y signo cambiando según la longitud del estímulo.
- Los autores enmarcan esto como un problema de oráculo de prueba, señalando que los corpora construidos mediante perturbación determinista de una respuesta dorada permiten la detección precisa al 100% de estas fallas mediante comparación de cadenas.
Los autores proponen un protocolo de validación para analistas que trabajan en el régimen sin oráculo que describe la mayoría de los corpus contemporáneos multilingües de LLM-as-judge.