O artigo destaca uma falha estrutural na construção de corpora sintéticos para estudos de viés de LLM-as-judge, onde parâmetros compartilhados do orçamento de decodificação podem truncar as respostas alucinadas geradas. Esse truncamento causou um colapso interlinguístico de 32 pontos na precisão de seleção do juiz, que só foi detectável por meio da inspeção manual das gerações brutas em vez de verificações estatísticas agregadas.
- Um parâmetro compartilhado entre as chamadas de julgamento e geração truncou as respostas alucinadas de um produtor para algumas palavras.
- Os itens resultantes produziram um efeito estatisticamente robusto: um colapso interlinguístico de 32 pontos na precisão de seleção de um juiz, replicado de N=50 para N=500.
- Um segundo viés medido (preferência por formatação Markdown) foi distorcido pela mesma falha, com sua magnitude e sinal mudando conforme o comprimento do estímulo.
- Os autores enquadram isso como um problema de oráculo de teste, observando que corpora construídos por perturbação determinística de uma resposta gold permitem a detecção precisa ao 100% dessas falhas por comparação de strings.
Os autores propõem um protocolo de validação para analistas que trabalham no regime sem oráculo que descreve a maioria dos corpora multilíngues contemporâneos de LLM-as-judge.