O artigo trata a ambiguidade de substituição do avaliador como um problema de validade de medição, demonstrando que as pontuações do juiz LLM podem mudar mesmo quando as respostas candidatas permanecem fixas. Em quatro conjuntos de dados de julgamento, os autores comparam o escalonamento de juízes densos Qwen3 de 1.7B para 32B parâmetros e a alternância entre as APIs lançadas MiniMax M2-M2.7.
- Apenas a atualização de Qwen3 1.7B para 4B fornece um ganho adjacente robusto; outras atualizações não são intercambiáveis.
- Lançamentos adjacentes do MiniMax não produzem melhorias consistentes na estabilidade da medição.
- Juízes mais fortes reduzem, mas não eliminam, o viés de posição e verbosidade.
- Jurados de amostras repetidas adicionam pouco valor quando os erros são correlacionados.
- Debate estruturado pode mover decisões substancialmente, mas a atribuição requer logs do parser e fallback.
Os autores argumentam que os relatórios do LLM-as-judge devem incluir fatias de conjuntos de dados, sondas de viés, estimativas de dependência de erros e rastros de auditoria de protocolo para garantir a confiabilidade.