Um estudo trata a ambiguidade de substituição do avaliador como um problema de validade de medição, demonstrando que as pontuações do juiz LLM podem mudar mesmo quando as respostas dos candidatos permanecem fixas. Os autores comparam dois caminhos de atualização em quatro conjuntos de dados de julgamento: escalar juízes densos Qwen3 de 1.7B para 32B parâmetros e mover-se entre as APIs lançadas do MiniMax M2-M2.7.
- Apenas a atualização do Qwen3 1.7B para 4B fornece um ganho adjacente robusto, enquanto os lançamentos adjacentes do MiniMax não o fazem.
- Juízes mais fortes reduzem, mas não removem, o viés de posição e verbosidade.
- Jurados de amostras repetidas adicionam pouco valor quando os erros são correlacionados.
- O debate estruturado pode mover decisões substancialmente, mas as mudanças não podem ser atribuídas à deliberação sem logs do analisador e de fallback.
Os autores argumentam que os relatórios do juiz LLM devem incluir fatias de conjuntos de dados, sondas de viés, estimativas de dependência de erros e rastros de auditoria do protocolo para garantir a confiabilidade.