Um artigo recente intitulado "When Elo Lies" apresenta um estudo empírico sistemático que revela que as classificações Elo baseadas no Codeforces para Modelos de Linguagem Grande são fortemente influenciadas por fatores experimentais ocultos. Os autores demonstram que essas classificações podem flutuar significativamente devido à ordem temporal das submissões, à seleção de contêstes específicos e à variabilidade estocástica inerente aos próprios modelos.
- Variar a ordem de submissão pode deslocar as pontuações Elo em até 394 pontos.
- A seleção do contêste pode causar diferenças de até 1.122 pontos para o mesmo modelo.
- A instabilidade de desempenho entre execuções resultou em uma diferença máxima de 349 pontos nas pontuações médias ao avaliar contêstes idênticos.
O estudo conclui que comparações diretas de Elo não são confiáveis e podem ser enganosas sem padronização rigorosa e divulgação transparente das configurações experimentais.