Un artículo reciente titulado "When Elo Lies" presenta un estudio empírico sistemático que revela que las clasificaciones Elo basadas en Codeforces para Modelos de Lenguaje Grande están fuertemente influenciadas por factores experimentales ocultos. Los autores demuestran que estas clasificaciones pueden fluctuar significativamente debido al orden temporal de los envíos, la selección de concursos específicos y la variabilidad estocástica inherente de los propios modelos.
- Variar el orden de envío puede desplazar las puntuaciones Elo hasta en 394 puntos.
- La selección del concurso puede causar diferencias de hasta 1.122 puntos para el mismo modelo.
- La inestabilidad del rendimiento de ejecución a ejecución resultó en una diferencia máxima de 349 puntos en las puntuaciones medias al evaluar concursos idénticos.
El estudio concluye que las comparaciones directas de Elo no son confiables y pueden ser engañosas sin una estandarización estricta y una divulgación transparente de la configuración experimental.