Un récent article intitulé "When Elo Lies" présente une étude empirique systématique révélant que les classements Elo basés sur Codeforces pour les grands modèles de langage sont fortement influencés par des facteurs expérimentaux cachés. Les auteurs démontrent que ces classements peuvent fluctuer considérablement en raison de l'ordre temporel des soumissions, du choix spécifique des concours et de la variabilité stochastique inhérente aux modèles eux-mêmes.
- La variation de l'ordre de soumission peut faire varier les scores Elo jusqu'à 394 points.
- Le choix du concours peut entraîner des différences allant jusqu'à 1 122 points pour le même modèle.
- L'instabilité des performances d'une exécution à l'autre a entraîné une différence maximale de 349 points sur les scores moyens lors de l'évaluation de concours identiques.
L'étude conclut que les comparaisons Elo directes sont peu fiables et potentiellement trompeuses sans une standardisation stricte et un rapport transparent des paramètres expérimentaux.