Недавняя статья под названием "Когда Elo лжёт" представляет систематическое эмпирическое исследование, показывающее, что рейтинги Elo на основе Codeforces для больших языковых моделей сильно зависят от скрытых экспериментальных факторов. Авторы демонстрируют, что эти рейтинги могут значительно колебаться из-за временного порядка подачи решений, выбора конкретных контестов и присущей моделям стохастической изменчивости.
- Изменение порядка подачи решений может сдвинуть оценки Elo на величину до 394 баллов.
- Выбор контеста может вызывать разницу до 1 122 баллов для одной и той же модели.
- Нестабильность результатов от запуска к запуску привела к максимальной разнице в 349 баллов средних оценок при оценке одинаковых контестов.
Исследование приходит к выводу, что прямые сравнения Elo ненадёжны и могут вводить в заблуждение без строгой стандартизации и прозрачной отчётности об экспериментальных настройках.