一篇题为《当 Elo 说谎时》(When Elo Lies) 的最新论文展示了一项系统的实证研究，揭示了基于 Codeforces 的大语言模型 (LLM) Elo 评级深受隐藏实验因素的影响。作者证明，由于提交的时序、所选特定比赛以及模型本身固有的随机可变性，这些评级会出现显著波动。
- 改变提交顺序可使 Elo 分数变动高达 394 分。
- 比赛选择可能导致同一模型的分数差异高达 1,122 分。
- 运行间性能的不稳定性在评估相同比赛时导致平均分数的最大差异为 349 分。
该研究得出结论，如果没有严格的标准化和对实验设置的透明报告，直接的 Elo 比较是不可靠的，甚至可能具有误导性。