「When Elo Lies」と題された最近の論文は、大規模言語モデルに対するCodeforcesベースのElo評価が隠れた実験的要因に大きく影響されていることを示す体系的な実証研究を提示しています。著者たちは、これらの評価が提出の時間的順序、選択された特定のコンテスト、およびモデル自体の本質的な確率的変動によって大幅に変動し得ることを実証しています。
- 提出順序を変えると、Eloスコアが最大394ポイントシフトする可能性があります。
- コンテストの選択により、同じモデルで最大1,122ポイントの違いが生じる可能性があります。
- ランごとのパフォーマンスの不安定性により、同一のコンテストを評価する際に平均スコアで最大349ポイントの違いが生じました。
この研究は、実験設定の厳格な標準化と透明性のある報告なしには、直接的なElo比較は信頼できず、誤解を招く可能性があるという結論に至っています。