"When Elo Lies"라는 최근 논문은 대규모 언어 모델에 대한 Codeforces 기반 Elo 평가가 숨겨진 실험 요인에 크게 영향을 받는다는 체계적인 실증 연구를 제시합니다. 저자들은 이러한 평가가 제출의 시간적 순서, 선택된 특정 컨테스트, 그리고 모델 자체의 본질적인 확률적 변동으로 인해 크게 변동할 수 있음을 입증했습니다.
- 제출 순서를 변경하면 Elo 점수가 최대 394점까지 이동할 수 있습니다.
- 컨테스트 선택은 동일한 모델에 대해 최대 1,122점의 차이를 유발할 수 있습니다.
- 실행 간 성능 불안정성으로 인해 동일한 컨테스트를 평가할 때 평균 점수에서 최대 349점의 차이가 발생했습니다.
이 연구는 엄격한 표준화와 실험 설정에 대한 투명한 보고 없이 직접적인 Elo 비교는 신뢰할 수 없고 오해를 불러일으킬 수 있다는 결론을 내립니다.