Sebuah makalah terbaru berjudul "When Elo Lies" menyajikan studi empiris sistematis yang mengungkapkan bahwa peringkat Elo berbasis Codeforces untuk Model Bahasa Besar sangat dipengaruhi oleh faktor eksperimental tersembunyi. Penulis menunjukkan bahwa peringkat ini dapat berfluktuasi secara signifikan karena urutan waktu pengajuan, kontes spesifik yang dipilih, dan variabilitas stokastik bawaan dari model itu sendiri.
- Mengubah urutan pengajuan dapat menggeser skor Elo hingga 394 poin.
- Pemilihan kontes dapat menyebabkan perbedaan hingga 1.122 poin untuk model yang sama.
- Ketidakstabilan kinerja antar-jalankan menghasilkan perbedaan maksimum sebesar 349 poin dalam skor rata-rata saat mengevaluasi kontes yang identik.
Studi ini menyimpulkan bahwa perbandingan Elo langsung tidak dapat diandalkan dan berpotensi menyesatkan tanpa standarisasi ketat dan pelaporan transparan tentang pengaturan eksperimental.