تقدم ورقة بحثية حديثة بعنوان "When Elo Lies" دراسة تجريبية منهجية تكشف أن تصنيفات Elo المستندة إلى Codeforces للنماذج اللغوية الكبيرة تتأثر بشدة بعوامل تجريبية خفية. يوضح المؤلفون أن هذه التصنيفات يمكن أن تتقلب بشكل كبير بسبب الترتيب الزمني للإرسالات، واختيار المسابقات المحددة، والتباين العشوائي الجوهري للنماذج نفسها.
- يمكن أن يؤدي تغيير ترتيب الإرسال إلى إزاحة درجات Elo بمقدار يصل إلى 394 نقطة.
- يمكن أن يسبب اختيار المسابقة فروقًا تصل إلى 1,122 نقطة لنفس النموذج.
- أدى عدم استقرار الأداء من تشغيل إلى آخر إلى فرق أقصى قدره 349 نقطة في الدرجات المتوسطة عند تقييم مسابقات متطابقة.
تخلص الدراسة إلى أن المقارنات المباشرة لـ Elo غير موثوقة وقد تكون مضللة دون توحيد صارم وإبلاغ شفاف عن إعدادات التجربة.