"When Elo Lies" शीर्षक का एक हालिया पेपर एक व्यवस्थित प्रायोगिक अध्ययन प्रस्तुत करता है जो यह उजागर करता है कि Large Language Models के लिए Codeforces-आधारित Elo रेटिंग्स छिपे हुए प्रायोगिक कारकों से गहराई से प्रभावित हैं। लेखक दिखाते हैं कि सबमिशन के कालिक क्रम, विशिष्ट प्रतियोगिताओं के चयन और स्वयं मॉडलों की अंतर्निहित यादृच्छिक परिवर्तनशीलता के कारण ये रेटिंग्स महत्वपूर्ण रूप से उतार-चढ़ाव कर सकती हैं।
- सबमिशन क्रम को बदलने से Elo स्कोर में 394 अंक तक की वृद्धि हो सकती है।
- प्रतियोगिता चयन से एक ही मॉडल के लिए 1,122 अंक तक का अंतर आ सकता है।
- रन-टू-रन प्रदर्शन में अस्थिरता ने समान प्रतियोगिताओं का मूल्यांकन करते समय औसत स्कोर में 349 अंक की अधिकतम वृद्धि का कारण बना।
अध्ययन से निष्कर्ष निकलता है कि प्रायोगिक सेटिंग्स के कठोर मानकीकरण और पारदर्शी रिपोर्टिंग के बिना सीधे Elo तुलनाएं अविश्वसनीय हैं और भ्रामक हो सकती हैं।