Benchmark · agentic
OSWorld
OSWorld एक बेंचमार्क है जो कंप्यूटर-उपयोग करने वाले एजेंट्स को असली डेस्कटॉप ऑपरेटिंग सिस्टम के कार्यों पर परखता है, जो रोज़मर्रा के ऐप्स (फ़ाइल मैनेजर, वेब ब्राउज़र, ऑफ़िस सूट) में फैले होते हैं। यह उन कार्यों का प्रतिशत बताता है जिन्हें एजेंट सफलतापूर्वक पूरा करता है।
और पढ़ें
- उदाहरण
- किसी कार्य में एजेंट से कहा जा सकता है कि वह एक स्प्रेडशीट खोले, कोई मान बदले या डेटा को दोबारा फ़ॉर्मैट करे और फ़ाइल सहेजे — या फ़ाइल मैनेजर में कोई फ़ाइल ढूँढे और सिस्टम सेटिंग बदले — असली ग्राफ़िकल इंटरफ़ेस (GUI) को वैसे ही चलाते हुए जैसे कोई व्यक्ति चलाता है।
- स्कोरिंग
- मापदंड है कार्य सफलता दर (task success rate), जिसे प्रतिशत में व्यक्त किया जाता है। हर कार्य या तो पास होता है या फेल, और स्कोर पूरे सेट में पास किए गए कार्यों का अनुपात होता है।
- सत्यापन
- परिणामों की जाँच स्वचालित रूप से निष्पादन-आधारित स्क्रिप्ट्स द्वारा की जाती है जो मशीन की अंतिम स्थिति की जाँच करती हैं (जैसे, क्या सही फ़ाइल, मान या सेटिंग अब मौजूद है), न कि टेक्स्ट मिलान या मानव मतदान द्वारा।
- यह क्यों मायने रखता है
- यह मापता है कि क्या AI एजेंट कई ऐप्स में असली कंप्यूटर को वास्तव में चला सकते हैं — यह प्रश्नों के उत्तर देने या एकल-ऐप कार्यों की तुलना में स्वायत्तता की कहीं अधिक कठिन और यथार्थवादी परीक्षा है।
हल किया गया उदाहरण
कार्य
Ubuntu डेस्कटॉप पर एक GNOME Terminal खुला है। फ़ोल्डर ~/project में 10 MB से बड़ी सभी .log फ़ाइलें रिकर्सिव तरीके से खोजें और उन्हें हटा दें, बाकी सभी फ़ाइलों को अछूता छोड़ते हुए।
समाधान
find ~/project -type f -name '*.log' -size +10M -deleteव्याख्या
find ~/project को रिकर्सिव रूप से देखता है, *.log नाम वाली 10 MB से बड़ी सामान्य फ़ाइलों को चुनता है, और -delete ठीक उन्हीं को हटाता है, बाकी सब को छोड़ देता है। OSWorld हर टास्क के अपने चेकर से वर्चुअल मशीन (VM) की अंतिम फ़ाइल-सिस्टम स्थिति जाँचता है और reward 1 तभी देता है जब लक्षित logs हट गए हों और अन्य फ़ाइलें बनी रहें।