Benchmark · agentic
BrowseComp
BrowseComp, OpenAI का वह बेंचमार्क है जो वेब ब्राउज़ करने वाले AI एजेंट्स की जाँच करता है कि वे इंटरनेट पर बिखरे मुश्किल-से-मिलने वाले तथ्यों को खोज पाते हैं या नहीं। परिणाम सही उत्तर दिए गए प्रश्नों के प्रतिशत के रूप में बताया जाता है।
और पढ़ें
- उदाहरण
- एक सामान्य प्रश्न ऐसा होता है जिसका छोटा तथ्यात्मक उत्तर — कोई नाम, तारीख या संख्या — वेब में गहराई में छिपा होता है और उसे ढूँढने के लिए कई पृष्ठों पर लगातार, बहु-चरणीय खोज करनी पड़ती है।
- स्कोरिंग
- मापदंड सटीकता (accuracy) है: उन प्रश्नों का प्रतिशत जिनमें एजेंट का उत्तर एकमात्र ज्ञात सही उत्तर से मेल खाता है।
- सत्यापन
- उत्तर तभी स्वीकार होता है जब वह पहले से तय किए गए सही उत्तर से मेल खाए (एग्ज़ैक्ट-मैच शैली में); प्रश्न इस तरह बनाए जाते हैं कि उत्तर ढूँढना कठिन हो पर एक बार मिल जाने पर सत्यापित करना आसान हो।
- यह क्यों मायने रखता है
- यह एक ऐसी क्षमता को परखता है जो साधारण चैटबॉट्स में नहीं होती — कई चरणों में गहन, लगातार वेब शोध — इसलिए यह मज़बूत मॉडलों के लिए भी एजेंटिक ब्राउज़िंग की एक कठिन परीक्षा बना रहता है।
हल किया गया उदाहरण
कार्य
BrowseComp आइटम: «2010 और 2015 के बीच रिलीज़ हुई एक ऐसी फ़ीचर फ़िल्म बताइए जो (1) सर्वश्रेष्ठ फ़िल्म का Academy Award जीत चुकी हो, (2) एक गुप्त बचाव अभियान को नाटकीय रूप में दिखाती हो, (3) उसी व्यक्ति द्वारा निर्देशित हो जो मुख्य भूमिका निभाता है, और (4) जिसका क्लाइमेक्स तेहरान के एक हवाई अड्डे पर हो। केवल फ़िल्म का नाम दीजिए।»
समाधान
सभी शर्तें एक ही फ़िल्म पर मिलती हैं — 2010–2015 की सर्वश्रेष्ठ फ़िल्म विजेता, जो अपने मुख्य अभिनेता द्वारा ही निर्देशित एक गुप्त बचाव नाटक है और जिसका क्लाइमेक्स तेहरान के हवाई अड्डे पर होता है। अंतिम उत्तर: Argo (2012), निर्देशन और मुख्य भूमिका Ben Affleck द्वारा।
व्याख्या
हर संकेत उम्मीदवारों को घटाता जाता है — 2010–2015 की सर्वश्रेष्ठ फ़िल्म विजेता, फिर वे बचाव-नाटक जिन्हें उनके मुख्य अभिनेता ने निर्देशित किया, और अंत में वह जिसका क्लाइमेक्स तेहरान हवाई अड्डे पर है — केवल Argo बचती है, जिसे Ben Affleck ने निर्देशित भी किया और उसमें अभिनय भी। BrowseComp छोटे मुक्त-पाठ उत्तर को संदर्भ से सटीक या मॉडल-जाँचित मिलान द्वारा मिलाता है, इसलिए «Argo» सही गिना जाता है।