Benchmark · agentic
GAIA
GAIA (General AI Assistant) यह जाँचता है कि क्या AI असिस्टेंट ऐसे वास्तविक, बहु-चरणीय सवालों के जवाब दे सकते हैं जिनके लिए tools का उपयोग, वेब ब्राउज़िंग और कई स्रोतों पर तर्क करना ज़रूरी है। स्कोर सही उत्तर दिए गए सवालों का प्रतिशत होता है।
और पढ़ें
- उदाहरण
- एक सामान्य आइटम रोज़मर्रा जैसा दिखने वाला सवाल होता है जिसका उत्तर कई चरणों में छिपा होता है — जैसे "एक लिंक किए गए दस्तावेज़ में कोई तथ्य ढूँढना और फिर उसे किसी वेबसाइट के डेटा के साथ जोड़कर एक छोटा-सा उत्तर निकालना" — जिसके लिए एक ही खोज नहीं, बल्कि ब्राउज़िंग और tools का उपयोग करना पड़ता है।
- स्कोरिंग
- मेट्रिक accuracy (सटीकता) है: उन सवालों का अनुपात जिनका अंतिम उत्तर अपेक्षित उत्तर से मेल खाता है। हर सवाल का एक ही स्पष्ट संदर्भ उत्तर होता है, इसलिए जवाब या तो सही होता है या गलत।
- सत्यापन
- उत्तरों की जाँच संदर्भ उत्तर के साथ सटीक (क्वासी-सटीक) स्ट्रिंग मिलान द्वारा स्वचालित रूप से होती है, और टेस्ट सेट के परिणाम एक सार्वजनिक leaderboard पर भेजे जाते हैं जहाँ सही उत्तर गोपनीय रखे जाते हैं।
- यह क्यों मायने रखता है
- यह असिस्टेंट की व्यावहारिक क्षमता मापता है — ऐसे कामों में तर्क, वेब ब्राउज़िंग और tools को जोड़ना जो इंसानों के लिए आसान पर AI के लिए कठिन हैं — जिससे यह स्वायत्त agents के लिए एक आम मानक बन जाता है।
हल किया गया उदाहरण
कार्य
वर्तमान अंग्रेज़ी Wikipedia का उपयोग करते हुए, बैंड Radiohead ने 1993 से 2007 तक (दोनों सहित) कितने स्टूडियो एल्बम जारी किए? अंतिम उत्तर के रूप में एक ही पूर्णांक दें।
समाधान
Albums in range: Pablo Honey (1993), The Bends (1995), OK Computer (1997), Kid A (2000), Amnesiac (2001), Hail to the Thief (2003), In Rainbows (2007) → 7. Final answer: 7
व्याख्या
GAIA के प्रश्नों का एक ही स्पष्ट संदर्भ-उत्तर होता है, जो वेब ब्राउज़िंग और हल्के-फुल्के संकलन से प्राप्त होता है — यहाँ किसी तिथि-सीमा के भीतर डिस्कोग्राफी की प्रविष्टियाँ गिनना (संकलन और लाइव एल्बम शामिल नहीं)। मूल्यांकन quasi-exact match से होता है: सामान्यीकृत अंतिम-उत्तर स्ट्रिंग संदर्भ «7» के बिल्कुल बराबर होनी चाहिए।