Benchmark · agentic

τ-bench

0 परिणाम 0 मॉडल

τ-bench मापता है कि कोई AI एजेंट ग्राहक-सेवा की बहु-चरणीय बातचीत को कितनी अच्छी तरह संभालता है, जबकि वह उपयोगकर्ता के अनुरोध को पूरा करने के लिए tools और API कॉल करता है। स्कोर एजेंट द्वारा सही ढंग से पूरे किए गए कार्यों का प्रतिशत होता है।

और पढ़ें

उदाहरण: रिटेल या एयरलाइन क्षेत्र का एक कार्य — उदाहरण के लिए, कोई उपयोगकर्ता एजेंट से किसी ऑर्डर को रद्द या बदलने के लिए कहता है, और एजेंट को ज़रूरी जानकारी पूछनी होती है और फिर उस क्षेत्र के नियमों व नीतियों का पालन करते हुए सही backend API कॉल करनी होती हैं।
स्कोरिंग: मीट्रिक सही हल किए गए कार्यों का अनुपात है; कोई कार्य तब हल माना जाता है जब बातचीत के बाद डेटाबेस या परिवेश की अंतिम स्थिति अपेक्षित परिणाम से मेल खाती है। परिणाम आमतौर पर पास दर (pass@1) के रूप में बताया जाता है, और pass^k वैरिएंट बार-बार चलाने पर स्थिरता को मापता है।
सत्यापन: सत्यापन स्वचालित होता है, मानव द्वारा नहीं: बातचीत के बाद बेंचमार्क सिस्टम की परिणामी स्थिति (और उपयोगकर्ता को दी गई जानकारी) की तुलना पहले से तय अपेक्षित परिणाम से करता है, इसलिए केवल वस्तुनिष्ठ मेल ही पास माना जाता है।
यह क्यों मायने रखता है: यह एक यथार्थवादी और व्यावसायिक रूप से महत्वपूर्ण उपयोग-परिदृश्य दर्शाता है — ऐसे एजेंट जिन्हें व्यावसायिक नियमों के तहत उपयोगकर्ता से बात भी करनी है और tools के ज़रिए कार्य भी करने हैं — और यह विश्वसनीयता की कमियों को उजागर करता है, क्योंकि जो मॉडल एक बार सफल होते हैं वे अक्सर उसी कार्य को दोबारा करने पर विफल हो जाते हैं।

हल किया गया उदाहरण

कार्य

τ-bench के retail डोमेन में एक सिमुलेटेड उपयोगकर्ता एजेंट से कहता है: «नमस्ते, मैं ऑर्डर #W2611340 रद्द करना चाहता हूँ — मैंने इसे गलती से ऑर्डर कर दिया।» स्टोर की पॉलिसी के अनुसार (केवल 'pending' स्थिति वाले ऑर्डर ही रद्द हो सकते हैं, और कारण एक अनुमत मान होना चाहिए), एजेंट को पहले उपयोगकर्ता की पहचान सत्यापित करनी है, ऑर्डर जाँचना है, उपयोगकर्ता से पुष्टि लेनी है, फिर tool calls के ज़रिए ऑर्डर रद्द करना है।

समाधान

# 1) Authenticate the user (policy: verify identity before any action)
find_user_id_by_email(email="mia.li.3818@example.com")
# 2) Look up the order and confirm status == "pending"
get_order_details(order_id="#W2611340")
# 3) After the user confirms, cancel with an allowed reason enum
cancel_pending_order(order_id="#W2611340", reason="ordered by mistake")

व्याख्या

पॉलिसी केवल 'pending' स्थिति वाले ऑर्डर को रद्द करने की अनुमति देती है और कारण को दो enum मानों ('no longer needed' / 'ordered by mistake') तक सीमित रखती है, इसलिए एजेंट पहले पहचान सत्यापित करता है, स्थिति जाँचता है, उपयोगकर्ता की पुष्टि लेता है, और तभी राइट कॉल करता है। τ-bench अंतिम डेटाबेस स्थिति की तुलना एनोटेटेड लक्ष्य स्थिति (अब ऑर्डर 'cancelled') से करके स्कोर देता है और बार-बार के परीक्षणों में pass^k विश्वसनीयता रिपोर्ट करता है।

इस benchmark के लिए अभी तक कोई सत्यापित स्कोर रिपोर्ट नहीं किया गया है।