Benchmark · agentic
τ²-bench
τ²-bench, τ-bench का एक अद्यतन संस्करण है जो टूल का उपयोग करने वाले संवादात्मक AI एजेंट्स को «dual-control» (दोहरे नियंत्रण) कार्यों पर परखता है, जहाँ काम पूरा करने के लिए एजेंट और एक सिम्युलेटेड उपयोगकर्ता दोनों कार्रवाई कर सकते हैं। मुख्य मीट्रिक हल किए गए कार्यों का प्रतिशत है (कार्यों पर औसत रिवॉर्ड)।
और पढ़ें
- उदाहरण
- एक तकनीकी-सहायता परिदृश्य: एजेंट ग्राहक का खाता देखता है और डोमेन की नीति का पालन करता है, साथ ही एक सिम्युलेटेड उपयोगकर्ता को उसके अपने डिवाइस पर कदम उठाने के लिए मार्गदर्शन देता है (उदाहरण के लिए, कोई सेटिंग बदलना), और समस्या हल करने के लिए दोनों को आपस में तालमेल बिठाना होता है।
- स्कोरिंग
- प्रत्येक कार्य के अंत में स्वचालित रूप से जाँचा जाता है कि सिस्टम/डेटाबेस की अंतिम स्थिति अपेक्षित परिणाम से मेल खाती है या नहीं, जिससे उस कार्य के लिए रिवॉर्ड मिलता है; रिपोर्ट किया गया स्कोर हल किए गए कार्यों का प्रतिशत होता है (या औसत रिवॉर्ड)।
- सत्यापन
- स्वीकृति पूरी तरह प्रोग्राम-आधारित है — एनवायरनमेंट अंतिम स्थिति (और आवश्यक कार्रवाइयों) की तुलना अपेक्षित परिणाम से करता है, बिना किसी मानवीय मूल्यांकन के, इसलिए कोई कार्य तभी गिना जाता है जब परिणाम मेल खाता है।
- यह क्यों मायने रखता है
- यह महत्वपूर्ण है क्योंकि वास्तविक सहायक अक्सर अकेले कार्य नहीं कर सकते — उन्हें उपयोगकर्ता को निर्देश देना और उसके साथ तालमेल बिठाना पड़ता है — और यह दोहरे-नियंत्रण की व्यवस्था संचार व समन्वय की उन खामियों को उजागर करती है जिन्हें एकल-कर्ता वाले टूल बेंचमार्क चूक जाते हैं।
हल किया गया उदाहरण
कार्य
τ²-bench, telecom (dual-control) डोमेन: एक सिम्युलेटेड यूज़र लिखता है: «आज सुबह से मेरा mobile data नहीं चल रहा, लेकिन कॉल और SMS अब भी काम कर रहे हैं।» ऑपरेटर के नीति दस्तावेज़ और टूल्स — साथ ही वे डिवाइस क्रियाएँ जो यूज़र अपने फ़ोन पर स्वयं कर सकता है — दिए जाने पर, ग्राहक की पहचान सत्यापित करें, खराबी का निदान करें और mobile data बहाल करें।
समाधान
Correct agent trajectory (telecom tools + user-side device actions):
1. get_customer_by_phone(number); confirm identity via name + DOB.
2. get_line_status(line_id) → "active"; get_network_status(region) → "operational" (rules out account suspension and network outage).
3. Follow the "data down / voice up" branch: user confirms Airplane Mode is OFF, then agent instructs the user to switch "Mobile Data" ON.
4. Verify data is restored; apply NO billing credit (policy forbids a fee/credit for a self-service fix).
Resolution → user enables Mobile Data; connectivity restored, account state unchanged.
व्याख्या
जब लाइन active है और नेटवर्क में कोई खराबी नहीं, फिर भी वॉइस और SMS चलते हुए data बंद है, तो खराबी डिवाइस की ओर है, इसलिए नीति का ट्रबलशूटिंग ट्री यूज़र को Mobile Data दोबारा चालू करने के लिए निर्देशित करके इसे हल करता है (और स्व-सुधार के लिए किसी भी सद्भावना क्रेडिट को मना करता है)। τ²-bench प्रति कार्य एक इनाम (0/1) देता है: यह जाँचता है कि एनवायरनमेंट/डेटाबेस अपेक्षित अंतिम स्थिति तक पहुँचता है और सभी आवश्यक क्रियाएँ व बताई गई जानकारी मौजूद हैं, फिर pass^k मेट्रिक से बार-बार के परीक्षणों में विश्वसनीयता बताता है।