Benchmark · agentic

τ-bench

0 نتائج 0 نماذج

يقيس τ-bench مدى قدرة وكيل الذكاء الاصطناعي على إدارة محادثة خدمة عملاء متعددة الأدوار مع استدعاء الأدوات وواجهات API لتلبية طلب المستخدم. والدرجة هي النسبة المئوية للمهام التي أنجزها الوكيل بشكل صحيح.

اقرأ المزيد

مثال: مهمة في مجال التجزئة أو شركات الطيران — على سبيل المثال، يطلب مستخدم من الوكيل إلغاء طلب أو تعديله، وعلى الوكيل أن يسأل عن التفاصيل اللازمة ثم يستدعي واجهات API الخلفية الصحيحة مع الالتزام بقواعد المجال وسياساته.
طريقة التقييم: المقياس هو نسبة المهام التي تُحلّ بشكل صحيح؛ وتُعدّ المهمة محلولة عندما تتطابق الحالة النهائية لقاعدة البيانات أو البيئة مع النتيجة المتوقعة. وتُعرض النتيجة عادةً كمعدل نجاح (pass@1)، مع صيغة pass^k التي تقيس الاتساق عبر عمليات التشغيل المتكررة.
التحقق: يتم التحقق تلقائيًا وليس بحكم بشري: بعد المحادثة، يقارن الاختبار الحالة الناتجة للنظام (والمعلومات المقدّمة للمستخدم) بنتيجة متوقعة محددة مسبقًا، بحيث لا يُحتسب النجاح إلا عند التطابق الموضوعي.
لماذا يهم: إنه يعكس حالة استخدام واقعية ومهمة تجاريًا — وكلاء يجب عليهم في آنٍ واحد التحدث إلى المستخدم والتصرف عبر الأدوات ضمن قواعد العمل — ويكشف عن ثغرات في الموثوقية، إذ إن النماذج التي تنجح مرة واحدة كثيرًا ما تفشل عند إعادة محاولة المهمة نفسها.

مثال محلول

المهمة

في مجال retail ضمن τ-bench، يقول مستخدم مُحاكى للوكيل: «مرحبًا، أريد إلغاء الطلب #W2611340 — لقد طلبته عن طريق الخطأ». وفقًا لسياسة المتجر (لا يمكن إلغاء سوى الطلبات التي لا تزال في حالة 'pending'، ويجب أن يكون السبب قيمة مسموحًا بها)، على الوكيل أن يوثّق هوية المستخدم، ويتحقق من الطلب، ويؤكّد مع المستخدم، ثم يلغيه عبر استدعاءات الأدوات.

الحل

# 1) Authenticate the user (policy: verify identity before any action)
find_user_id_by_email(email="mia.li.3818@example.com")
# 2) Look up the order and confirm status == "pending"
get_order_details(order_id="#W2611340")
# 3) After the user confirms, cancel with an allowed reason enum
cancel_pending_order(order_id="#W2611340", reason="ordered by mistake")

الشرح

تسمح السياسة بإلغاء الطلب فقط عندما يكون في حالة 'pending' وتقصر السبب على قيمتَي enum ('no longer needed' / 'ordered by mistake')، لذا يوثّق الوكيل الهوية أولًا، ويتحقق من الحالة، ويحصل على تأكيد المستخدم، ثم يُجري استدعاء الكتابة. يقيّم τ-bench بمقارنة الحالة النهائية لقاعدة البيانات بالحالة الهدف الموسومة (الطلب الآن 'cancelled')، ويُبلّغ عن موثوقية pass^k عبر محاولات متكررة.

لا توجد درجات موثّقة لهذا الـ Benchmark بعد.