Benchmark · agentic
τ²-bench
τ²-bench هو نسخة محدَّثة من τ-bench تُقيّم وكلاء الذكاء الاصطناعي الحواريين الذين يستخدمون الأدوات في مهام «التحكّم المزدوج» (dual-control)، حيث يمكن لكل من الوكيل والمستخدم المُحاكى اتخاذ إجراءات لإنجاز المهمة. المقياس الرئيسي هو نسبة المهام المحلولة (متوسط المكافأة عبر المهام).
اقرأ المزيد
- مثال
- سيناريو دعم فني: يبحث الوكيل عن حساب العميل ويتّبع سياسة المجال بينما يوجّه مستخدمًا مُحاكى لتنفيذ خطوات على جهازه الخاص (مثل تغيير أحد الإعدادات)، ويجب أن ينسّق الطرفان معًا لحل المشكلة.
- طريقة التقييم
- تنتهي كل مهمة بفحص آلي لما إذا كانت الحالة النهائية للنظام/قاعدة البيانات تطابق النتيجة المطلوبة، مما يمنح مكافأة لكل مهمة؛ والدرجة المُبلَّغ عنها هي نسبة المهام المحلولة (أو متوسط المكافأة).
- التحقق
- القبول برمجي بالكامل — إذ تقارن البيئة الحالة النهائية (والإجراءات المطلوبة) بالنتيجة المتوقعة دون تقييم بشري، لذا لا تُحتسب المهمة إلا عند تطابق النتيجة.
- لماذا يهم
- هذا مهم لأن المساعدين الحقيقيين غالبًا لا يستطيعون التصرّف بمفردهم — إذ عليهم إرشاد المستخدم والتنسيق معه — وهذا الإعداد ذو التحكّم المزدوج يكشف إخفاقات التواصل والتنسيق التي تغفلها معايير الأدوات ذات الفاعل الواحد.
مثال محلول
المهمة
τ²-bench، مجال الاتصالات (dual-control): يكتب مستخدم محاكى: «منذ هذا الصباح لا تعمل بيانات الهاتف المحمول لدي، لكن المكالمات والرسائل النصية ما زالت تعمل.» بالاعتماد على وثيقة سياسة المشغّل والأدوات — إضافةً إلى إجراءات الجهاز التي يمكن للمستخدم تنفيذها بنفسه على هاتفه —، وثّق هوية العميل، وشخّص العطل، واستعِد بيانات الهاتف المحمول.
الحل
Correct agent trajectory (telecom tools + user-side device actions):
1. get_customer_by_phone(number); confirm identity via name + DOB.
2. get_line_status(line_id) → "active"; get_network_status(region) → "operational" (rules out account suspension and network outage).
3. Follow the "data down / voice up" branch: user confirms Airplane Mode is OFF, then agent instructs the user to switch "Mobile Data" ON.
4. Verify data is restored; apply NO billing credit (policy forbids a fee/credit for a self-service fix).
Resolution → user enables Mobile Data; connectivity restored, account state unchanged.
الشرح
بما أن الصوت والرسائل النصية تعمل بينما البيانات معطّلة على خط active ودون انقطاع في الشبكة، فإن العطل من جهة الجهاز، لذا تحلّه شجرة استكشاف الأعطال في السياسة بإرشاد المستخدم إلى إعادة تفعيل Mobile Data (وتمنع أي رصيد مجاملة مقابل إصلاح ينفّذه المستخدم بنفسه). يمنح τ²-bench مكافأة لكل مهمة (0/1) عبر التحقق من بلوغ البيئة/قاعدة البيانات الحالة النهائية المتوقعة ومن اكتمال جميع الإجراءات المطلوبة والمعلومات التي يجب إبلاغها، ثم يُبلّغ عن الموثوقية عبر تجارب متكررة باستخدام مقياس pass^k.