تقدم مختبر MMLab بجامعة هونغ كونغ UniClawBench، وهو أول معيار تقييم مدفوع بالقدرة مصمم لتقييم الوكلاء الاستباقيين في بيئات واقعية وديناميكية. يعالج هذا المعيار قيود المعايير الحالية من خلال استخدام حاويات Docker الحية واستراتيجية تقييم ذات حلقة مغلقة مع وكلاء مشرفين مخفيين.
- مبني حول خمس قدرات أساسية: استخدام المهارات، الاستكشاف، الاستدلال طويل السياق، الفهم متعدد الوسائط، والتنسيق عبر المنصات.
- يتضمن 400 مهمة واقعية ثنائية اللغة يتم تقييمها عبر نقاط تحقق دقيقة خطوة بخطوة.
- يستخدم استراتيجية حلقة مغلقة مع وكلاء منفذين ومشرفين مخفيين ومستخدمين لمحاكاة التغذية الراجعة متعددة الأدوار دون تسريب معايير التقييم.
- يقيم أحدث النماذج تحت أطر عمل متعددة لفصل قدرات النموذج الأساسي عن خيارات تصميم الإطار.
يهدف المعيار إلى مساعدة الباحثين على تحديد الأسباب الجذرية لفشل الوكلاء وفهم كيفية تشكيل النماذج الأساسية وأطر العمل للأداء بشكل مشترك.