Benchmark · agentic
VisualWebArena
يقيس VisualWebArena مدى نجاح الوكلاء المستقلين متعددي الوسائط (القادرين على الرؤية) في إنجاز مهام واقعية ومترسِّخة بصريًا على مواقع ويب حقيقية مستضافة ذاتيًا (Classifieds وShopping وReddit)؛ ويُبلَّغ عن الأداء كمعدل نجاح إجمالي (success rate) عبر مهامه البالغة 910.
اقرأ المزيد
- مثال
- مهمة تصفح مشروطة بصورة: بإعطاء صورة مرجعية لمنتج ما، على الوكيل أن يتنقل في موقع إعلانات مبوبة أو تسوق ليجد الإعلان المطابق للغرض الظاهر في الصورة ضمن قيد محدد (مثل الأرخص أو حالة معينة)، ثم يفتحه أو يبلّغ عن تفصيل مطلوب.
- طريقة التقييم
- المقياس هو معدل النجاح. تُقيَّم كل مهمة بـ 0 أو 1 عبر دالة مكافأة برمجية تقارن إجابة الوكيل النهائية أو حالة الموقع الناتجة بهدف محدد مسبقًا (مطابقة تامة أو تضمين إلزامي أو مطابقة نصية تقريبية للإجابات؛ وفحوص URL/الحالة لأهداف التنقل أو المعاملات). والدرجة هي نسبة المهام التي نالت 1.
- التحقق
- التقييم قائم على التنفيذ: يقود الوكيل متصفحًا حقيقيًا على تطبيقات ويب مستضافة ذاتيًا ومعزولة (تُعاد إلى وضعها بين المهام لأجل قابلية التكرار)، وتفحص دالة المكافأة النتيجة برمجيًا دون حكم بشري. ولا تُحتسب المهمة إلا إذا اجتاز فحصها التلقائي.
- لماذا يهم
- مواقع الويب الحقيقية بصرية، والملاحظات النصية فقط (شجرة الوصول أو HTML) تفوّت المعلومات المترسّخة في الصور؛ يختبر VisualWebArena ما إذا كان الوكلاء قادرين على إدراك المحتوى البصري والتصرف في آنٍ واحد، كاشفًا فجوة كبيرة بين الإنسان والوكيل ومحفّزًا تقنيات الوكلاء متعددة الوسائط مثل التلقين البصري Set-of-Marks.
مثال محلول
المهمة
البيئة: موقع Classifieds المستضاف ذاتيًا. القصد (مع صورة مرجعية مرفقة لكرسي مكتب): «انتقل إلى الإعلان الذي يبيع الغرض الظاهر في هذه الصورة وأخبرني بالسعر المطلوب».
الحل
الخطوات الرئيسية: (1) تأمّل الصورة المرجعية ودوّن السمات البصرية المميّزة للكرسي؛ (2) تصفّح/ابحث في فئة الأثاث بموقع Classifieds؛ (3) قارن الصور المصغّرة للإعلانات بالصورة المرجعية وافتح الإعلان الصحيح؛ (4) اقرأ السعر المطلوب في صفحة ذلك الإعلان؛ (5) أرسله بإجراء stop، مثل
stop [<price>]. الإجابة النهائية: السعر الدقيق الظاهر على الإعلان المطابق (على سبيل التوضيح، مثل stop [$45]).الشرح
هذا صحيح لأن المهمة لا تُحل إلا بربط الصورة المرجعية بالإعلان المطابق الوحيد (مطابقة بصرية يعجز عنها العرض النصي فقط)، ثم استخراج القيمة الدقيقة المطلوبة. التقييم: تقارن دالة المكافأة الإجابة المرسلة بالسعر المستهدف عبر مطابقة نصية/تقريبية، منتِجةً 0/1 ثنائيًا يُضاف إلى معدل النجاح الإجمالي.
لا توجد درجات موثّقة لهذا الـ Benchmark بعد.