Benchmark · agentic
Android World
AndroidWorld هو معيار قياس وبيئة محاكٍ حيّة (Google، 2024) لوكلاء مستقلين يتحكمون في جهاز Android حقيقي؛ يضم 116 مهمة مصنوعة يدويًا عبر 20 تطبيقًا واقعيًا، والمقياس هو معدل نجاح المهام (success rate).
اقرأ المزيد
- مثال
- يتلقى الوكيل هدفًا بلغة طبيعية وعليه تشغيل تطبيقات حقيقية لتحقيقه — مثلًا، في تطبيق تقويم، إنشاء حدث بعنوان وتاريخ ووقت محددة عبر النقر والكتابة والتمرير في الواجهة الحيّة.
- طريقة التقييم
- تمنح كل مهمة مكافأة ثنائية: 1 إذا كانت حالة الجهاز النهائية تحقق شرط نجاح المهمة، و0 خلاف ذلك. الدرجة هي معدل النجاح، أي نسبة المهام المحلولة، بمتوسط على المجموعة كاملة (تُعطى المهام معاملات بقيم عشوائية، لذا تختلف التشغيلات).
- التحقق
- يُتحقق من النجاح برمجيًا بفحص حالة النظام/التطبيق على الجهاز بعد التشغيل (مثل الاستعلام عن قاعدة بيانات تطبيق أو ملفاته أو إعداداته)، وليس بمطابقة مسار الإجراءات أو باستخدام حَكَم LLM — ما يجعل المكافآت دائمة وقابلة لإعادة الإنتاج.
- لماذا يهم
- يقيّم الوكلاء على تحكم واقعي ومفتوح في جهاز محمول مع مكافآت قابلة للتحقق؛ المعاملات العشوائية تردع الحفظ عن ظهر قلب، والتطبيقات الحقيقية مع التقييم المبني على الحالة تجعله منصة اختبار دائمة وقابلة لإعادة الإنتاج لوكلاء استخدام الحاسوب متعددي الوسائط.
مثال محلول
المهمة
المهمة (عائلة ContactsAddContact): «أنشئ جهة اتصال جديدة باسم Grace Taylor. رقم هاتفها 555-123-4567.» يعمل الوكيل على تطبيق جهات الاتصال الحيّ عبر شجرة الوصول ولقطات الشاشة.
الحل
افتح تطبيق جهات الاتصال ← انقر «إضافة جهة اتصال» ← أدخل الاسم Grace Taylor ← أدخل الرقم 555-123-4567 ← انقر «حفظ». الحالة النهائية: يحتوي مخزن جهات الاتصال في الجهاز الآن على جهة اتصال باسم Grace Taylor ورقم 555-123-4567.
الشرح
إنه صحيح لأن مدقّق نجاح المهمة يستعلم عن جهات اتصال الجهاز ويتأكد من وجود جهة اتصال تحمل الاسم والرقم المستهدفين تمامًا؛ التقييم فحص ثنائي للحالة (مكافأة 1/0)، مستقل عن الطريقة التي وصل بها الوكيل.
لا توجد درجات موثّقة لهذا الـ Benchmark بعد.