Benchmark · agentic
Windows Agent Arena
Windows Agent Arena (WAA) هو معيار قابل لإعادة الإنتاج يقيّم وكلاء الذكاء الاصطناعي متعددي الوسائط على 154 مهمة حقيقية تُنفَّذ داخل بيئة Windows 11 فعلية؛ والمقياس الرئيسي هو معدل نجاح المهام — أي نسبة المهام التي يُكملها الوكيل بشكل صحيح.
اقرأ المزيد
- مثال
- نوع من المهام: تشغيل تطبيقات سطح مكتب حقيقية للوصول إلى حالة هدف باستخدام لقطات الشاشة وشجرة إمكانية الوصول (accessibility tree) فقط — مثل تغيير خيار في Windows Settings، أو تحرير جدول بيانات في LibreOffice Calc، أو تثبيت إضافة في VS Code، أو إكمال مهمة تصفح في Chrome.
- طريقة التقييم
- تأتي كل مهمة مع نص برمجي حتمي للمكافأة يفحص عند نهاية الحلقة الحالة النهائية للجهاز الافتراضي (الملفات وقيم السجل ومخرجات التطبيق) ويعيد درجة لكل مهمة، عادةً نجاح ثنائي (1/0). ودرجة المعيار هي متوسط معدل النجاح عبر جميع المهام الـ154؛ وتُنفَّذ التشغيلات الكاملة بالتوازي على أجهزة Azure الافتراضية.
- التحقق
- لا تُحتسب أي نتيجة إلا إذا أكّد المُحقِّق المدمج في المهمة الحالة النهائية المستهدفة في البيئة الفعلية، وليس عبر مطابقة نص الوكيل أو سجل إجراءاته. للوكيل ميزانية ثابتة من الإجراءات/الخطوات؛ وتجاوزها أو ترك الحالة خاطئة يمنح 0. والتشغيلات قابلة لإعادة الإنتاج لأن صورة الجهاز الافتراضي وإعدادات المهام ثابتة.
- لماذا يهم
- يختبر ما إذا كان الوكلاء قادرين فعلاً على تشغيل نظام تشغيل كامل وحقيقي — بالتنقل عبر الواجهات الرسومية للعديد من التطبيقات اليومية — بدلاً من مجرد الإجابة عن الأسئلة. توجد فجوة كبيرة بين الوكلاء الحاليين والبشر دون مساعدة، والبنية المُوازاة على Azure تجعل تقييم وكلاء نظام التشغيل واسع النطاق والقابل لإعادة الإنتاج سريعاً.
مثال محلول
المهمة
عنصر تمثيلي (نطاق Windows Settings): «بدّل وضع ألوان تطبيقات Windows إلى Dark.» يتلقى الوكيل لقطة شاشة وشجرة إمكانية الوصول لجهاز Windows 11 افتراضي جديد وعليه إصدار إجراءات الواجهة الرسومية (الفأرة ولوحة المفاتيح) لإنجازها؛ يُعطى الهدف فقط دون نص مستهدف.
الحل
الخطوات: 1) افتح Settings (Win+I، أو Start ثم Settings). 2) انتقل إلى Personalization ثم Colors. 3) ضمن «Choose your mode» اختر Dark. الحالة النهائية: سمة التطبيقات/النظام هي Dark (قيمة السجل HKCU\...\Themes\Personalize\AppsUseLightTheme = 0).
الشرح
إنه صحيح لأن الهدف هو تغيير في الحالة، والتسلسل يضبط تحديداً القيمة التي يقرأها المُحقِّق. بعد الحلقة، يستعلم نص المكافأة عن سجل الجهاز الافتراضي ويعيد success=1 فقط إذا كانت AppsUseLightTheme مساوية للقيمة الداكنة (0)، بغض النظر عن كيفية وصول الوكيل إليها.
| التاريخ | النموذج | النتيجة | المصدر |
|---|---|---|---|
| 2025-09-02 | UI-TARS-2 | 50.6% | UI-TARS-2 يتقدم في وكلاء واجهة المستخدم الرسومية باستخدام التعلم التعزيزي متعدد الأدوار |