يقدم الباحثون OSWorld، وهو أول بيئة حاسوبية حقيقية قابلة للتوسع مصممة لتقييم الوكلاء متعددي الوسائط في مهام مفتوحة النهاية عبر Ubuntu وWindows وmacOS.

  • يتضمن المعيار 369 مهمة حاسوب مستمدة من حالات استخدام العالم الحقيقي تتضمن تطبيقات الويب وسطح المكتب، وإدخال/إخراج الملفات، وسير العمل متعدد التطبيقات.
  • تتميز كل مهمة بإعداد حالة أولية مفصل وscripts تقييم مبنية على التنفيذ لتقييم موثوق.
  • أظهرت تقييمات الوكلاء المعتمدين على أحدث LLM/VLM عيوبًا كبيرة، حيث حقق أفضل نموذج نجاحًا بنسبة 12.24٪ فقط مقارنة بأداء الإنسان الذي يتجاوز 72.36٪.
  • الصعوبات الرئيسية المحددة هي ترسيخ واجهة المستخدم الرسومية (GUI grounding) والمعرفة التشغيلية.

يوفر هذا المعيار بيئة موحدة لتقييم قابلية توسع الوكلاء ويقدم رؤى لتطوير وكلاء عامين متعددي الوسائط لم تستطع المعايير السابقة دعمها.