يقدم الباحثون DevicesWorld، وهو معيار تنفيذي واسع النطاق مصمم لتقييم وكلاء يعتمدون على نماذج لغوية كبيرة (LLM) تعمل في بيئات متنوعة تشمل الأجهزة المحمولة وأجهزة سطح المكتب وأجهزة إنترنت الأشياء.
- يحتوي المعيار على 6140 مهمة تدمج ثلاث فئات من بيئات الأجهزة في إطار عمل موحد للتفاعل عبر الأجهزة.
- تحدد كل مهمة أهدافًا باللغة الطبيعية، والأجهزة المشاركة، والحالات الأولية، والإجراءات القابلة للتنفيذ، ومُحقِّقات قائمة على القواعد، وإجراءات التنظيف.
- تكشف تقييمات خمسة أنظمة وكلاء LLM متقدمة عن معدلات نجاح منخفضة، حيث لم يتجاوز أفضل أداء 12.5%.
- يُظهر التحليل أن الوكلاء غالبًا ما يواجهون صعوبات في اكتساب المعلومات، والتلاعب بالواجهات، والخلط بين أجهزة المصدر وأجهزة الإخراج.
يوفر DevicesWorld مشكلة تقييم قابلة للتكرار ومفيدة تشخيصيًا لتعزيز البحث حول وكلاء عبر الأجهزة الموثوقين.