تقدم الورقة البحثية GUI-Owl-1.5، وهو نموذج وكيل واجهة مستخدم رسومية أصلي يتميز بنسختي تعليم وتفكير بأحجام تتراوح بين 2B و235B معلمة. يدعم النموذج منصات متعددة بما في ذلك بيئات سطح المكتب والجوال والمتصفح لتمكين التعاون بين السحابة والحافة والتفاعل في الوقت الفعلي.
- يحقق نتائج متقدمة على أكثر من 20 معيارًا لواجهة المستخدم الرسومية بين النماذج مفتوحة المصدر، بحصوله على 56.5 على OSWorld، و71.6 على AndroidWorld، و48.4 على WebArena لمهام الأتمتة.
- يصل إلى 80.3 على ScreenSpotPro لمهام التأسيس، و47.6 على OSWorld-MCP و46.8 على MobileWorld لاستدعاء الأدوات، و75.5 على GUI-Knowledge Bench لمهام الذاكرة والمعرفة.
- يدمج عجلة بيانات هجينة (Hybrid Data Flywheel) باستخدام بيئات صناديق رملي محاكاة ومبنية على السحابة لتحسين كفاءة وجودة جمع البيانات.
- يستخدم خط أنابيب موحد لتوليف الأفكار لتعزيز قدرات الاستدلال، مع التركيز على استخدام الأدوات/MCP والذاكرة والتكيف متعدد الوكلاء.
- يقترح خوارزمية RL للبيئة تسمى MRPO لمعالجة تعارضات المنصات المتعددة وانخفاض كفاءة التدريب في المهام طويلة المدى.
تم فتح مصادر نماذج GUI-Owl-1.5، مع توفر عرض توضيحي عبر الإنترنت لصندوق رملي سحابي.