تُقدّم هذه الورقة البحثية UI-TARS، وهو نموذج وكيل واجهة مستخدم أصلي من البداية للنهاية يدرك لقطات الشاشة كمدخلات وينفذ تفاعلات بلوحة المفاتيح والماوس شبيهة بالبشر دون الاعتماد على نماذج تجارية مُغلّفة.

  • يحقق أداءً متفوقاً عبر أكثر من 10 معايير تقييم لوكلاء واجهة المستخدم تقيس الإدراك، والتأريض، وتنفيذ المهام.
  • يحصل على درجة 24.6 مع 50 خطوة و22.7 مع 15 خطوة في معيار OSWorld، متفوقاً على Claude (التي حصلت على 22.0 و14.9 على التوالي).
  • يصل إلى درجة 46.6 في AndroidWorld، متجاوزاً درجة GPT-4o البالغة 34.5.
  • يدمج إدراكاً محسّناً عبر مجموعات بيانات ضخمة لقطات شاشة واجهة المستخدم لتعليقات دقيقة.
  • يستخدم نمذجة إجراءات موحدة لتوحيد الإجراءات عبر المنصات وتحقيق تأريض دقيق.
  • يطبق استدلال النظام-2 لاتخاذ القرارات متعددة الخطوات، بما في ذلك تفكيك المهام والتأمل.
  • يستخدم التدريب التكراري مع آثار عبر الإنترنت تأملية تم جمعها من مئات الآلات الافتراضية لمعالجة اختناقات البيانات.

يحلّل المؤلفون مسار تطور وكلاء واجهة المستخدم لتوجيه التطوير المستقبلي في هذا المجال، موضحين أن النماذج الأصلية يمكن أن تتفوق على الأطر المعقدة المعتمدة على صياغة الخبراء للبرومبتات.