أطلقت تينسنت نقطة التحقق الخاصة بنموذج UI-Mate-democua-27B، وهي نسخة موجهة بالعرض التوضيحي من وكيل واجهة المستخدم UI-Mate الخاص بها، قادرة على تكييف سير العمل المسجل مع مهام جديدة. يراقب النموذج لقطات الشاشة المباشرة ويستنتج الحالات المرئية لإنتاج إجراءات مُهيّأة، مستخدماً العروض التوضيحية كدليل بدلاً من السكربتات الثابتة.
- المعاملات: 27B، مبنية على Qwen3.6-27B، مرخصة بموجب Apache-2.0.
- تم التدريب عبر ضبط الدقة الخاضع للإشراف على بيانات مختلطة عامة ومعززة بالعرض التوضيحي، مع الحفاظ على الكفاءة في المهام النصية فقط.
- يتم تقسيم العروض التوضيحية إلى مهام فرعية بمعايير إكمال؛ يعيد النموذج التخطيط من شاشات حية بدلاً من إعادة تشغيل الإحداثيات.
- أظهرت التقييمات تحسناً في الأداء على OSWorld-Subset (تحسن في 18 مهمة) وGameDev (مسارات أقصر)، مع درجات مثالية على مهام كانت غير قابلة للحل سابقاً مثل chrome-02.
يتيح هذا الإطلاق البحث في وكلاء واجهة المستخدم المعتمدين على لقطات الشاشة من خلال السماح للنماذج بتعلم المعرفة الإجرائية من العروض التوضيحية في السياق، مما يحسن معدلات النجاح في المهام المعقدة متعددة التطبيقات.