Tim Agen Multimodal HY Frontier Tencent telah merilis UI-Mate-27B, agen fondasi GUI bobot terbuka yang dirancang untuk tugas jangka panjang di seluruh aplikasi dan sistem operasi. Model ini mengamati tangkapan layar langsung untuk menalar keadaan yang terlihat dan menghasilkan tindakan papan ketik dan mouse terstruktur untuk interaksi desktop asli.
- Model dasar: Qwen3.6-27B dengan 27 miliar parameter.
- Mendukung penggunaan komputer umum dari instruksi bahasa alami dan penggunaan yang dipandu demonstrasi yang mengadaptasi alur kerja yang dapat digunakan kembali.
- Pelatihan melibatkan penyetelan halus terawasi diikuti oleh pembelajaran penguatan daring di lingkungan GUI yang dapat dieksekusi.
- Demonstrasi diperlakukan sebagai panduan, memungkinkan model untuk merencanakan ulang ketika keadaan antarmuka berbeda.
- Pada benchmark GameDev, panduan demonstrasi mengurangi panjang lintasan rata-rata dari 303,6 menjadi 253,1 langkah.
Rilis ini menyediakan checkpoint berlisensi Apache-2.0 yang kompatibel dengan vLLM dan antarmuka OpenAI, ditujukan untuk penelitian dan pengembangan di lingkungan desktop yang terkendali.