Команда Tencent HY Frontier Multimodal Agent Team выпустила UI-Mate-27B, базовый GUI-агент с открытыми весами, предназначенный для выполнения долгосрочных задач в приложениях и операционных системах. Модель анализирует живые скриншоты, рассуждает о видимых состояниях и генерирует структурированные команды клавиатуры и мыши для нативного взаимодействия с рабочим столом.
- Базовая модель: Qwen3.6-27B с 27 миллиардами параметров.
- Поддерживает общее управление компьютером на основе инструкций на естественном языке и использование, направляемое демонстрациями, которое адаптирует повторно используемые рабочие процессы.
- Обучение включает контролируемое дообучение, за которым следует онлайн-усиленное обучение в исполняемых GUI-средах.
- Демонстрации рассматриваются как руководство, позволяющее модели перепланировать действия, когда состояния интерфейса отличаются.
- На бенчмарках GameDev направляющие демонстрации сокращают среднюю длину траектории с 303.6 до 253.1 шагов.
Релиз предоставляет контрольную точку под лицензией Apache-2.0, совместимую с vLLM и OpenAI интерфейсами, предназначенную для исследований и разработок в контролируемых средах рабочего стола.