Tencent выпустила UI-Mate-27B, базовую модель с открытыми весами, предназначенную для длительных задач по управлению компьютером в различных приложениях и операционных системах. Модель на 27 миллиардов параметров анализирует живые скриншоты, рассуждает о видимых состояниях и генерирует структурированные команды клавиатуры и мыши для нативного взаимодействия с рабочим столом.

  • Построена на базе Qwen3.6-27B с использованием контролируемой тонкой настройки и онлайн-обучения с подкреплением.
  • Поддерживает общее управление компьютером по инструкциям на естественном языке и рабочим процессам, направляемым демонстрациями.
  • Использует привязку к живому экрану вместо воспроизведения координат, что позволяет перепланировать действия при изменении состояний интерфейса.
  • Выдает структурированные действия, совместимые с pyautogui, и предоставляет интерфейс обслуживания, совместимый с openAI.

Модель доступна по лицензии Apache-2.0 на Hugging Face и GitHub.