腾讯HY Frontier多模态智能体团队发布了UI-Mate-27B，这是一款面向跨应用和操作系统长周期任务的开源权重基础GUI智能体。该模型通过观察实时屏幕截图来推理可见状态，并生成结构化的键盘和鼠标操作以实现原生桌面交互。

  • 基础模型：Qwen3.6-27B，拥有270亿参数。
  • 支持基于自然语言指令的通用计算机使用，以及通过演示引导、可复用工作流适应的使用方式。
  • 训练过程包括监督微调，随后在可执行GUI环境中进行在线强化学习。
  • 演示被视为指导信号，允许模型在界面状态发生变化时重新规划。
  • 在GameDev基准测试中，演示引导将平均轨迹长度从303.6步减少至253.1步。

此次发布提供了采用Apache-2.0许可证的权重文件，兼容vLLM和OpenAI接口，旨在用于受控桌面环境中的研发工作。