Tencentは、アプリケーションやオペレーティングシステムにわたる長時間のスコープでのコンピュータ操作用に設計されたオープンウェイトのファウンデーションモデルであるUI-Mate-27Bをリリースしました。270億パラメータのモデルはライブスクリーンショットを観察して可視状態を推論し、ネイティブなデスクトップ操作のために構造化されたキーボードおよびマウスアクションを生成します。

  • Qwen3.6-27Bベースモデルの上に、教師ありファインチューニングとオンライン強化学習で構築されています。
  • 自然言語の指示やデモンストレーション誘導のワークフローからの一般的なコンピュータ操作をサポートします。
  • 座標のリプレイではなくライブスクリーングラウンディングを採用しており、インターフェースの状態が変更されたときに再計画が可能です。
  • pyautoguiと互換性のある構造化アクションを出力し、openAI互換のサービングインターフェースを提供します。

モデルはHugging FaceおよびGitHubでApache-2.0ライセンスの下で利用可能です。