Tencentは、記録されたワークフローを新しいタスクに適応できるデモンストレーション誘導版のUI-Mate GUIエージェントであるUI-Mate-democua-27Bチェックポイントをリリースした。このモデルはライブスクリーンショットを観察し、表示されている状態について推論して構造化されたアクションを生成し、固定されたスクリプトではなくデモンストレーションをガイドとして使用する。

  • パラメータ: 27B、Qwen3.6-27Bに基づき、Apache-2.0ライセンス。
  • 一般的なデータとデモンストレーション拡張データの混合に対して教師ありファインチューニングを行い、指示のみによる能力を維持。
  • デモンストレーションは完了基準付きのサブタスクに分割され、モデルは座標を再生するのではなくライブ画面から再計画を行う。
  • 評価ではOSWorld-Subset（18タスクで改善）とGameDev（より短い軌道）でパフォーマンスが向上し、chrome-02のように以前解けなかったタスクで完璧なスコアを獲得。

このリリースにより、モデルがコンテキスト内のデモンストレーションから手続的知識を学習できるようになり、複雑なマルチアプリケーションタスクでの成功率が向上することで、スクリーンショットベースのGUIエージェントの研究が可能になる。