本論文は、UI-TARSを紹介する。これはスクリーンショットを入力として認識し、ラップされた商業モデルに依存せずに人間のようなキーボードとマウスの操作を行うエンドツーエンドのネイティブGUIエージェントモデルである。

  • 知覚、グラウンディング、タスク実行を評価する10以上のGUIエージェントベンチマークで最先端のパフォーマンスを実現。
  • OSWorldベンチマークで50ステップ時に24.6、15ステップ時に22.7のスコアを獲得し、Claude（それぞれ22.0と14.9）を上回る。
  • AndroidWorldで46.6のスコアに到達し、GPT-4oの34.5を凌駕。
  • 正確なキャプション付けのために大規模なGUIスクリーンショットデータセットを用いた知覚の強化を採用。
  • プラットフォーム間で動作を標準化し、正確なグラウンディングを実現するために統一されたアクションモデリングを利用。
  • タスク分解や反射を含むマルチステップ意思決定のためのSystem-2 Reasoningを実装。
  • 数百台の仮想マシンから収集した反射的なオンライントレースを用いた反復トレーニングにより、データのボトルネックに対処。

著者は、この分野におけるさらなる開発を導くためにGUIエージェントの進化経路を分析し、ネイティブモデルが専門家が作成したプロンプトに依存する洗練されたフレームワークを上回ることを実証している。