研究者らは、基盤となるGUI-Owlモデルに基づいて構築された汎用GUIエージェントフレームワークであるMobile-Agent-v3をリリースしました。これは10のGUIベンチマークにおいて、オープンソースのエンドツーエンドモデルの中で最先端のパフォーマンスを達成しています。このシステムは、GUI-Owl-7Bと自己進化型軌道生成フレームワーク、スケーラブルな強化学習を組み合わせて自動化能力を向上させています。

  • GUI-Owl-7BはAndroidWorldで66.4、OSWorldで29.4を達成し、Mobile-Agent-v3はこれらのスコアをそれぞれ73.3と37.7に改善しました。
  • このフレームワークは、Android、Ubuntu、macOS、Windowsにわたるクラウドベースの仮想環境を利用し、自動クエリ生成と正確性検証を通じて高品質な相互作用データを生成します。
  • GUI-Owlは、UIグラウンディング、プランニング、アクションセマンティクス、推論パターンを統合し、マルチエージェントシステムにおけるモジュールコンポーネントとしてエンドツーエンドの意思決定をサポートします。
  • チームはオンライン強化学習のために軌道認識相対政策最適化（TRPO）を開発し、完全に非同期のトレーニングでOSWorldで34.9を達成しました。

オープンソース化されたモデルは、手動アノテーションの要件を削減し、GUI自動化タスクにおける現実世界のアライメントを可能にする自己改善ループを提供します。