本論文は、2Bから235Bパラメータのサイズを持つインストラクションと思考のバリエーションを備えたネイティブGUIエージェントモデルであるGUI-Owl-1.5を紹介します。これは、クラウドとエッジの連携およびリアルタイムインタラクションを可能にするために、デスクトップ、モバイル、ブラウザ環境を含む複数のプラットフォームをサポートしています。

  • オープンソースモデルの中で20以上のGUIベンチマークで最先端の結果を達成し、自動化タスクにおいてOSWorldで56.5、AndroidWorldで71.6、WebArenaで48.4のスコアを獲得しました。
  • グラウンディングタスクではScreenSpotProで80.3、ツール呼び出しではOSWorld-MCPで47.6およびMobileWorldで46.8、メモリと知識タスクではGUI-Knowledge Benchで75.5に到達しました。
  • データ収集の効率性と品質を向上させるために、シミュレートされたクラウドベースのサンドボックス環境を使用したハイブリッドデータフライホイールを採用しています。
  • ツール/MCPの使用、メモリ、マルチエージェント適応に焦点を当てて推論能力を強化するための統一された思考合成パイプラインを利用しています。
  • 長時間のタスクにおけるマルチプラットフォームの競合と低いトレーニング効率に対処するために、MRPO環境RLアルゴリズムを提案しました。

GUI-Owl-1.5モデルはオープンソース化されており、オンラインクラウドサンドボックスデモが利用可能です。