研究者らは、Web、デスクトップ、モバイル環境全体で視覚的観察のみから動作するコンピュータ使用エージェント向けの統一アーキテクチャであるSurfer 2を発表した。本システムは階層化されたコンテキスト管理、計画と実行の分離、適応的回復を伴う自己検証を組み込み、長時間のタスク範囲にわたる信頼性の高い運用を可能にする。

  • タスク固有のファインチューニングなしで、WebVoyagerで97.1%、WebArenaで69.6%、OSWorldで60.1%、AndroidWorldで87.1%の精度を達成。
  • 複数の試行により、すべてのベンチマークで従来の全システムを上回り、人間のパフォーマンスを超えた。

これらの結果は、体系的なオーケストレーションが基盤モデルの能力を増幅し、視覚的インタラクションのみを通じて汎用コンピュータ制御を可能にすることを示している。