自律型ウェブエージェント (AWA) 1.5 システムは、WebArena ベンチマークで 57.14% のスコアを達成し、以前の記録である 35.8% を上回りました。この結果は、現在の人間レベルの性能(78%)に AI システムが最も近づいたことを示しています。

  • AWA 1.5 は、カスタム HTML-DOM パーシングと反復処理を使用して、人間のような相互作用を模倣します。
  • WebArena は、信頼性の高い評価のためにコンテナ化されたサイトと明確な出力を提供する制御された環境です。
  • エージェントは、ドラッグ&クリック操作、状態維持タスク、厳格な文字列マッチングの要件に課題を抱えています。

この成果は、オープンウェブ上のエージェント評価に伴う固有のノイズとばらつきに対処することで、ウェブ自律性における重要な進歩を示しています。