Simularは、マルチモーダルエージェントが実際のコンピュータタスクを実行するための評価であるOSWorldベンチマークにおいて、そのオープンなアジェンティックフレームワーク「Agent S」が72.6%の成功率を達成したと発表した。このスコアはベンチマークの人間レベルのパフォーマンスである72.36%を上回り、このドメインでAIエージェントが人間の閾値を超えたのは初めてとなる。

  • Agent SはOSWorldで72.6%を達成し、72.36%の人間ベースラインを上回った。
  • このブレイクスルーは、複数のエージェントを使用して最良の結果を選択する方法であるBehavior Best-of-N (bBoN)によって可能となった。
  • これは1年前に20%前後で推移していたスコアから大きな進歩を表している。
  • Simularは最近2,150万ドルの資金調達を完了し、MicrosoftのWindows 365 for Agentsの実証実験を開始した。

Simularはこの技術を広く利用可能にし、実際のコンピュータ上で消費者向けのリアルなユースケースを実現することを目指している。