香港大学MMLabは、動的な現実世界の環境におけるプロアクティブエージェントを評価するために設計された初の能力駆動型ベンチマークであるUniClawBenchを発表しました。これは、ライブDockerコンテナと隠れたスーパーバイザーエージェントを用いたクローズドループ評価戦略を使用することで、既存のベンチマークの限界に対処しています。

  • スキル使用、探索、長期文脈推論、マルチモーダル理解、クロスプラットフォーム調整という5つの基盤能力を中心に構築されています。
  • 細粒度なステップバイステップの完了チェックポイントを通じて評価される400のバイリンガル現実タスクを含みます。
  • エグゼキューター、隠れたスーパーバイザー、ユーザーエージェントによるクローズドループ戦略を使用し、採点基準が漏洩することなくマルチターンフィードバックをシミュレートします。
  • ベースモデルの能力とフレームワーク設計の選択を分離するために、複数のフレームワーク下で最先端モデルを評価します。

このベンチマークは、研究者がエージェント失敗の根本原因を特定し、ベースモデルとフレームワークがどのように共同してパフォーマンスを形成するかを理解することを目的としています。