香港大学MMLab推出了UniClawBench，这是首个以能力为导向的基准测试，旨在评估动态真实环境中的主动智能体。它通过使用实时Docker容器和带有隐藏监督智能体的闭环评估策略，解决了现有基准测试的局限性。

  • 围绕五项基础能力构建：技能使用、探索、长上下文推理、多模态理解和跨平台协调。
  • 包含400个双语真实任务，通过细粒度的逐步完成检查点进行评价。
  • 使用带有执行者、隐藏监督者和用户智能体的闭环策略，模拟多轮反馈而不泄露评分标准。
  • 在多个框架下评估state-of-the-art模型，以区分基础模型能力与框架设计选择。

该基准测试旨在帮助研究人员识别智能体失败的根源原因，并理解基础模型和框架如何共同塑造性能。