作者推出了ToolFailBench，这是一个诊断基准测试，旨在衡量大型语言模型智能体中那些聚合分数往往掩盖的具体类型的工具使用失败。该基准测试通过区分需要工具的任务和控制任务，评估了金融、医学、法律、网络安全和房地产领域1,000项任务的性能。

  • ToolFailBench用四种故障模式标记轨迹：Tool-Skip、Result-Ignore、Output-Fabrication 和 Unnecessary-Tool-Use。
  • 评估使用规则分类器和两个通过多数投票聚合的LLM裁判来识别这些特定错误。
  • 测试19个主流模型显示，最佳模型达到了86.33%的Clean Tool-Use Rate，表明忠实工具使用尚未饱和。
  • 具有相似聚合分数的模型以不同方式失败；例如，Llama-3.1模型表现出Always-Call模式，而Qwen2.5-72B和Llama-3.1-70B在控制任务准确率上相差89个百分点。

作者认为，工具使用评估不仅必须衡量智能体是否调用工具，还必须衡量它们是否正确使用输出并避免不必要的调用。