Os autores apresentam o ToolFailBench, um benchmark diagnóstico projetado para medir tipos específicos de falhas no uso de ferramentas em agentes de modelos de linguagem grande, cujas pontuações agregadas frequentemente obscurecem os detalhes. O benchmark avalia o desempenho em 1.000 tarefas nas áreas de finanças, medicina, direito, cibersegurança e imobiliário, distinguindo entre tarefas que exigem o uso de ferramentas e tarefas de controle.

  • O ToolFailBench rotula rastros com quatro modos de falha: Tool-Skip, Result-Ignore, Output-Fabrication e Unnecessary-Tool-Use.
  • A avaliação utiliza um classificador baseado em regras e dois juízes LLM agregados por votação majoritária para identificar esses erros específicos.
  • O teste de 19 modelos principais revelou que o melhor alcançou uma Taxa de Uso Limpo de Ferramentas de 86,33%, indicando que o uso fiel de ferramentas não está saturado.
  • Modelos com pontuações agregadas semelhantes falham de maneiras diferentes; por exemplo, os modelos Llama-3.1 exibem um padrão Always-Call, enquanto Qwen2.5-72B e Llama-3.1-70B diferem em 89 pontos percentuais na precisão das tarefas de controle.

Os autores argumentam que a avaliação do uso de ferramentas deve medir não apenas se os agentes chamam as ferramentas, mas também se utilizam as saídas corretamente e evitam chamadas desnecessárias.