Los autores presentan ToolFailBench, un benchmark de diagnóstico diseñado para medir tipos específicos de fallos en el uso de herramientas en agentes de modelos de lenguaje grandes, cuyos puntajes agregados suelen oscurecer estos detalles. El benchmark evalúa el rendimiento en 1.000 tareas de finanzas, medicina, derecho, ciberseguridad y bienes raíces, distinguiendo entre tareas que requieren herramientas y tareas de control.

  • ToolFailBench etiqueta trazas con cuatro modos de fallo: Tool-Skip, Result-Ignore, Output-Fabrication y Unnecessary-Tool-Use.
  • La evaluación utiliza un clasificador basado en reglas y dos jueces LLM agregados por votación mayoritaria para identificar estos errores específicos.
  • Las pruebas de 19 modelos destacados revelaron que el mejor logró una Tasa de Uso Limpio de Herramientas del 86,33%, lo que indica que el uso fiel de herramientas no está saturado.
  • Los modelos con puntajes agregados similares fallan de maneras diferentes; por ejemplo, los modelos Llama-3.1 exhiben un patrón Always-Call, mientras que Qwen2.5-72B y Llama-3.1-70B difieren en 89 puntos porcentuales en la precisión de tareas de control.

Los autores argumentan que la evaluación del uso de herramientas debe medir no solo si los agentes llaman a las herramientas, sino también si utilizan correctamente las salidas y evitan llamadas innecesarias.