Les auteurs présentent ToolFailBench, un benchmark de diagnostic conçu pour mesurer des types spécifiques d'échecs d'utilisation d'outils chez les agents de grands modèles de langage, que les scores agrégés occultent souvent. Le benchmark évalue les performances sur 1 000 tâches dans la finance, la médecine, le droit, la cybersécurité et l'immobilier en distinguant les tâches nécessitant des outils des tâches de contrôle.
- ToolFailBench étiquette les traces avec quatre modes d'échec : Tool-Skip, Result-Ignore, Output-Fabrication et Unnecessary-Tool-Use.
- L'évaluation utilise un classifieur basé sur des règles et deux juges LLM agrégés par vote majoritaire pour identifier ces erreurs spécifiques.
- Le test de 19 modèles phares a révélé que le meilleur a atteint un taux d'utilisation propre des outils (Clean Tool-Use Rate) de 86,33 %, indiquant que l'utilisation fidèle des outils n'est pas saturée.
- Les modèles ayant des scores agrégés similaires échouent de différentes manières ; par exemple, les modèles Llama-3.1 présentent un pattern Always-Call tandis que Qwen2.5-72B et Llama-3.1-70B diffèrent de 89 points de pourcentage sur la précision des tâches de contrôle.
Les auteurs soutiennent que l'évaluation de l'utilisation d'outils doit mesurer non seulement si les agents appellent des outils, mais aussi s'ils utilisent correctement les sorties et évitent les appels inutiles.