Авторы представляют ToolFailBench, диагностический бенчмарк, предназначенный для измерения конкретных типов сбоев при использовании инструментов агентами больших языковых моделей, где агрегированные оценки часто скрывают детали. Бенчмарк оценивает производительность на 1000 задачах в финансах, медицине, юриспруденции, кибербезопасности и недвижимости, разделяя задачи, требующие использования инструментов, и контрольные задачи.

  • ToolFailBench помечает трассировки четырьмя режимами сбоев: Tool-Skip, Result-Ignore, Output-Fabrication и Unnecessary-Tool-Use.
  • Оценка использует классификатор правил и двух LLM-судей, результаты которых агрегируются по принципу большинства для выявления этих конкретных ошибок.
  • Тестирование 19 ведущих моделей показало, что лучшая достигла Clean Tool-Use Rate на уровне 86.33%, что указывает на то, что корректное использование инструментов ещё не насыщено.
  • Модели с похожими агрегированными оценками терпят неудачу по-разному; например, модели Llama-3.1 демонстрируют паттерн Always-Call, в то время как Qwen2.5-72B и Llama-3.1-70B отличаются на 89 процентных пунктов по точности на контрольных задачах.

Авторы утверждают, что оценка использования инструментов должна измерять не только факт вызова агентами инструментов, но и корректность использования результатов, а также избегание ненужных вызовов.