저자들은 ToolFailBench를 소개했습니다. 이는 대규모 언어 모델 에이전트의 특정 유형의 도구 사용 실패를 측정하도록 설계된 진단 벤치마크로, 점수를 집계하면 종종 숨겨지는 문제들을 다룹니다. 이 벤치마크는 금융, 의학, 법률, 사이버 보안, 부동산의 1,000개 작업에서 도구가 필요한 작업과 제어 작업을 구분하여 성능을 평가합니다.

  • ToolFailBench는 네 가지 실패 모드로 트레이스에 레이블을 지정합니다: Tool-Skip, Result-Ignore, Output-Fabrication, 그리고 Unnecessary-Tool-Use.
  • 평가는 규칙 분류기와 다수결로 집계된 두 개의 LLM 판정자를 사용하여 이러한 특정 오류를 식별하는 데 사용됩니다.
  • 19개의 주요 모델을 테스트한 결과, 최고 모델은 86.33%의 Clean Tool-Use Rate를 달성했으며, 이는 정직한 도구 사용이 포화 상태에 있지 않음을 나타냅니다.
  • 유사한 집계 점수를 가진 모델들은 서로 다른 방식으로 실패합니다. 예를 들어, Llama-3.1 모델은 Always-Call 패턴을 보이는 반면, Qwen2.5-72B와 Llama-3.1-70B는 제어 작업 정확도에서 89퍼센트 포인트의 차이를 보입니다.

저자들은 도구 사용 평가가 에이전트가 도구를 호출하는지 여부뿐만 아니라 출력을 올바르게 사용하는지와 불필요한 호출을 피하는지도 측정해야 한다고 주장합니다.