著者はToolFailBenchを発表しました。これは、大規模言語モデルエージェントにおける特定のタイプのツール使用失敗を測定するために設計された診断ベンチマークです。この失敗は、スコアを集約するとしばしば隠蔽されてしまいます。このベンチマークは、金融、医療、法律、サイバーセキュリティ、不動産の1,000のタスクにおいて、ツールが必要なタスクと制御タスクを区別することでパフォーマンスを評価します。

  • ToolFailBenchは4つの失敗モードでトレースにラベルを付けます：Tool-Skip、Result-Ignore、Output-Fabrication、およびUnnecessary-Tool-Use。
  • 評価にはルール分類器と多数決で集約される2つのLLM判事が使用され、これらの特定の誤りを識別します。
  • 19の主要モデルをテストした結果、最良のモデルは86.33%のClean Tool-Use Rateを達成し、忠実なツール使用が飽和していないことが示されました。
  • 同様の集約スコアを持つモデルでも異なる方法で失敗します。例えば、Llama-3.1モデルはAlways-Callパターンを示す一方、Qwen2.5-72BとLlama-3.1-70Bは制御タスクの精度で89パーセントポイントの違いがあります。

著者は、ツール使用の評価では、エージェントがツールを呼び出すかどうかだけでなく、出力を正しく使用しているか、不要な呼び出しを避けているかも測定する必要があると主張しています。