Para penulis memperkenalkan ToolFailBench, sebuah benchmark diagnostik yang dirancang untuk mengukur jenis kegagalan penggunaan alat tertentu pada agen model bahasa besar yang sering kali tersembunyi oleh skor agregat. Benchmark ini mengevaluasi kinerja di 1.000 tugas di bidang keuangan, kedokteran, hukum, keamanan siber, dan real estat dengan membedakan antara tugas yang memerlukan alat dan tugas kontrol.

  • ToolFailBench memberi label pada jejak dengan empat mode kegagalan: Tool-Skip, Result-Ignore, Output-Fabrication, dan Unnecessary-Tool-Use.
  • Evaluasi menggunakan pengklasifikasi berbasis aturan dan dua hakim LLM yang di agregasi melalui pemungutan suara mayoritas untuk mengidentifikasi kesalahan spesifik ini.
  • Pengujian terhadap 19 model utama mengungkapkan bahwa yang terbaik mencapai Clean Tool-Use Rate sebesar 86,33%, menunjukkan bahwa penggunaan alat yang setia belum jenuh.
  • Model dengan skor agregat serupa gagal dengan cara yang berbeda; misalnya, model Llama-3.1 menunjukkan pola Always-Call sementara Qwen2.5-72B dan Llama-3.1-70B berbeda sebesar 89 poin persentase pada akurasi tugas kontrol.

Para penulis berargumen bahwa evaluasi penggunaan alat harus mengukur tidak hanya apakah agen memanggil alat, tetapi juga apakah mereka menggunakan output dengan benar dan menghindari panggilan yang tidak perlu.