लेखकों ने ToolFailBench पेश किया है, एक निदान मानकबद्ध जो उन विशिष्ट प्रकार के टूल-उपयोग विफलताओं को मापने के लिए डिज़ाइन किया गया है जिन्हें अक्सर एग्रीगेटेड स्कोर्स छिपा देते हैं। यह मानकबद्ध वित्त, चिकित्सा, कानून, साइबर सुरक्षा और रियल एस्टेट में 1,000 कार्यों पर प्रदर्शन का मूल्यांकन करता है, टूल-आवश्यक कार्यों और नियंत्रण कार्यों के बीच अंतर करके।
- ToolFailBench चार विफलता मोड के साथ ट्रैस लेबल करता है: Tool-Skip, Result-Ignore, Output-Fabrication, और Unnecessary-Tool-Use।
- मूल्यांकन में इन विशिष्ट त्रुटियों की पहचान करने के लिए नियम क्लासिफायर और बहुमत वोट द्वारा एग्रीगेटेड दो LLM जजों का उपयोग किया जाता है।
- 19 प्रमुख मॉडल पर परीक्षण ने दिखाया कि सर्वश्रेष्ठ ने 86.33% Clean Tool-Use Rate हासिल किया, जो संकेत देता है कि विश्वसनीय टूल उपयोग संतृप्त नहीं है।
- समान एग्रीगेटेड स्कोर्स वाले मॉडल अलग-अलग तरीकों से विफल होते हैं; उदाहरण के लिए, Llama-3.1 मॉडल में Always-Call पैटर्न दिखाई देता है जबकि Qwen2.5-72B और Llama-3.1-70B नियंत्रण-कार्य सटीकता पर 89 प्रतिशत अंक से भिन्न हैं।
लेखकों का तर्क है कि टूल-उपयोग मूल्यांकन को न केवल यह मापना चाहिए कि क्या एजेंट्स टूल कॉल करते हैं, बल्कि यह भी कि क्या वे आउटपुट का सही उपयोग करते हैं और अनावश्यक कॉल से बचते हैं।