يقدم المؤلفون ToolFailBench، وهو معيار تشخيصي مصمم لقياس أنواع محددة من إخفاقات استخدام الأدوات في وكلاء النماذج اللغوية الكبيرة، والتي غالباً ما تُخفيها النقاط المجمعة. يقيّم المعيار الأداء عبر 1000 مهمة في مجالات التمويل والطب والقانون والأمن السيبراني والعقارات من خلال التمييز بين المهام التي تتطلب أدوات والمهام الضابطة.
- يُعلّم ToolFailBench المسارات بأربعة أنماط للفشل: Tool-Skip، وResult-Ignore، وOutput-Fabrication، وUnnecessary-Tool-Use.
- يستخدم التقييم مصنفًا قائمًا على القواعد وحكّامين من النماذج اللغوية الكبيرة يتم تجميعهما بالتصويت بالأغلبية لتحديد هذه الأخطاء المحددة.
- أظهر اختبار 19 نموذجاً رائداً أن الأفضل حقق معدل استخدام نظيف للأدوات (Clean Tool-Use Rate) بنسبة 86.33%، مما يشير إلى أن الاستخدام المخلص للأدوات لم يصل بعد إلى مرحلة التشبع.
- تفشل النماذج ذات النقاط المجمعة المتشابهة بطرق مختلفة؛ على سبيل المثال، تظهر نماذج Llama-3.1 نمط Always-Call بينما تختلف Qwen2.5-72B وLlama-3.1-70B بنقطة مئوية قدرها 89 نقطة في دقة المهام الضابطة.
يجادل المؤلفون بأن تقييم استخدام الأدوات يجب أن يقيس ليس فقط ما إذا كانت الوكلاء يستدعون الأدوات، ولكن أيضاً ما إذا كانوا يستخدمون المخرجات بشكل صحيح ويتجنبون الاستدعاءات غير الضرورية.