एजेंटिक क्षमताओं का मूल्यांकन दिखाता है कि अजस्ट किए गए Qwen3.6-27B मॉडल ने 6-9 टूल कॉल्स का उपयोग करके सभी परीक्षण टास्क सफलतापूर्वक पूरे किए, जबकि अजस्ट किए गए Nemotron Puzzle-75B को पास करने के लिए हैंड-ट्यूडेड प्रॉम्प्ट और काफी अधिक टर्न की आवश्यकता थी।
- Qwen3.6-27B (INT8-AutoRound) ने न्यूट्रल सिस्टम प्रॉम्प्ट का उपयोग करके हर एजेंटिक टास्क को 134-190s प्रति टास्क के साथ पास किया।
- Nemotron Puzzle-75B (NVFP4) मैन्युअल ट्यूनिंग के बिना अविश्वसनीय था, जिसमें पास होने के लिए 13-23 कॉल्स और 221-384s की आवश्यकता थी।
- लेखक का नोट है कि एजेंट प्रदर्शन के लिए कम टर्न कच्चे टोकन डिकोड गति से अधिक महत्वपूर्ण हैं।
- समान पेलोड के साथ प्रारंभिक विफलताओं के लिए प्रीफिक्स कैशिंग समस्याओं को एक संभावित कारण के रूप में पहचाना गया था।
परिणाम सुझाव देते हैं कि एजेंटिक वर्कफ़्लो के लिए, टूल उपयोग में दक्षता बड़े मॉडल आकार या उच्च थ्रूपुट के लाभों से अधिक महत्वपूर्ण है।