PrismML का 1-bit Bonsai-8B व्याकरण के साथ CPU पर टूल कॉलिंग में IBM Granite को हराता है
IBM Granite और अन्य LLMs के खिलाफ PrismML के 1-bit Bonsai-8B मॉडल का एक बेंचमार्क यह दर्शाता है कि व्याकरण-बाध्यकारी डिकोडिंग का उपयोग करते समय Bonsai-8B टूल कॉलिंग में उच्चतम सटीकता प्राप्त करता है। परीक्षण, llama.cpp का उपयोग करके CPU पर किया गया, आउटपुट बाधाओं के महत्वपूर्ण भूमिका को उजागर करता है जो छोटे, क्वांटाइज्ड मॉडलों को एजेंट कार्यों के लिए प्रभावी ढंग से काम करने की अनुमति देता है।