PrismML ने Bonsai 27B जारी किया है, एक नया मॉडल जो Qwen3.6 27B पर Ternary/BitNet विधि को लागू करता है। यह दृष्टिकोण मॉडल को fp16 के करीब सटीकता के साथ चलने देता है जबकि M4 Pro चिप पर केवल लगभग 10GB मेमोरी का उपभोग करता है।
- मॉडल एक टर्नरी GGUF फॉर्मेट का उपयोग करता है, जिसके लिए इनफरेंस के लिए llama.cpp की एक विशिष्ट fork की आवश्यकता होती है।
- यह 256K संदर्भ विंडो और बहु-मोडल इनपुट क्षमताओं का समर्थन करता है।
- बेंचमार्क Qwen3.6 27B के पारंपरिक 2-3bit क्वांटीज़ेशन की तुलना में श्रेष्ठ प्रदर्शन को संकेत करते हैं।
- रिलीज में प्राथमिक GGUF कार्यान्वयन के साथ एक MLX fork शामिल है।
यह रिलीम VRAM सीमित लैपटॉप और डेस्कटॉप के लिए डिवाइस पर उच्च-उपयोगिता वाले 27B मॉडल को चलाना व्यावहारिक बनाती है, स्थानीय तैनाती पर पिछली बाधाओं को दूर करती है।