PrismML ने Bonsai 27B जारी किया है, जो Qwen3.6-27B मॉडल का एक लो-बिट क्वांटाइजेशन है जो बिना पुनः प्रशिक्षण के लैपटॉप और फोन पर बड़े बहुआयामी मॉडल चलाने की सुविधा देता है।
- टर्नरी Bonsai 27B प्रति वजन 1.71 बिट में टर्नरी वजन का उपयोग करता है, जिसका footprint 5.9GB है और यह FP16 बेलाइन सटीकता का 94.6% बनाए रखता है।
- 1-बिट Bonsai 27B प्रति वजन 1.125 बिट में बाइनरी वजन का उपयोग करता है, जिसका footprint 3.9GB है और यह FP16 बेलाइन सटीकता का 89.5% बनाए रखता है।
- Qwen3.6-27B से आर्किटेक्चर अपरिवर्तित रहता है, केवल नॉर्मलाइजेशन और स्केल पैरामीटर उच्च सटीकता में रखे गए हैं।
- दोनों संस्करण 262K टोकन कॉन्टेक्स्ट विंडो का समर्थन करते हैं और llama.cpp व MLX के लिए Apache 2.0 लाइसेंस के तहत उपलब्ध हैं।
यह रिलीज एज डिवाइस पर मेमोरी प्रतिबंधों को दूर करती है, 24GB कार्ड्स पर सिंगल-GPU सर्विंग और मोबाइल हार्डवेयर पर स्थानीय इनफरेंस की अनुमति देती है जबकि व्यावहारिक प्रदर्शन बनाए रखती है।