Bonsai-27B और Ternary-Bonsai-27B मॉडल्स मुख्य लाइन llama.cpp रिपोजिटरी में अधिक एकीकरण देख रहे हैं, जिसमें बाइनरी Q1_0 सपोर्ट अब CPU, Metal, CUDA और Vulkan बैकएंड्स पर आउट ऑफ द बॉक्स उपलब्ध है। टर्नरी सपोर्ट वर्तमान में एक संक्रमण चरण में है, जहाँ CPU और Metal बैकएंड्स विलीन हो चुके हैं जबकि CUDA और Vulkan कार्यान्वयन समीक्षा या लंबित अवस्था में हैं।
- बाइनरी Q1_0 फॉर्मेट अपस्ट्रीम llama.cpp में पूरी तरह से सपोर्टेड है; MLX सपोर्ट एक अलग pull request के माध्यम से अभी भी लंबित है।
- तीन टर्नरी GGUF वेरिएंट्स मौजूद हैं: डेमो का group-128 Q2_0 (केवल फ़ॉर्क), आधिकारिक group-64 Q2_0 (मेनलाइन CPU/Metal), और योजनाबद्ध PQ2_0 फॉर्मेट।
- Bonsai-27B पूर्ण-प्रिसिजन गुणवत्ता का 89.5% बनाए रखता है, जबकि Ternary-Bonsai-27B 94.6% बनाए रखता है, दोनों ने यह भी नोट किया है कि एजेंटिक कोडिंग अभी प्राथमिक फोकस नहीं है।
- टर्नरी मॉडल का ~7.2 GB फुटप्रिंट iOS मेमोरी बजट से अधिक है, जिसके लिए मोबाइल डिप्लॉयमेंट पर 1-bit MLX वेरिएंट की आवश्यकता है।
ये अपडेट विभिन्न हार्डवेयर बैकएंड्स पर इन अत्यधिक संपीड़ित मॉडल्स को चलाने वाले उपयोगकर्ताओं के लिए वर्तमान संगति परिदृश्य को स्पष्ट करते हैं।